背景
因为集团规划，需要将公司业务整体平滑迁移到一个新的数据中心，因为业务是金融类型，所以要保证在迁移数据中心的过程中对业务无感知，下面介绍一下Rocketmq 中间件的数据中心迁移方式。
架构简述：
1、我们迁移rocketmq 集群之前两个数据中心直接通过20GB的裸光互连。...
3个月前 (04-05) 80℃
15喜欢
前言
本文主要介绍如果通过openresty+lua实现一个前端埋点服务，实现功能如下：
（1）用户上传数据实现简单的鉴权
（2）允许跨域请求
（3）获取用户上传的body内容和部分header头，拼接成最终完成的埋点信息，发送给Kafka
架构图如下：
配置
（1）编译安装o...
5个月前 (01-20) 275℃
20喜欢
背景
业务数据库中有一些mysql表，这些表的记录会被增删改，我们的需求是需要吧这些mysql表实时同步到大数据数仓的impala中，作为数仓的维表来进行使用，因此需要实时的反映这些表的变化情况。
StreamSets Data Collector（SDC）是目前最先进的可视化数...
7个月前 (11-13) 953℃
31喜欢
背景
和第三方公司进行数据集成，因为第三方服务和我们不是部署在一个数据中心，所以需要给第三方的程序开放Kafka的公网访问
问题：Kafka 无法同时内外网访问
Kafka 默认只暴露出来一个地址放到zk中，用户请求Kafka的时候，会返回zk中的地址给客户端进行访问，就算做了公...
7个月前 (11-13) 406℃
1喜欢
需求：
HUE 默认限制数据导出条数为10W，但是我们由个需求，数据量是12万，导致无法通过HUE导出
环境：CDH 6.3.2
解决
在服务器手动修改HUE配置文件（注：服务器端没有修改入口），在默认值后添加一个0即可
vim /opt/cloudera/parcels/CDH...
1年前 (2021-06-22) 834℃
85喜欢
简介
因为CDH5和6架构使用组件间紧耦合架构，不提供组件的独立升级，如果在使用CDH过程中，有需要独立升级组件的需求，就需要尝试和Apache的社区版本进行结合部署，本文以独立升级hive为例进行展示。
环境说明
操作系统：centos 7.8
CDH 版本6.3.2
hive...
1年前 (2021-06-14) 1855℃
6喜欢
Atlas介绍
Apache atlas为组织提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理，并为数据分析师和数据治理团队，提供围绕这些数据资产的协作功能。
核心组件
core
Ingest/Export：Ingest 组件允许将元数据添加到 ...
1年前 (2021-02-22) 1947℃
39喜欢
1、ClickHouse产生背景
随着科技的发展，时代的进步，数据分析师已经不再满足于传统的T+1式报表或需要提前设置好维度与指标的OLAP查询。数据分析师更希望使用可以支持任意指标、任意维度并秒级给出反馈的大数据Ad-hoc查询系统。这对大数据技术来说是一项非常大的挑战，传统的...
1年前 (2021-02-09) 4132℃
7喜欢
灰度发布的定义
互联网产品需要快速迭代开发上线，又要保证质量，保证刚上线的系统，一旦出现问题可以很快控制影响面，就需要设计一套灰度发布系统。
灰度发布系统的作用，可以根据配置，将用户的流量导到新上线的系统上，来快速验证新的功能，而一旦出现问题，也可以马上的修复，简单的说，就是一套...
2年前 (2020-12-20) 1955℃
17喜欢
简介
上一批文章写了，基于CPU指标的弹性伸缩，资源指标只包含CPU、内存，一般来说也够了。但如果想根据自定义指标:如请求qps/5xx错误数来实现HPA，就需要使用自定义指标了，目前比较成熟的实现是 Prometheus Custom Metrics。自定义指标由Prometh...
2年前 (2020-11-24) 3564℃
0喜欢
