由于blog各种垃圾评论太多,而且本人审核评论周期较长,所以懒得管理评论了,就把评论功能关闭,有问题可以直接qq骚扰我
架构设计

Rocketmq 集群平滑迁移数据中心记录

Rocketmq 集群平滑迁移数据中心记录
背景 因为集团规划,需要将公司业务整体平滑迁移到一个新的数据中心,因为业务是金融类型,所以要保证在迁移数据中心的过程中对业务无感知,下面介绍一下Rocketmq 中间件的数据中心迁移方式。 架构简述: 1、我们迁移rocketmq 集群之前两个数据中心直接通过20GB的裸光互连。...

5个月前 (04-05) 198℃ 37喜欢

大数据

openresty收集埋点日志

openresty收集埋点日志
前言 本文主要介绍如果通过openresty+lua实现一个前端埋点服务,实现功能如下: (1)用户上传数据实现简单的鉴权 (2)允许跨域请求 (3)获取用户上传的body内容和部分header头,拼接成最终完成的埋点信息,发送给Kafka 架构图如下: 配置 (1)编译安装o...

7个月前 (01-20) 459℃ 20喜欢

大数据

streamset 实时同步mysql binlog到kudu

streamset 实时同步mysql binlog到kudu
背景 业务数据库中有一些mysql表,这些表的记录会被增删改,我们的需求是需要吧这些mysql表实时同步到大数据数仓的impala中,作为数仓的维表来进行使用,因此需要实时的反映这些表的变化情况。 StreamSets Data Collector(SDC)是目前最先进的可视化数...

9个月前 (11-13) 1306℃ 31喜欢

大数据

Kafka 实现内外网访问流量分离

Kafka 实现内外网访问流量分离
背景 和第三方公司进行数据集成,因为第三方服务和我们不是部署在一个数据中心,所以需要给第三方的程序开放Kafka的公网访问 问题:Kafka 无法同时内外网访问 Kafka 默认只暴露出来一个地址放到zk中,用户请求Kafka的时候,会返回zk中的地址给客户端进行访问,就算做了公...

9个月前 (11-13) 580℃ 1喜欢

大数据

HUE 数据导出限制修改

HUE 数据导出限制修改
需求: HUE 默认限制数据导出条数为10W,但是我们由个需求,数据量是12万,导致无法通过HUE导出 环境:CDH 6.3.2 解决 在服务器手动修改HUE配置文件(注:服务器端没有修改入口),在默认值后添加一个0即可 vim /opt/cloudera/parcels/CDH...

1年前 (2021-06-22) 944℃ 85喜欢

大数据

CDH hive 2.1.1 升级hive2.3.8

CDH hive 2.1.1 升级hive2.3.8
简介 因为CDH5和6架构使用组件间紧耦合架构,不提供组件的独立升级,如果在使用CDH过程中,有需要独立升级组件的需求,就需要尝试和Apache的社区版本进行结合部署,本文以独立升级hive为例进行展示。 环境说明 操作系统:centos 7.8 CDH 版本6.3.2 hive...

1年前 (2021-06-14) 2043℃ 7喜欢

大数据

atlas2.1集成CDH6.2进行元数据管理

atlas2.1集成CDH6.2进行元数据管理
Atlas介绍 Apache atlas为组织提供开放式元数据管理和治理功能,用以构建其数据资产目录,对这些资产进行分类和管理,并为数据分析师和数据治理团队,提供围绕这些数据资产的协作功能。 核心组件 core Ingest/Export:Ingest 组件允许将元数据添加到 ...

2年前 (2021-02-22) 2081℃ 39喜欢

大数据

ClickHouse学习和集群部署

ClickHouse学习和集群部署
1、ClickHouse产生背景 随着科技的发展,时代的进步,数据分析师已经不再满足于传统的T+1式报表或需要提前设置好维度与指标的OLAP查询。数据分析师更希望使用可以支持任意指标、任意维度并秒级给出反馈的大数据Ad-hoc查询系统。这对大数据技术来说是一项非常大的挑战,传统的...

2年前 (2021-02-09) 4522℃ 7喜欢

架构设计

灰度发布系统架构设计

灰度发布系统架构设计
灰度发布的定义 互联网产品需要快速迭代开发上线,又要保证质量,保证刚上线的系统,一旦出现问题可以很快控制影响面,就需要设计一套灰度发布系统。 灰度发布系统的作用,可以根据配置,将用户的流量导到新上线的系统上,来快速验证新的功能,而一旦出现问题,也可以马上的修复,简单的说,就是一套...

2年前 (2020-12-20) 2059℃ 17喜欢

自动化

k8s 弹性伸缩,基于prometheus自定义指标

k8s 弹性伸缩,基于prometheus自定义指标
简介 上一批文章写了,基于CPU指标的弹性伸缩,资源指标只包含CPU、内存,一般来说也够了。但如果想根据自定义指标:如请求qps/5xx错误数来实现HPA,就需要使用自定义指标了,目前比较成熟的实现是 Prometheus Custom Metrics。自定义指标由Prometh...

2年前 (2020-11-24) 3862℃ 0喜欢