由于blog各种垃圾评论太多,而且本人审核评论周期较长,所以懒得管理评论了,就把评论功能关闭,有问题可以直接qq骚扰我

 分类:大数据

canal基于binlog同步方案的局限性和思考

canal基于binlog同步方案的局限性和思考
Canal局限性 时效性问题 mysql 主从复制存在延迟,不适合对数据同步实时性要求高的场景 注:复制有延迟这个问题mysql自身都解决不了,更不要指望第三方工具解决,这也是为什么很多生产mysql不开启读写分离的原因 canal 高可用问题 canal 挂载主库:mysq...

2年前 (2022-10-18) 1921℃ 3喜欢

Flume自定义拦截器解决数据漂移问题

Flume自定义拦截器解决数据漂移问题
场景介绍 在大数据业务采集场景中,经常会通过Flume把Kafka中的数据落地到HDFS进行持久保存和数据计算。为了数据计算和运维方便,通常会把每天的数据在HDFS通过天分区独立存储。 在数据落入HDFS 天分区目录的过程中,会出现数据跨天存储的问题,本来是2022年6月16日的...

2年前 (2022-10-18) 1856℃ 2喜欢

flume 多路复用+自定义拦截器实践

flume 多路复用+自定义拦截器实践
Flume 内部原理 本文主要使用其中的Interceptor和Channel Selector Interceptor: 对source中的数据在进入channel之前进行拦截做一些处理,比如过滤掉一些数据,或者加上一些key/value等。flume内置了一些拦截器,也可以...

2年前 (2022-10-18) 1783℃ 1喜欢

HDFS 纠删码

HDFS 纠删码
纠删码介绍 HDFS默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码,通过计算生成数据单元+计算单元的存储的方式,可以节省约50%左右的存储空间,这种存储方式同样也可以容忍集群中最多出现两台服务器同时宕机(注意:不同...

2年前 (2022-10-15) 1078℃ 0喜欢

Kafka on Pulsar(KOP)

Kafka on Pulsar(KOP)
KOP 介绍 KoP(Kafka on Pulsar)通过在 Pulsar 代理上引入 Kafka 协议处理程序,为 Apache Pulsar 带来了原生的Apache Kafka协议支持。通过将 KoP 协议处理程序添加到您现有的 Pulsar 集群,您可以将现有的 Kafk...

2年前 (2022-10-14) 1348℃ 1喜欢

Pulsar 架构原理

Pulsar 架构原理
bookkeeper 集群的架构 Apache BookKeeper 是企业级存储系统,旨在保证高持久性、一致性与低延迟。 企业级的实时存储平台需要具备的特点: 以极低的延迟(小于 5 毫秒)读写 entry 流 能够持久、一致、容错地存储数据 在写数据时,能够进行流式传输或...

2年前 (2022-10-14) 1270℃ 0喜欢

Pulsar function

Pulsar function
function 背景 当我们进行流式处理的时候,很多情况下,我们的需求可能只是下面这些简单的操作:简单的ETL 操作\聚合计算操作等相关服务。 但为了实现这些功能,我们不得不去部署一整套 流处理服务(spark、flink等)。但是我们仅仅需要这些服务的一小部分功能,部署流处理...

2年前 (2022-10-14) 3377℃ 0喜欢

Pulsar 主要功能介绍及使用

Pulsar 主要功能介绍及使用
多租户模式 什么是多租户 Apache Pulsar 最初诞生于雅虎,当时就是为了解决雅虎内部各个部门之间数据的协调,所以多租户特性显得至关重用,Pulsar 从诞 生之日起就考虑到多租户这一特性,并在后续的实现过程中,将其不断的完善。 多租户这一特性,使得各个部门之间可以共享同...

2年前 (2022-10-14) 2984℃ 1喜欢

Pulsar介绍和集群部署

Pulsar介绍和集群部署
Pulsar 基本介绍 背景 Apache Pulsar 是一个云原生企业级的发布订阅(pub-sub)消息系统2012年雅虎孵化,2016年开源成为apache的顶级项目,Pulsar 已经被腾讯、智联招聘、涂鸦智能、中国移动、中国电信、360、达达集团(京东到家)、苏宁、平安...

2年前 (2022-10-14) 2498℃ 2喜欢

Kafka-Kraft模式

Kafka-Kraft模式
Kafka-Kraft模式介绍 Kafka 2.8.0 正式发布了Kraft的先行版,并且支持在Kraft模式下的部署和运行。KRaft模式下的Kafka可以完全脱离zookeeper运行,使用自己的基于Raft算法实现的quorum来保证分布式Metadata的一致 左图为K...

2年前 (2022-10-12) 2626℃ 0喜欢