大数据streamset 实时同步mysql binlog到kudu 背景 业务数据库中有一些mysql表，这些表的记录会被增删改，我们的需求是需要吧这些mysql表实时同步到大数据数仓的impala中，作为数仓的维表来进行使用，因此需要实时的反映这些表的变化情况。 StreamSets Data Collector（SDC）是目前最先进的可视化数... 2年前 (2021-11-13) 4138℃ 31喜欢
大数据Kafka 实现内外网访问流量分离 背景 和第三方公司进行数据集成，因为第三方服务和我们不是部署在一个数据中心，所以需要给第三方的程序开放Kafka的公网访问 问题：Kafka 无法同时内外网访问 Kafka 默认只暴露出来一个地址放到zk中，用户请求Kafka的时候，会返回zk中的地址给客户端进行访问，就算做了公... 2年前 (2021-11-13) 2366℃ 2喜欢
