2023年04月的内容

Iceberg和spark集成笔记

简介 Iceberg 的优势有以下几点： 1、增量数据更新：Iceberg 可以支持增量数据更新，而不是全量数据覆盖，从而减少了数据更新的时间和成本。 2、事务管理：Iceberg 支持事务管理，可以确保数据的一致性和可靠性。 3、版本管理：Iceberg 支持版本管理，可以方便...

5个月前 (04-28) 984℃ 0喜欢

简介 nifi 是一个数据同步的框架，像是flume和datax可以完成的操作，nifi都可以完成，本文展示了两个nifi的实际案例，来学习nifi的使用。案例一：使用nifi离线同步mysql数据到hdfs，模拟datax的常用场景案例二：使用nifi实时监控Kafka数据...

5个月前 (04-27) 297℃ 1喜欢

nifi 简介 nifi 是一个数据同步的框架，像是flume和datax可以完成的操作，nifi也可以完成。而且nifi有一个官方提供的web ui，我们所有的操作都可以在web ui上通过方块的形式拖拽来完成，只需要填写相关的参数，就可以实现相对应的功能，方便了相关人员的配置...

5个月前 (04-27) 349℃ 0喜欢

TimescaleDB和超表介绍 Timescaledb是基于PostgreSQL数据库的时序数据库，提供了存储和管理时间序列数据的功能：超表(Hypertable)是 TimescaleDB 中的核心概念,它实际上就是一张表,但是具有以下特点: 按时间自动分割 into 多...

6个月前 (04-08) 725℃ 0喜欢

前言 Flink 提供的Metrics可以在Flink 内部收集一些指标，通过这些指标可以让开发人员更好地理解作业或集群的状态。但Flink 内置的Metrics更多的是查看任务的实时状态，要是想持久化这些指标，就需要借助于flink-metrics-prometheus，下面...

6个月前 (04-05) 421℃ 0喜欢