由于blog各种垃圾评论太多,而且本人审核评论周期较长,所以懒得管理评论了,就把评论功能关闭,有问题可以直接qq骚扰我

标签:大数据

大数据

(5)Flink on k8s之historyServer

(5)Flink on k8s之historyServer
Flink HistoryServer用途 HistoryServer可以在Flink 作业终止运行(Flink集群关闭)之后,还可以查询已完成作业的统计信息。此外,它对外提供了 REST API,它接受 HTTP 请求并使用 JSON 数据进行响应。Flink 任务停止后,Jo...

10个月前 (05-29) 1274℃ 4喜欢

大数据

(4)Flink on k8s HA 实现

(4)Flink on k8s HA 实现
简介 无论是我们自己开发的系统,还是各种中间件,高可用部署可以避免单点故障,是生产运行的必备要求。对于flink作业也一样,我们开发好的flink 作业,部署到生产环境,也需要高可用的方式来运行。 Flink的高可用,指的就是job manager的高可用,默认情况下,每个 Fl...

10个月前 (05-29) 5284℃ 2喜欢

大数据

(3)Flink on k8s checkpoint 状态写入pv

(3)Flink on k8s checkpoint 状态写入pv
简介 大家都知道,Flink 是一个有状态的分布式流式计算引擎,flink 中的每个function或者是operator都可以是有状态的,为了使得状态可以容错,flink引入了checkpoint机制。checkpoint使得flink能够恢复作业的状态和位置,从而为作业提供与...

10个月前 (05-29) 1851℃ 3喜欢

大数据

(2)Flink on k8s 的一些生产配置

(2)Flink on k8s 的一些生产配置
简介 之前部署了flink operator,并将spark 作业提交到了k8s之上,但是也仅仅达到了能用的程度,距离生产落地还有一些内容需要调整。 Flink 作业日志持久化 当flink运行出错的时候,或者我们要分析flink运行状态的时候,运行日志是我们排查问题的重要依据。...

10个月前 (05-29) 1564℃ 5喜欢

大数据

(1)Flink on K8S 的简单实现

(1)Flink on K8S 的简单实现
简介 Flink Kubernetes Operator是一个用于在Kubernetes集群上部署、管理和自动化运行Apache Flink应用程序的开源项目。它提供了一种简单、可靠且可扩展的方式来部署和管理Flink作业,同时实现高可用性和容错性。 Flink Kubernet...

10个月前 (05-29) 1032℃ 2喜欢

大数据

Iceberg和spark集成笔记

Iceberg和spark集成笔记
简介 Iceberg 的优势有以下几点: 1、增量数据更新:Iceberg 可以支持增量数据更新,而不是全量数据覆盖,从而减少了数据更新的时间和成本。 2、事务管理:Iceberg 支持事务管理,可以确保数据的一致性和可靠性。 3、版本管理:Iceberg 支持版本管理,可以方便...

11个月前 (04-28) 3120℃ 1喜欢

大数据

nifi 的两个案例实操

nifi 的两个案例实操
简介 nifi 是一个数据同步的框架,像是flume和datax可以完成的操作,nifi都可以完成,本文展示了两个nifi的实际案例,来学习nifi的使用。 案例一:使用nifi离线同步mysql数据到hdfs,模拟datax的常用场景 案例二:使用nifi实时监控Kafka数据...

11个月前 (04-27) 604℃ 1喜欢

大数据

nifi 集群部署1.21 版本

nifi 集群部署1.21 版本
nifi 简介 nifi 是一个数据同步的框架,像是flume和datax可以完成的操作,nifi也可以完成。而且nifi有一个官方提供的web ui,我们所有的操作都可以在web ui上通过方块的形式拖拽来完成,只需要填写相关的参数,就可以实现相对应的功能,方便了相关人员的配置...

11个月前 (04-27) 944℃ 0喜欢

大数据

TimescaleDB时序数据库超表维护

TimescaleDB时序数据库超表维护
TimescaleDB和超表 介绍 Timescaledb是基于PostgreSQL数据库的时序数据库,提供了存储和管理时间序列数据的功能: 超表(Hypertable)是 TimescaleDB 中的核心概念,它实际上就是一张表,但是具有以下特点: 按时间自动分割 into 多...

12个月前 (04-08) 1716℃ 1喜欢

大数据

Flink Sql的join方式

Flink Sql的join方式
介绍 通过API实现双流join有个弊端,就是不管是基于窗口join还是状态join都只支持内连接 Flink这个时候要支持其他连接就需要用到flink sql 进行join了 内连接 内连接:合并具有同一列的两个以上的表的行, 结果集中不包含一个表与另一个表不匹配的行 代码示例...

1年前 (2023-01-15) 4563℃ 0喜欢