标签：flink

（7）Flink Native K8S

简介 flink native k8s就是使用flink 自有的命令来提交作业到k8s集群的，需要提前下载好flink安装包实际生产中使用flink on k8s推荐使用flink kubernetes operator的方式，flink native k8s还不是很成熟，坑略...

4个月前 (06-06) 456℃ 1喜欢

简介我们在实际使用flink的过程中，不仅使用java开发flink作业，同时也会直接使用flink SQL，通过编写SQL的方式，来实现flink作业。本文就基于Flink 官方提供的 Kubernetes Operator，来实现flink sql在k8s上的运行。程序功...

4个月前 (05-29) 523℃ 2喜欢

Flink HistoryServer用途 HistoryServer可以在Flink 作业终止运行（Flink集群关闭）之后，还可以查询已完成作业的统计信息。此外，它对外提供了 REST API，它接受 HTTP 请求并使用 JSON 数据进行响应。Flink 任务停止后，Jo...

4个月前 (05-29) 515℃ 2喜欢

简介无论是我们自己开发的系统，还是各种中间件，高可用部署可以避免单点故障，是生产运行的必备要求。对于flink作业也一样，我们开发好的flink 作业，部署到生产环境，也需要高可用的方式来运行。 Flink的高可用，指的就是job manager的高可用，默认情况下，每个 Fl...

4个月前 (05-29) 238℃ 2喜欢

简介大家都知道，Flink 是一个有状态的分布式流式计算引擎，flink 中的每个function或者是operator都可以是有状态的，为了使得状态可以容错，flink引入了checkpoint机制。checkpoint使得flink能够恢复作业的状态和位置，从而为作业提供与...

4个月前 (05-29) 227℃ 2喜欢

简介之前部署了flink operator，并将spark 作业提交到了k8s之上，但是也仅仅达到了能用的程度，距离生产落地还有一些内容需要调整。 Flink 作业日志持久化当flink运行出错的时候，或者我们要分析flink运行状态的时候，运行日志是我们排查问题的重要依据。...

4个月前 (05-29) 731℃ 3喜欢

简介 Flink Kubernetes Operator是一个用于在Kubernetes集群上部署、管理和自动化运行Apache Flink应用程序的开源项目。它提供了一种简单、可靠且可扩展的方式来部署和管理Flink作业，同时实现高可用性和容错性。 Flink Kubernet...

4个月前 (05-29) 321℃ 2喜欢

前言 Flink 提供的Metrics可以在Flink 内部收集一些指标，通过这些指标可以让开发人员更好地理解作业或集群的状态。但Flink 内置的Metrics更多的是查看任务的实时状态，要是想持久化这些指标，就需要借助于flink-metrics-prometheus，下面...

6个月前 (04-05) 420℃ 0喜欢

介绍通过API实现双流join有个弊端，就是不管是基于窗口join还是状态join都只支持内连接 Flink这个时候要支持其他连接就需要用到flink sql 进行join了内连接内连接：合并具有同一列的两个以上的表的行, 结果集中不包含一个表与另一个表不匹配的行代码示例...

8个月前 (01-15) 619℃ 0喜欢

FlinkAPI的join方式使用Flink API要做双流join的话，flink提供了两种方式，一种是基于窗口的window join和基于状态的lnterval join Flink Join算子有非常严厉的限制，就是必须基于时间通过API实现双流join有个弊端，就是...

9个月前 (01-02) 1253℃ 1喜欢