由于blog各种垃圾评论太多,而且本人审核评论周期较长,所以懒得管理评论了,就把评论功能关闭,有问题可以直接qq骚扰我

 分类:自动化

Flink SQL on k8s 实现

Flink SQL on k8s 实现
简介 我们在实际使用flink的过程中,不仅使用java开发flink作业,同时也会直接使用flink SQL,通过编写SQL的方式,来实现flink作业。本文就基于Flink 官方提供的 Kubernetes Operator,来实现flink sql在k8s上的运行。 程序功...

1周前 (05-29) 32℃ 0喜欢

Flink on k8s之historyServer

Flink on k8s之historyServer
Flink HistoryServer用途 HistoryServer可以在Flink 作业终止运行(Flink集群关闭)之后,还可以查询已完成作业的统计信息。此外,它对外提供了 REST API,它接受 HTTP 请求并使用 JSON 数据进行响应。Flink 任务停止后,Jo...

1周前 (05-29) 40℃ 0喜欢

Flink on k8s HA 实现

Flink on k8s HA 实现
简介 无论是我们自己开发的系统,还是各种中间件,高可用部署可以避免单点故障,是生产运行的必备要求。对于flink作业也一样,我们开发好的flink 作业,部署到生产环境,也需要高可用的方式来运行。 Flink的高可用,指的就是job manager的高可用,默认情况下,每个 Fl...

1周前 (05-29) 36℃ 0喜欢

Flink on k8s checkpoint 状态写入pv

Flink on k8s checkpoint 状态写入pv
简介 大家都知道,Flink 是一个有状态的分布式流式计算引擎,flink 中的每个function或者是operator都可以是有状态的,为了使得状态可以容错,flink引入了checkpoint机制。checkpoint使得flink能够恢复作业的状态和位置,从而为作业提供与...

1周前 (05-29) 38℃ 1喜欢

Flink on k8s 的一些生产配置

Flink on k8s 的一些生产配置
简介 之前部署了flink operator,并将spark 作业提交到了k8s之上,但是也仅仅达到了能用的程度,距离生产落地还有一些内容需要调整。 Flink 作业日志持久化 当flink运行出错的时候,或者我们要分析flink运行状态的时候,运行日志是我们排查问题的重要依据。...

1周前 (05-29) 40℃ 0喜欢

K8S 的一个网络问题

K8S 的一个网络问题
问题描述 K8S 集群,新安装了nginx服务器,但是访问80端口出来的服务不对,关闭nginx后,仍然可以访问服务器的80端口,但是本地80端口并没有任何服务监听。因为是K8S节点,所以怀疑是K8S上配置了转发规则导致。 解决办法 1、查看端口转发规则:K8S服务器上可能存在端...

3周前 (05-17) 78℃ 0喜欢

prometheus监控flink

prometheus监控flink
前言 Flink 提供的Metrics可以在Flink 内部收集一些指标,通过这些指标可以让开发人员更好地理解作业或集群的状态。 但Flink 内置的Metrics更多的是查看任务的实时状态,要是想持久化这些指标,就需要借助于flink-metrics-prometheus,下面...

2个月前 (04-05) 196℃ 0喜欢

k8s 弹性伸缩,基于prometheus自定义指标

k8s 弹性伸缩,基于prometheus自定义指标
简介 上一批文章写了,基于CPU指标的弹性伸缩,资源指标只包含CPU、内存,一般来说也够了。但如果想根据自定义指标:如请求qps/5xx错误数来实现HPA,就需要使用自定义指标了,目前比较成熟的实现是 Prometheus Custom Metrics。自定义指标由Prometh...

3年前 (2020-11-24) 4630℃ 0喜欢

k8s 弹性伸缩,基于CPU指标

k8s 弹性伸缩,基于CPU指标
k8s弹性伸缩涉及内容 在 Kubernetes 的生态中,在多个维度、多个层次提供了不同的组件来满足不同的伸缩场景。 有三种弹性伸缩 CA(Cluster Autoscaler):Node级别自动扩/缩容cluster-autoscaler组件 HPA(Horizontal ...

3年前 (2020-11-22) 4263℃ 0喜欢

zabbix 监控交换机日志

zabbix 监控交换机日志
需求 我们需要监控交换机warn以上级别的日志,只要有warn及以上级别的日志输入,就需要发送报警给运维,我们使用的监控平台是zabbix,所以监控就需要使用zabbix来实现,下面是配置方法,供各位参考。 交换机配置 交换机启动日志收集,配置日志信息发送到日志主机 info-c...

5年前 (2018-10-30) 11830℃ 5喜欢