JAVAspringboot Actuator指标监控(基于k8s 和prometheus 实现) 简介 每一个微服务在部署以后,我们都需要对其进行监控、追踪、审计、控制等。 Spring Boot就提供了Actuator场景,使得我们的应用快速引用即可获得生产级别的应用监控、审计等功能。 Spring Boot Actuator是一个用于监控和管理Spring Boot应用程... 10个月前 (06-14) 2263℃ 4喜欢
大数据(7)Flink Native K8S 简介 flink native k8s就是使用flink 自有的命令来提交作业到k8s集群的,需要提前下载好flink安装包 实际生产中使用flink on k8s推荐使用flink kubernetes operator的方式,flink native k8s还不是很成熟,坑略... 11个月前 (06-06) 1494℃ 1喜欢
大数据(8)Spark Sql on K8S 加 JuiceFS 分布式缓存实现 简介 传统的存算一体架构具有数据本地化的先天性能优势,而采用存算分离之后,由于所有的数据读写都要通过网络进行,因此就失去了数据本地化的性能优势。为了解决这个问题,会在计算和存储之间引入新的分布式缓存组件,例如Juice FS和Alluxio,以进一步提升数据的读写性能。 Juic... 11个月前 (06-05) 1228℃ 2喜欢
大数据(7)spark sql on k8s Shuffle 落盘 简介 Spark Shuffle通常是在RDD宽依赖的情况下发生,是上游Stage和下游Stage之间传递数据的一种机制。shuffle阶段通常会伴随中间数据的落盘(数据量不大的情况下也可以不落盘而是全部保存在内存中),shuffle的性能高低直接影响了整个Spark程序的性能和... 11个月前 (06-05) 1192℃ 0喜欢