由于blog各种垃圾评论太多,而且本人审核评论周期较长,所以懒得管理评论了,就把评论功能关闭,有问题可以直接qq骚扰我
JAVA

JAVA—SPI机制 24小时内最新

JAVA—SPI机制
SPI 介绍 在进行应用程序开发的时候,经常有这样一类需求,在不修改源代码的情况下,动态的为我们的程序提供一系列特性,比如我们可以为每一个方法在执行前,执行后动态的运算它的执行时间;或者收集jvm、内存、cpu的运行指标等等,像这些灵活扩展的功能该如何实现呢?在springboo...

2小时前 8℃ 0喜欢

算法

LRU最近最少使用算法

LRU最近最少使用算法
LRU 算法简介 LRU是Least Recently Used的缩写,即最近最少使用,是一种常用的页面置换算法,选择最近最久未使用的页面予以淘汰 LRU算法的设计原则是:如果一个数据在最近一段时间没有被访问到,那么在将来它被访问的可能性也很小。也就是说,当限定的空间已存满数据时...

2周前 (01-15) 58℃ 2喜欢

大数据

Flink Sql的join方式

Flink Sql的join方式
介绍 通过API实现双流join有个弊端,就是不管是基于窗口join还是状态join都只支持内连接 Flink这个时候要支持其他连接就需要用到flink sql 进行join了 内连接 内连接:合并具有同一列的两个以上的表的行, 结果集中不包含一个表与另一个表不匹配的行 代码示例...

2周前 (01-15) 40℃ 0喜欢

大数据

Clickhouse普通表转bitmap表

Clickhouse普通表转bitmap表
为什么使用bitmap表 存储成本低 好处一: 如果有一个超大的无序且不重复的整数集合,用Bitmap的存储成本是非常低的。 假设有个1,2,5的数字集合,如果常规的存储方法,要用3个Int32空间。其中一个Int32就是32位的空间。三个就是3*32Bit,相当于12个字节。 ...

2周前 (01-14) 48℃ 0喜欢

大数据

Flink 基于API的双流join

Flink 基于API的双流join
FlinkAPI的join方式 使用Flink API要做双流join的话,flink提供了两种方式,一种是基于窗口的window join和基于状态的lnterval join Flink Join算子有非常严厉的限制,就是必须基于时间 通过API实现双流join有个弊端,就是...

4周前 (01-02) 83℃ 0喜欢

大数据

Flink 多流转换分流合流

Flink 多流转换分流合流
介绍 在Flink中无论是基本的简单转换和聚合,还是基于窗口的计算,我们都是针对一条流上的数据进行处理的。而在实际应用中,可能需要将不同来源的数据连接合并在一起处理,也有可能需要将一条流拆分开,所以经常会有对多条流进行处理的场景。 简单划分的话,多流转换可以分为“分流”和“合流”...

4周前 (01-02) 71℃ 0喜欢

大数据

Hbase整合Phoenix之二级索引

Hbase整合Phoenix之二级索引
二级索引介绍 Phoenix的一级索引就是它的主键,对应的就是hbase的rowkey,这个是默认的机制,我们不需要额外操作。 故二级索引就是非主键/rowkey列的索引。创建二级索引的目的就是为了加快查询速度。 Hbase只能基于rowkey去查询数据,要是基于其他列查询数据就...

1个月前 (12-27) 92℃ 0喜欢

大数据

Hbase整合Phoenix之介绍部署和使用

Hbase整合Phoenix之介绍部署和使用
Phoenix定义 Phoenix 是HBASE的一个加分项,往往一些考虑使用HBASE的场景还是因为有着Phoenix的加持。如果只是单纯的考虑把数据存到HBASE,然后做一些简单的查询,Hbase一定是可以满足的。但是要对HBASE的数据做一些分析,这个时候HBASE 就出现...

1个月前 (12-27) 113℃ 0喜欢

大数据

Flink 端到端的状态一致性

Flink 端到端的状态一致性
状态一致性的概念 对于Flink流处理器来说,所谓的状态一致性,其实就是我们所说的计算结果要保证准确,一条数据不应该丢失,也不应该重复计算。 在遇到故障时可以恢复状态,恢复以后的重新计算,结果应该也是完全正确的。 状态一致性的级别 最多一次(AT-MOST-ONCE) 当任务故障...

1个月前 (12-23) 78℃ 0喜欢

大数据

Flink 状态持久化和检查点

Flink 状态持久化和检查点
状态持久化 在Flink的状态管理机制中,Flink 容错性的保障就是要对状态数据做一个持久化的保存,这样就可以在发生故障后通过持久化数据进行重启恢复。在Flink 中对状态进行持久化的方式,就是将当前所有分布式状态进行“快照”保存,写入一个“检查点”(checkpoint)或者...

1个月前 (12-23) 78℃ 0喜欢