由于blog各种垃圾评论太多,而且本人审核评论周期较长,所以懒得管理评论了,就把评论功能关闭,有问题可以直接qq骚扰我

HDFS 纠删码

大数据 西门飞冰 632℃
[隐藏]

1.纠删码介绍

HDFS默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码,通过计算生成数据单元+计算单元的存储的方式,可以节省约50%左右的存储空间,这种存储方式同样也可以容忍集群中最多出现两台服务器同时宕机(注意:不同策略,允许的最多宕机节点不同)。

image-20221015114928606

2.纠删码策略

RS-3-2-1024k:使用RS编码,每3个数据单元,生成2个校验单元,共5个单元,也就是说:这5个单元中,只要有任意的3个单元存在(不管是数据单元还是校验单元,只要总数=3),就可以得到原始数据。每个单元的大小是1024k=1024*1024=1048576。

RS-10-4-1024k:使用RS编码,每10个数据单元(cell),生成4个校验单元,共14个单元,也就是说:这14个单元中,只要有任意的10个单元存在(不管是数据单元还是校验单元,只要总数=10),就可以得到原始数据。每个单元的大小是1024k=1024*1024=1048576。

RS-6-3-1024k:使用RS编码,每6个数据单元,生成3个校验单元,共9个单元,也就是说:这9个单元中,只要有任意的6个单元存在(不管是数据单元还是校验单元,只要总数=6),就可以得到原始数据。每个单元的大小是1024k=1024*1024=1048576。

RS-LEGACY-6-3-1024k:策略和上面的RS-6-3-1024k一样,只是编码的算法用的是rs-legacy。

XOR-2-1-1024k:使用XOR编码(速度比RS编码快),每2个数据单元,生成1个校验单元,共3个单元,也就是说:这3个单元中,只要有任意的2个单元存在(不管是数据单元还是校验单元,只要总数= 2),就可以得到原始数据。每个单元的大小是1024k=1024*1024=1048576。

Hdfs 默认使用 RS-6-3-1024k 策略

3.纠删码使用命令

hdfs ec //获取纠删码使用操作

4.纠删码使用

纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。

注意:在非空目录上使用纠删码策略不会对现有文件转换纠删码策略,还是维持原有三副本策略,只有新上传的文件才会使用纠删码

默认只开启对RS-6-3-1024k策略的支持,如要使用别的策略需要提前启用。

需求:将/tmp/haha目录设置为RS-3-2-1024k策略

1、开启对RS-3-2-1024k策略的支持

hdfs ec -enablePolicy -policy RS-3-2-1024k

2、对/tmp/haha设置RS-3-2-1024k策略

hdfs ec -setPolicy -path /tmp/haha -policy RS-3-2-1024k

3、查看文件编码后的存储情况

[root@hadoop01 ~]# hdfs dfs -ls /tmp/haha/
Found 1 items
-rw-r--r--   1 root root  338075860 2022-10-15 00:40 /tmp/haha/hadoop-3.1.3.tar.gz
[root@hadoop01 ~]# hdfs dfs -du -s -h /tmp/haha/hadoop-3.1.3.tar.gz
322.4 M  538.4 M  /tmp/haha/hadoop-3.1.3.tar.gz

可以看到对目录设置纠删码之后,一个322MB文件占用的总空间大小只有538MB,说明纠删码策略配置成功

5.纠删码优缺点

5.1.优点

可以大大降低磁盘的空间使用,节省存储成本

5.2.缺点

1、使用纠删码的代价就是需要通过CPU进行计算,属于时间换空间策略

2、我们都知道yarn 任务和数据要是在一起会减少任务的IO消耗,加快任务的运行,使用纠删码之后,yarn任务的分配和数据在一起的记录就会小很多,这样会直接导致任务运行时间增加。

6.纠删码使用场景

1、长时间不用的冷数据

2、归档和备份的数据

转载请注明:西门飞冰的博客 » HDFS 纠删码

喜欢 (0)or分享 (0)