由于blog各种垃圾评论太多,而且本人审核评论周期较长,所以懒得管理评论了,就把评论功能关闭,有问题可以直接qq骚扰我

标签:hdfs

大数据

nifi 的两个案例实操

nifi 的两个案例实操
简介 nifi 是一个数据同步的框架,像是flume和datax可以完成的操作,nifi都可以完成,本文展示了两个nifi的实际案例,来学习nifi的使用。 案例一:使用nifi离线同步mysql数据到hdfs,模拟datax的常用场景 案例二:使用nifi实时监控Kafka数据...

11个月前 (04-27) 604℃ 1喜欢

大数据

HDFS 纠删码

HDFS 纠删码
纠删码介绍 HDFS默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码,通过计算生成数据单元+计算单元的存储的方式,可以节省约50%左右的存储空间,这种存储方式同样也可以容忍集群中最多出现两台服务器同时宕机(注意:不同...

1年前 (2022-10-15) 631℃ 0喜欢

运维工具

logstash 收集日志到hdfs

logstash 收集日志到hdfs
前言 通常情况下,我们将日志数据通过logstash收集到es,然后用kibana进行实时查询,可视化分析,这就是我们常用的elk架构。但是基于elk的日志分析,通常比较常用的是实时分析,日志存储一段时间就会删掉。那么在一些情况下,我需要将日志数据也存储一份到hdfs用来做大数据...

6年前 (2018-07-17) 12079℃ 3喜欢