西门飞冰的博客-专注于Linux运维

hadoop集群认证和授权

CDH 安全 hadoop的HDFS和mapreduce均缺乏相应的安全机制，比如在HDFS中，用户只要知道某个block的blockID，便可以绕过NameNode直接从DataNode上读取该block，用户可以向任意DataNode上写block；在MapReduce中，用...

3周前 (02-04) 203℃ 0喜欢

CDH和CM简介什么是CDH CDH（Cloudera’s Distribution Including Apache Hadoop）是Hadoop发行版的一种，是一套目前比较完整的、充分测试的Hadoop及其相关项目的发行版。CDH的基础组件均基于apache license...

3周前 (02-04) 194℃ 0喜欢

前言前两天，一台xenserver 服务器在扩容内存重启后无法远程登陆，还好可以通过idrac远程连接，但是xenserver的急救模式和centos进入方式略有不同，这里简单记录一下xenserver进入急救模式的方法。进入急救模式（1）服务器启动的时候，进入到菜单引导页...

2个月前 (01-04) 355℃ 1喜欢

Codis 介绍简介 Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有显著区别 (有一些命令不支持), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请...

3个月前 (11-14) 464℃ 1喜欢

需求我们需要监控交换机warn以上级别的日志，只要有warn及以上级别的日志输入，就需要发送报警给运维，我们使用的监控平台是zabbix，所以监控就需要使用zabbix来实现，下面是配置方法，供各位参考。交换机配置交换机启动日志收集，配置日志信息发送到日志主机 info-c...

4个月前 (10-30) 467℃ 0喜欢

Harbor 介绍 Harbor 是企业级的docker镜像开源解决方案，由vmware公司开发。作为一个企业私有的registry服务器，harbor提供了更好的性能和安全，提升用户使用registry构建和运行环境传输镜像的效率。Harbor支持安装在多个registry节点...

4个月前 (10-15) 460℃ 0喜欢

Rabbitmq 介绍 RabbitMQ是世界最火的开源消息代理服务器，在全世界拥有超过35000个项目部署在Rabbitmq。 RabbitMQ 支持几乎所有的操作系统与编程语言。 Rabbit提供了高并发、高可用的成熟方案，支持多种消息协议，易于部署于使用。 rabbitm...

5个月前 (10-07) 454℃ 0喜欢

需求近期公司上线某项目，需要根据参数id进行一致性hash，实现将同一参数的请求发送到同一节点上，由于我们使用nginx来做代理，所以这个任务到运维这里，首先就要思考用nginx怎么实现，最后调研了一下，nginx需要安装一个第三方模块ngx_http_consistent_h...

5个月前 (09-25) 532℃ 1喜欢

前言今天对公司对一个报警脚本进行改造，遇到了一个ES查询问题，在此进行记录，已做备忘。报警脚本逻辑，通过查询es中对访问日志，判断微服务接口的错误信息和微服务接口响应延迟进行报警，报警内容包含48小时内此微服务的错误信息和响应延迟出现次数，供运维和研发判断重要性。但是由于晚...

7个月前 (07-17) 1887℃ 1喜欢

前言通常情况下，我们将日志数据通过logstash收集到es，然后用kibana进行实时查询，可视化分析，这就是我们常用的elk架构。但是基于elk的日志分析，通常比较常用的是实时分析，日志存储一段时间就会删掉。那么在一些情况下，我需要将日志数据也存储一份到hdfs用来做大数据...

7个月前 (07-17) 1524℃ 0喜欢