由于blog各种垃圾评论太多,而且本人审核评论周期较长,所以懒得管理评论了,就把评论功能关闭,有问题可以直接qq骚扰我
大数据

Azkaban 任务运行时长监控

Azkaban 任务运行时长监控
1、解决的痛点 各种原因导致的Azkaban任务运行假死,无法正常跑任务的情况。 2、解决方案 通过调用Azkaban API接口,获取project flow的startTime时间,通过程序进行相减,得出的值超过报警阀值进行报警。 API调用示例: 1、获取用户身份的sess...

2个月前 (07-19) 395℃ 18喜欢

未分类

互联网高并发架构设计手段

互联网高并发架构设计手段
前言 互联网架构设计有三高分别是,高可用,高扩展,高并发,本文主要以高并发设计为主来和大家分享互联网架构中的常用高并发手段。 高并发的考核指标 对于高并发的衡量有两个重要的指标: 吞吐量:表示架构每秒能抗多少并发 响应延迟:表示每个请求多久可以得到响应        系统性能优化...

3个月前 (07-12) 241℃ 3喜欢

数据库

ES集群数据冷热分离实现

ES集群数据冷热分离实现
冷热数据分离的目的 1、ES集群异构,机器硬件资源配置不一,有高性能CPU和SSD存储集群,也有大容量的机械磁盘集群,比如我们的场景就是存放冷数据的集群,服务器都是多年前买的一批满配的4T Dell R70,但是新扩容的热节点机器均为DELL 高性能SSD磁盘和CPU的R740机...

3个月前 (06-27) 516℃ 5喜欢

大数据

impala 实时分析引擎介绍

impala 实时分析引擎介绍
impala的产生背景和应用场景 Impala由cloudera公司主导开发的大数据实时查询分析工具,宣称比原来基于MapReduce的HiveSQL查询速度提升3~90倍,且更加灵活易用。提供类SQL的查询语句,能够查询存储在HDFS、Kudu、HBase(实际生产环境中不用)...

1年前 (2019-08-20) 2426℃ 21喜欢

大数据

实时计算——storm原理和运维

实时计算——storm原理和运维
什么是storm Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架,具有较高的吞吐率和较低的延迟。Storm是无状态的,它通过Apache ZooKeeper 管理分布式环境和集群状态。部署和开发S...

1年前 (2019-05-04) 2580℃ 4喜欢

大数据

CDH 20个实战案例

CDH 20个实战案例
CCA介绍 Cloudera Certified Associate(CCA认证)是Cloudera面向初中级 Hadoop技术人员推出的认证考试。由于Cloudera的Hadoop发行版是目前 使用最广泛的版本,Cloudera的认证也因此被广泛承认。能够获得这类 证书对于技术...

2年前 (2019-02-26) 5444℃ 3喜欢

大数据

hadoop集群认证和授权

hadoop集群认证和授权
CDH 安全 hadoop的HDFS和mapreduce均缺乏相应的安全机制,比如在HDFS中,用户只要知道某个block的blockID,便可以绕过NameNode直接从DataNode上读取该block,用户可以向任意DataNode上写block;在MapReduce中,用...

2年前 (2019-02-04) 4982℃ 1喜欢

大数据

CDH和CM介绍及搭建

CDH和CM介绍及搭建
CDH和CM简介 什么是CDH CDH(Cloudera’s Distribution Including Apache Hadoop)是Hadoop发行版的一种,是一套目前比较完整的、充分测试的Hadoop及其相关项目的发行版。CDH的基础组件均基于apache license...

2年前 (2019-02-04) 13317℃ 19喜欢

虚拟化/云计算

xenserver7系统急救

xenserver7系统急救
前言 前两天,一台xenserver 服务器在扩容内存重启后无法远程登陆,还好可以通过idrac远程连接,但是xenserver的急救模式和centos进入方式略有不同,这里简单记录一下xenserver进入急救模式的方法。 进入急救模式 (1)服务器启动的时候,进入到菜单引导页...

2年前 (2019-01-04) 2038℃ 1喜欢

数据库

codis 介绍和集群搭建

codis 介绍和集群搭建
Codis 介绍 简介 Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有显著区别 (有一些命令不支持), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请...

2年前 (2018-11-14) 3057℃ 3喜欢