由于blog各种垃圾评论太多,而且本人审核评论周期较长,所以懒得管理评论了,就把评论功能关闭,有问题可以直接qq骚扰我
自动化

k8s 弹性伸缩,基于prometheus自定义指标

k8s 弹性伸缩,基于prometheus自定义指标
简介 上一批文章写了,基于CPU指标的弹性伸缩,资源指标只包含CPU、内存,一般来说也够了。但如果想根据自定义指标:如请求qps/5xx错误数来实现HPA,就需要使用自定义指标了,目前比较成熟的实现是 Prometheus Custom Metrics。自定义指标由Prometh...

2天前 21℃ 0喜欢

自动化

k8s 弹性伸缩,基于CPU指标

k8s 弹性伸缩,基于CPU指标
k8s弹性伸缩涉及内容 在 Kubernetes 的生态中,在多个维度、多个层次提供了不同的组件来满足不同的伸缩场景。 有三种弹性伸缩 CA(Cluster Autoscaler):Node级别自动扩/缩容cluster-autoscaler组件 HPA(Horizontal ...

4天前 35℃ 0喜欢

大数据

Azkaban 任务运行时长监控

Azkaban 任务运行时长监控
1、解决的痛点 各种原因导致的Azkaban任务运行假死,无法正常跑任务的情况。 2、解决方案 通过调用Azkaban API接口,获取project flow的startTime时间,通过程序进行相减,得出的值超过报警阀值进行报警。 API调用示例: 1、获取用户身份的sess...

4个月前 (07-19) 632℃ 25喜欢

未分类

互联网高并发架构设计手段

互联网高并发架构设计手段
前言 互联网架构设计有三高分别是,高可用,高扩展,高并发,本文主要以高并发设计为主来和大家分享互联网架构中的常用高并发手段。 高并发的考核指标 对于高并发的衡量有两个重要的指标: 吞吐量:表示架构每秒能抗多少并发 响应延迟:表示每个请求多久可以得到响应        系统性能优化...

5个月前 (07-12) 465℃ 3喜欢

数据库

ES集群数据冷热分离实现

ES集群数据冷热分离实现
冷热数据分离的目的 1、ES集群异构,机器硬件资源配置不一,有高性能CPU和SSD存储集群,也有大容量的机械磁盘集群,比如我们的场景就是存放冷数据的集群,服务器都是多年前买的一批满配的4T Dell R70,但是新扩容的热节点机器均为DELL 高性能SSD磁盘和CPU的R740机...

5个月前 (06-27) 895℃ 5喜欢

大数据

impala 实时分析引擎介绍

impala 实时分析引擎介绍
impala的产生背景和应用场景 Impala由cloudera公司主导开发的大数据实时查询分析工具,宣称比原来基于MapReduce的HiveSQL查询速度提升3~90倍,且更加灵活易用。提供类SQL的查询语句,能够查询存储在HDFS、Kudu、HBase(实际生产环境中不用)...

1年前 (2019-08-20) 2850℃ 21喜欢

大数据

实时计算——storm原理和运维

实时计算——storm原理和运维
什么是storm Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架,具有较高的吞吐率和较低的延迟。Storm是无状态的,它通过Apache ZooKeeper 管理分布式环境和集群状态。部署和开发S...

2年前 (2019-05-04) 2850℃ 4喜欢

大数据

CDH 20个实战案例

CDH 20个实战案例
CCA介绍 Cloudera Certified Associate(CCA认证)是Cloudera面向初中级 Hadoop技术人员推出的认证考试。由于Cloudera的Hadoop发行版是目前 使用最广泛的版本,Cloudera的认证也因此被广泛承认。能够获得这类 证书对于技术...

2年前 (2019-02-26) 6194℃ 4喜欢

大数据

hadoop集群认证和授权

hadoop集群认证和授权
CDH 安全 hadoop的HDFS和mapreduce均缺乏相应的安全机制,比如在HDFS中,用户只要知道某个block的blockID,便可以绕过NameNode直接从DataNode上读取该block,用户可以向任意DataNode上写block;在MapReduce中,用...

2年前 (2019-02-04) 5468℃ 1喜欢

大数据

CDH和CM介绍及搭建

CDH和CM介绍及搭建
CDH和CM简介 什么是CDH CDH(Cloudera’s Distribution Including Apache Hadoop)是Hadoop发行版的一种,是一套目前比较完整的、充分测试的Hadoop及其相关项目的发行版。CDH的基础组件均基于apache license...

2年前 (2019-02-04) 15824℃ 19喜欢