简介
上一批文章写了，基于CPU指标的弹性伸缩，资源指标只包含CPU、内存，一般来说也够了。但如果想根据自定义指标:如请求qps/5xx错误数来实现HPA，就需要使用自定义指标了，目前比较成熟的实现是 Prometheus Custom Metrics。自定义指标由Prometh...
2天前 21℃
0喜欢
k8s弹性伸缩涉及内容
在 Kubernetes 的生态中，在多个维度、多个层次提供了不同的组件来满足不同的伸缩场景。
有三种弹性伸缩
CA（Cluster Autoscaler）：Node级别自动扩/缩容cluster-autoscaler组件
HPA（Horizontal ...
4天前 35℃
0喜欢
1、解决的痛点
各种原因导致的Azkaban任务运行假死，无法正常跑任务的情况。
2、解决方案
通过调用Azkaban API接口，获取project flow的startTime时间，通过程序进行相减，得出的值超过报警阀值进行报警。
API调用示例：
1、获取用户身份的sess...
4个月前 (07-19) 632℃
25喜欢
前言
互联网架构设计有三高分别是，高可用，高扩展，高并发，本文主要以高并发设计为主来和大家分享互联网架构中的常用高并发手段。
高并发的考核指标
对于高并发的衡量有两个重要的指标：
吞吐量：表示架构每秒能抗多少并发
响应延迟：表示每个请求多久可以得到响应
系统性能优化...
5个月前 (07-12) 465℃
3喜欢
冷热数据分离的目的
1、ES集群异构，机器硬件资源配置不一，有高性能CPU和SSD存储集群，也有大容量的机械磁盘集群，比如我们的场景就是存放冷数据的集群，服务器都是多年前买的一批满配的4T Dell R70，但是新扩容的热节点机器均为DELL 高性能SSD磁盘和CPU的R740机...
5个月前 (06-27) 895℃
5喜欢
impala的产生背景和应用场景
Impala由cloudera公司主导开发的大数据实时查询分析工具，宣称比原来基于MapReduce的HiveSQL查询速度提升3~90倍，且更加灵活易用。提供类SQL的查询语句，能够查询存储在HDFS、Kudu、HBase（实际生产环境中不用）...
1年前 (2019-08-20) 2850℃
21喜欢
什么是storm
Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有较高的吞吐率和较低的延迟。Storm是无状态的，它通过Apache ZooKeeper 管理分布式环境和集群状态。部署和开发S...
2年前 (2019-05-04) 2850℃
4喜欢
CCA介绍
Cloudera Certified Associate(CCA认证)是Cloudera面向初中级 Hadoop技术人员推出的认证考试。由于Cloudera的Hadoop发行版是目前 使用最广泛的版本，Cloudera的认证也因此被广泛承认。能够获得这类 证书对于技术...
2年前 (2019-02-26) 6194℃
4喜欢
CDH 安全
hadoop的HDFS和mapreduce均缺乏相应的安全机制，比如在HDFS中，用户只要知道某个block的blockID，便可以绕过NameNode直接从DataNode上读取该block，用户可以向任意DataNode上写block；在MapReduce中，用...
2年前 (2019-02-04) 5468℃
1喜欢
CDH和CM简介
什么是CDH
CDH（Cloudera’s Distribution Including Apache Hadoop）是Hadoop发行版的一种，是一套目前比较完整的、充分测试的Hadoop及其相关项目的发行版。CDH的基础组件均基于apache license...
2年前 (2019-02-04) 15824℃
19喜欢
