最新发布第3页

西门飞冰的博客梦想成为架构师的普通运维

Netty 实现http数据采集服务

前言本文主要通过Netty实现一个Http协议的数据采集服务，并将Netty接收的请求转换成消息发送给Kafka：关于采集程序的几个规则： 1、Netty判断请求的合规性通过request header中携带的key和value进行判断，没有携带指定key和value的req...

3个月前 (11-12) 166℃ 1喜欢

介绍 Netty不光可以处理IO流任务，还可以处理普通任务和定时任务 Netty通过两种方式提供异步的普通任务和定时任务：（1）通过Channel的EventLoop实现普通任务和定时任务；（2）通过EventExecutorGroup实现普通任务和定时任务。两者区别：...

3个月前 (11-11) 270℃ 0喜欢

介绍做个小案例，使用Netty实现单机百万连接。说明：此案例仅供娱乐。生产不建议单机连接太多，生产环境单机有个一两万连接就了不得了，因为一旦服务器故障，这么多的连接分摊到其他服务器处理不当可能会雪崩，就算其他服务器可以接收这么多连接，那么用户的断线重连，也挺闹心的。明确瓶颈...

3个月前 (11-08) 154℃ 0喜欢

编解码技术介绍基于Netty的NIO网络开发，我们关注的重点之一是网络传输。当进行远程跨进程服务调用时，需要把被传输的Java对象编码为字节数组或者ByteBuffer对象。而当远程服务读取到ByteBuffer对象或者字节数组时，需要将其编码为发送时的Java对象。这被称为J...

3个月前 (11-07) 151℃ 0喜欢

为什么会有粘包拆包？ TCP 是个”流”协议，所谓流，就是没有界限的一串数据。TCP底层并不了解上层业务数据的具体含义，它会根据TCP缓冲区的实际情况进行包的划分，所以在业务上认为，一个完整的包可能会被拆分成多个包进行发送，也有可能把多个小的包封装成一个大...

3个月前 (11-07) 117℃ 1喜欢

介绍 Netty作为一个基础的NIO通信框架，被广泛应用于大数据处理、互联网消息中间件等场景。这些应用场景都是分布式场景，总结就是把一个服务的不同角色在分散在不同的服务器上。各个角色在运行过程中都需要通过Netty进行数据或者参数的传递，这个过程一定离不开网络。可以把网络理解成联...

3个月前 (11-07) 123℃ 0喜欢

Netty介绍官网：https://netty.io/ Netty是一个异步事件驱动的网络应用程序框架，用于快速开发可维护的高性能协议服务器和客户端。 Netty 本质是一个 NIO 框架，适用于服务器通讯相关的多种应用场景。 Netty解决的问题是：以非常轻松的方式解决各种各...

3个月前 (11-07) 217℃ 0喜欢

前言数据倾斜是大数据计算中一个最棘手的问题，出现数据倾斜后，Spark 作业的性能会比期望值差很多，两大直接后果：Spark 任务 OOM 异常退出和数据倾斜拖慢整个任务的执行。数据倾斜的调优，就是利用各种技术方案解决不同类型的数据倾斜问题，保证 Spark 作业的性能。导致...

3个月前 (10-31) 116℃ 4喜欢

前言输出这篇文章，至少参考了五个不同的spark优化文档，删除了不少调整不调整感觉对性能变化没啥用的内容，查漏补缺总结了如下十二条spark性能调优内容，感觉总结的也是相当全了。调优一：资源配置 Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分...

3个月前 (10-29) 142℃ 0喜欢

Spark Shuffle的演进过程 Spark最初版本HashShuffle。 Spark 0.8.1版本以后优化后的HashShuffle。 Spark1.1版本加入SortShuffle，默认是HashShuffle。 Spark1.2版本默认是SortShuffle，但是...

3个月前 (10-29) 129℃ 0喜欢