由于blog各种垃圾评论太多,而且本人审核评论周期较长,所以懒得管理评论了,就把评论功能关闭,有问题可以直接qq骚扰我

最新发布 第3页

西门飞冰的博客梦想成为架构师的普通运维

JAVA

Netty 实现http数据采集服务

Netty 实现http数据采集服务
前言 本文主要通过Netty实现一个Http协议的数据采集服务,并将Netty接收的请求转换成消息发送给Kafka: 关于采集程序的几个规则: 1、Netty判断请求的合规性通过request header中携带的key和value进行判断,没有携带指定key和value的req...

3个月前 (11-12) 166℃ 1喜欢

JAVA

Netty 之普通任务和定时任务

Netty 之普通任务和定时任务
介绍 Netty不光可以处理IO流任务,还可以处理普通任务和定时任务 Netty通过两种方式提供异步的普通任务和定时任务: (1)通过Channel的EventLoop实现普通任务和定时任务; (2)通过EventExecutorGroup实现普通任务和定时任务。 两者区别:...

3个月前 (11-11) 270℃ 0喜欢

JAVA

Netty 的单机百万连接实现

Netty 的单机百万连接实现
介绍 做个小案例,使用Netty实现单机百万连接。 说明:此案例仅供娱乐。生产不建议单机连接太多,生产环境单机有个一两万连接就了不得了,因为一旦服务器故障,这么多的连接分摊到其他服务器处理不当可能会雪崩,就算其他服务器可以接收这么多连接,那么用户的断线重连,也挺闹心的。 明确瓶颈...

3个月前 (11-08) 154℃ 0喜欢

JAVA

Netty 利用MessagePack传输实体对象

Netty 利用MessagePack传输实体对象
编解码技术介绍 基于Netty的NIO网络开发,我们关注的重点之一是网络传输。当进行远程跨进程服务调用时,需要把被传输的Java对象编码为字节数组或者ByteBuffer对象。而当远程服务读取到ByteBuffer对象或者字节数组时,需要将其编码为发送时的Java对象。这被称为J...

3个月前 (11-07) 151℃ 0喜欢

JAVA

Netty 四个粘包拆包解码器

Netty 四个粘包拆包解码器
为什么会有粘包拆包? TCP 是个”流”协议,所谓流,就是没有界限的一串数据。TCP底层并不了解上层业务数据的具体含义,它会根据TCP缓冲区的实际情况进行包的划分,所以在业务上认为,一个完整的包可能会被拆分成多个包进行发送,也有可能把多个小的包封装成一个大...

3个月前 (11-07) 117℃ 1喜欢

JAVA

Netty 的网络可靠性保障

Netty 的网络可靠性保障
介绍 Netty作为一个基础的NIO通信框架,被广泛应用于大数据处理、互联网消息中间件等场景。这些应用场景都是分布式场景,总结就是把一个服务的不同角色在分散在不同的服务器上。各个角色在运行过程中都需要通过Netty进行数据或者参数的传递,这个过程一定离不开网络。可以把网络理解成联...

3个月前 (11-07) 123℃ 0喜欢

JAVA

Netty 编程的基础内容

Netty 编程的基础内容
Netty介绍 官网:https://netty.io/ Netty是一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。 Netty 本质是一个 NIO 框架,适用于服务器通讯相关的多种应用场景。 Netty解决的问题是:以非常轻松的方式解决各种各...

3个月前 (11-07) 217℃ 0喜欢

大数据

Spark 数据倾斜原理和解决方案

Spark 数据倾斜原理和解决方案
前言 数据倾斜是大数据计算中一个最棘手的问题,出现数据倾斜后,Spark 作业的性能会比期望值差很多,两大直接后果:Spark 任务 OOM 异常退出和数据倾斜拖慢整个任务的执行。数据倾斜的调优,就是利用各种技术方案解决不同类型的数据倾斜问题,保证 Spark 作业的性能。 导致...

3个月前 (10-31) 116℃ 4喜欢

大数据

Spark 性能调优总结

Spark 性能调优总结
前言 输出这篇文章,至少参考了五个不同的spark优化文档,删除了不少调整不调整感觉对性能变化没啥用的内容,查漏补缺总结了如下十二条spark性能调优内容,感觉总结的也是相当全了。 调优一:资源配置 Spark性能调优的第一步,就是为任务分配更多的资源,在一定范围内,增加资源的分...

3个月前 (10-29) 142℃ 0喜欢

大数据

Spark Shuffle解析

Spark Shuffle解析
Spark Shuffle的演进过程 Spark最初版本HashShuffle。 Spark 0.8.1版本以后优化后的HashShuffle。 Spark1.1版本加入SortShuffle,默认是HashShuffle。 Spark1.2版本默认是SortShuffle,但是...

3个月前 (10-29) 129℃ 0喜欢