由于blog各种垃圾评论太多，而且本人审核评论周期较长，所以懒得管理评论了，就把评论功能关闭，有问题可以直接qq骚扰我

Pulsar介绍和集群部署

中间件 西门飞冰 1793℃
[隐藏]

1.Pulsar 基本介绍

1.1.背景

Apache Pulsar 是一个云原生企业级的发布订阅（pub-sub）消息系统2012年雅虎孵化，2016年开源成为apache的顶级项目，Pulsar 已经被腾讯、智联招聘、涂鸦智能、中国移动、中国电信、360、达达集团（京东到家）、苏宁、平安证券、华为等各个领域的巨头争先广泛实践，有全面赶超 Kafka 的趋势，和当年阿里推动 Flink 取代 Spark 的态势非常相似！

Apache Pulsar的功能与特性:

1、多租户模式

2、灵活的消息系统

3、云原生架构

4、segmented Sreams(分片流)

5、支持跨地域复制

1.2.优势

1、Pulsar 不仅可以如同 Kafka 一样处理高速率实时场景，还能支持传统的标准消息队列模式，例如多消费者和失效备援订阅及延时消息等。很多公司常常会在 Kafka 和 MQ 之间做选择，这是因为在实时流式架构中，消息用例可被分为两类：队列和流。而 Pulsar 最优秀的地方正在于此，它将队列和流合二为一，统一为消息传递模型（producer-topic-subscription-consumer）！一个 Pulsar 系统，直接让你拥有 RabbitMQ + RocketMQ + Kafka 的各项特性！

2、Pulsar 采用云原生架构，它的架构设计能够充分利用分布式且能弹性扩容云端资源，快速告别性能不足，集群扩容缩容非常方便。

3、采用多租户的管理，分层结构管理topic，租户（团队）–>Namespace（团队产品）–>topic，可以根据租户来进行资源隔离和授权，一个大的集群里面支持整个公司的业务，一个平台实现数据共享。

4、支持跨地域复制，多个Pulsar cluster 可以双向复制，且多Pulsar cluster offset可以同步到多个集群。Kafka 仅支持单项复制。

5、Consumer 可以动态扩容缩容，处理队列消息积压，Kafka受限于分区，动态缩容很复杂，且一个分区近支持一个Consumer处理，扩容Kafka分区需要程序重启适配。

1.3.缺点

1、Pulsar 一些大厂有过测试，读写性能只有Kafka的一半左右，主要是Pulsar设计之初就是强一致、不丢数据

2、大部分技术团队储备薄弱，无生产实践经验

Pulsar官方性能测试场景少有些片面（同步、异步，不同ack机制不一样，多大的批，一条数据多大，延时和吞吐量都是相反的）

2. kafka目前存在的痛点

Pulsar 诞生之初就一直拿Kafka 做对比，并且最大的竞争对手也是Kafka，这里列出了一些Kafka的缺点，在pulsar中都有比较好的解决方法。

1、Kafka 很难进行扩展，因为 Kafka 把消息持久化在 broker 中，迁移主题分区时，需要把分区的数据完全复制到其他 broker 中，这个操作非常耗时。

2、当需要通过更改分区大小以获得更多的存储空间时，会与消息索引产生冲突，打乱消息顺序。因此，如果用户需要保证消息的顺序，Kafka 就变得非常棘 手了。

3、如果分区副本不处于 ISR（同步）状态，那么 leader 选取可能会紊乱。一般地，当原始主分区出现故障时，应该有一个 ISR 副本被征用，但是这点并 不能完全保证。若在设置中并未规定只有 ISR 副本可被选为 leader 时，选出一个处于非同步状态的副本做 leader，这比没有 broker 服务该 partition 的情况更糟糕。

4、使用 Kafka 时，你需要根据现有的情况并充分考虑未来的增量计划，规划 broker、主题、分区和副本的数量，才能避免 Kafka 扩展导致的问题。这是 理想状况，实际情况很难规划，不可避免会出现扩展需求。

5、Kafka 集群的分区再均衡会影响相关生产者和消费者的性能。

6、发生故障时，Kafka 主题无法保证消息的完整性（特别是遇到第 3 点中的情况，需要扩展时极有可能丢失消息）。

7、众所周知，Kafka 原生的跨地域复制机制（MirrorMaker）有问题，即使只在两个数据中心也无法正常使用跨地域复制。因此，甚至 Uber 都不得不创建 另一套解决方案来解决这个问题，并将其称为 uReplicator (https://eng.uber.com/ureplicator/)。

8、Kafka 没有原生的多租户功能来实现租户的完全隔离，它是通过使用主题授权等安全功能来完成的

3.pulsar 架构介绍

单个Pulsar集群由以下三部分组成：

  • 多个 broker 负责处理和负载均衡 producer 发出的消息，并将这些消息分派给 consumer；Broker 与 Pulsar 配 置存储交互来处理相应的任务，并将消息存储在 BookKeeper 实例中（又称 bookies）；Broker 依赖 ZooKeeper 集群处理特定的任务，等等。
  • 多个 bookie 的 BookKeeper 集群负责消息的持久化存储。
  • 一个zookeeper集群，用来处理多个Pulsar集群之间的协调任务。

image-20221013104238592

3.1.Brokers介绍

Pulsar的broker是一个无状态组件, 主要负责运行另外的两个组件:

  • 一个 HTTP 服务器, 它暴露了 REST 系统管理接口以及在生产者和消费者之间进行 Topic查找的API。
  • 一个调度分发器, 它是异步的TCP服务器，通过自定义 二进制协议应用于所有相关的数据传输。

出于性能考虑，消息通常从Managed Ledger缓存中分派出去，除非积压超过缓存大小。如果积压的消息对于缓存来说太 大了, 则Broker将开始从BookKeeper那里读取Entries（Entry同样是BookKeeper中的概念，相当于一条记录）。

最后，为了支持全局Topic异地复制，Broker会控制Replicators追踪本地发布的条目，并把这些条目用Java 客户端重 新发布到其他区域

3.2.Zookeeper的元数据存储

Pulsar使用Apache Zookeeper进行元数据存储、集群配置和协调

  • 配置存储: 存储租户，命名域和其他需要全局一致的配置项
  • 每个集群有自己独立的ZooKeeper保存集群内部配置和协调信息，例如归属信息，broker负载报告，BookKeeper ledger信息（这个是BookKeeper本身所依赖的）等等

3.3.bookKeeper持久化存储

Pulsar用 Apache bookKeeper作为持久化存储。 bookKeeper是一个分布式的预写日志（WAL）系统，有如下几个特性特别适合Pulsar的应用场景：

1、使pulsar能够利用独立的日志,称为ledgers. 可以随着时间的推移为topic创建多个Ledgers

2、它为处理顺序消息提供了非常有效的存储

3、保证了多系统挂掉时Ledgers的读取一致性

4、提供不同的Bookies之间均匀的IO分布的特性

5、它在容量和吞吐量方面都具有水平伸缩性。能够通过增加bookies立即增加容量到集群中,并提升吞吐量

6、Bookies被设计成可以承载数千的并发读写的ledgers。 使用多个磁盘设备 (一个用于日志，另一个用于一般存 储) ，这样Bookies可以将读操作的影响和对于写操作的延迟分隔开。

image-20221013105353915

Ledger是一个只追加的数据结构，并且只有一个写入器，这个写入器负责多个bookKeeper存储节点（就是Bookies）的写入 。 Ledger的条目会被复制到多个bookies。 Ledgers本身有着非常简单的语义：

 

  • Pulsar Broker可以创建ledeger，添加内容到ledger和关闭ledger。
  • 当一个ledger被关闭后，除非明确的要写数据或者是因为写入器挂掉导致ledger关闭，ledger只会以只读模式打开。
  • 最后，当ledger中的条目不再有用的时候，整个ledger可以被删除（ledger分布是跨Bookies的）。

3.4.Pulsar 代理 (可选)

Pulsar客户端和Pulsar集群交互的一种方式就是直连Pulsar brokers。然而，在某些情况下，这种直连既不可行也不可 取，因为客户端并不知道broker的地址。 例如在云环境或者Kubernetes以及其他类似的系统上面运行Pulsar，直连 brokers就基本上不可能了。

Pulsar proxy 为这个问题提供了一个解决方案, 为所有的broker提供了一个网关, 如果选择运行了Pulsar Proxy. 所有 的客户都会通过这个代理而不是直接与brokers通信

4.pulsar 分布式模式部署

4.1.部署说明

搭建 Pulsar 集群至少需要 3 个组件：ZooKeeper 集群、BookKeeper 集群和 broker 集群（Broker 是 Pulsar 的自身实例)。这 三个集群组件如下：

  • ZooKeeper 集群（3 个 ZooKeeper 节点组成）
  • bookie 集群（也称为 BookKeeper 集群，3 个 BookKeeper 节点组成）
  • broker 集群（3 个 Pulsar 节点组成）

搭建版本pulsar 2.8.1

4.2.zookeeper搭建

docker run --privileged=true -d --name zookeeper -p 2181:2181 -d zookeeper:latest

图省事：这里Zookeeper使用docker安装一个节点，线上需要使用三个节点

4.3.pulsar 安装配置

（1）pulsar 下载安装

cd /opt/module/
wget https://archive.apache.org/dist/pulsar/pulsar-2.8.1/apache-pulsar-2.8.1-bin.tar.gz
tar xf apache-pulsar-2.8.1-bin.tar.gz
ln -s apache-pulsar-2.8.1 pulsar

（2）bookkeeper配置

]# vim pulsar/conf/bookkeeper.conf 
#设置成本机的IP地址，这里的pulsar01配置了hosts
advertisedAddress=pulsar01
journalDirectory=/data/bookkeeper/journal
ledgerDirectories=/data/bookkeeper/ledgers
zkServers=pulsar01:2181

（3）修改broker集群的配置文件

]# vim pulsar/conf/broker.conf
# 配置集群名称
clusterName=pulsar-cluster
# 配置zookeeper集群地址
zookeeperServers=pulsar01
# 配置zookeeper集群地址
configurationStoreServers=pulsar01
# 设置成本机IP地址
advertisedAddress=pulsar01

（4）将配置好的pulsar目录推送到pulsar02和pulsar03节点

（5）pulsar02和pulsar03节点修改broker和bookkeeper地址为本机IP

4.4.pulsar初始化

注意：pulsar 初始化之前需要保障zookeeper集群是正常运行

初始化集群步骤如下：

cd /opt/module/pulsar/bin/
./pulsar initialize-cluster-metadata \
--cluster pulsar-cluster \
--zookeeper pulsar01:2181 \
--configuration-store pulsar01:2181 \
--web-service-url http://pulsar01:8080,pulsar02:8080,pulsar03:8080 \
--web-service-url-tls https://pulsar01:8443,pulsar02:8443,pulsar03:8443 \
--broker-service-url pulsar://pulsar01:6650,pulsar02:6650,pulsar03:6650 \
--broker-service-url-tls pulsar+ssl://pulsar01::6651,pulsar02:6651,pulsar03:6651

初始化bookkeeper集群：若出现提示输入Y/N,输入Y即可

 ./bookkeeper shell metaformat

初始化操作，仅需要执行一次即可

4.5.pulsar 启动

1、 启动bookkeeper服务（三个节点都执行启动命令）

cd /opt/module/pulsar/bin/
./pulsar-daemon start bookie

验证是否启动

./bookkeeper shell bookiesanity

提示：Bookie sanity test succeeded 则认为启动成功

2、启动Broker（三个节点都执行启动命令）

./pulsar-daemon start broker

验证是否启动：

[root@pulsar01 bin]# ./pulsar-admin brokers list pulsar-cluster
"pulsar02:8080"
"pulsar03:8080"
"pulsar01:8080"

4.6.pulsar 集群测试

在pulsar的bin目录下, 专门提供了一个pulsar-client的客户端工具, Pulsar-Clinet工具允许使用者在运行的集群中消费并发送消息到 Pulsar Topic中

模拟开启消费者监听数据：

./pulsar-client consume persistent://public/default/test -s "consumer-test"

模拟生产一条数据：

./pulsar-client produce persistent://public/default/test --messages "hello-pulsar"

5.pulsar 可视化管理工具

（1）下载安装

wget https://archive.apache.org/dist/pulsar/pulsar-manager/pulsar-manager-0.2.0/apache-pulsar-manager-0.2.0-bin.tar.gz
tar xf apache-pulsar-manager-0.2.0-bin.tar.gz 
cd pulsar-manager/
# 这里需要二次解压
tar -xvf pulsar-manager.tar

（2）dist包复制到pulsar-manager目录下更名为ui

cp -r dist/ pulsar-manager/ui

（3）启动pulsar-manager

./bin/pulsar-manager

（4）初始化超级用户密码

CSRF_TOKEN=$(curl http://pulsar01:7750/pulsar-manager/csrf-token) 
curl \
-H "X-XSRF-TOKEN: $CSRF_TOKEN" \
-H "Cookie: XSRF-TOKEN=$CSRF_TOKEN;" \
-H 'Content-Type: application/json' \
-X PUT http://pulsar01:7750/pulsar-manager/users/superuser \
-d '{"name": "pulsar", "password": "pulsar", "description": "test", "email": "username@test.org"}'

（5）访问验证

http://pulsar01:7750/ui/index.html

image-20221013162437786

（6）使用

点击 new Enirconment 构建新环境,连接pulsar

image-20221013163225812

点击pulsar进入管理页面

image-20221013163325613

转载请注明：西门飞冰的博客 » Pulsar介绍和集群部署

喜欢 (2)or分享 (0)