Kafka 为什么那么快?
互联网架构师
共 3026字,需浏览 7分钟
· 2022-09-17
有人说:他曾在一台配置较好的机子上对
Kafka
进行性能压测,压测结果是Kafka
单个节点的极限处理能力接近每秒2000万
条消息,吞吐量达到每秒600MB
。
Kafka
为什么这么快?如何做到这个高的性能?生产端 服务端 Broker
消费端
先来看下生产端发送消息,Kafka
做了哪些优化?
(1)生产端 Producer
先来回顾下 Producer
生产者发送消息的流程:
首先指定消息发送到哪个 Topic
。选择一个 Topic
的分区partitiion
,默认是轮询来负载均衡。也可以指定一个分区 key
,根据key
的hash
值来分发到指定的分区。也可以自定义 partition
来实现分区策略。找到这个分区的 leader partition
。与所在机器的 Broker
的socket
建立通信。发送 Kafka
自定义协议格式的请求(包含携带的消息、批量消息)。
批量发送:减少了与服务端 Broker
处理请求的次数,从而提升总体的处理能力。调用 send()
方法时,不会立刻把消息发送出去,而是缓存起来,选择恰当时机把缓存里的消息划分成一批数据,按批次发送给服务端Broker
。自定义协议格式:序列化方式和压缩格式都能减少数据体积,从而节省网络资源消耗。
吞吐量方面: LZ4
>Snappy
>zstd
和GZIP
压缩比方面: zstd
>LZ4
>GZIP
>Snappy
(2)服务端 Broker
Broker
的高性能主要从这 3 个方面体现:PageCache
缓存Kafka
的文件布局 以及 磁盘文件顺序写入零拷贝 sendfile
:加速消费流程
下面展开讲讲。
1)PageCache
加速消息读写
PageCache
主要能带来如下好处:写入文件的时候:操作系统会先把数据写入到内存中的 PageCache
,然后再一批一批地写到磁盘上,从而减少磁盘IO
开销。
读取文件的时候:也是从
PageCache
中来读取数据。如果消息刚刚写入到服务端就会被消费,按照 LRU
的“优先清除最近最少使用的页”这种策略,读取的时候,对于这种刚刚写入的PageCache
,命中的几率会非常高。
2)Kafka
的文件布局 以及 磁盘文件顺序写入
**主要特征是:**文件的组织方式是“topic
+ 分区”,每一个 topic
可以创建多个分区,每一个分区包含单独的文件夹。
Kafka
在分区级别实现文件顺序写:即多个文件同时写入,更能发挥磁盘 IO
的性能。相对比 RocketMQ
:RocketMQ
在消息写入时追求极致的顺序写,所有的消息不分主题一律顺序写入commitlog
文件,topic
和 分区数量的增加不会影响写入顺序。弊端: Kafka
在消息写入时的IO
性能,会随着topic
、分区数量的增长先上升,后下降。所以使用 Kafka
时,要警惕Topic
和 分区数量。
3)零拷贝 sendfile
:加速消费流程
消费端 Consumer
:向Kafka Broker
请求拉取消息Kafka Broker
从OS Cache
读取消息到 应用程序的内存空间:若 OS Cache
中有消息,则直接读取若 OS Cache
中无消息,则从磁盘里读取再通过网卡, socket
将数据发送给 消费端Consumer
当使用零拷贝技术读取数据:
Kafka
使用零拷贝技术可以把这个复制次数减少一次,直接从 PageCache
中把数据复制到 Socket
缓冲区中。这样不用将数据复制到用户内存空间。 DMA
控制器直接完成数据复制,不需要CPU
参与,速度更快。
(3)消费端 Consumer
消费者只从 Leader
分区批量拉取消息。
Kafka
允许创建消费组(唯一标识 group.id
),在同一个消费组的消费者共同消费数据。有两个 Kafka Broker
,即有 2个机子有一个主题: TOPICA
,有 3 个分区(0, 1, 2)
group.id = 1
,有一个消费者:这个消费者要处理所有数据,即 3 个分区的数据。group.id = 2
,有两个消费者:consumer 1
消费者需处理 2个分区的数据,consumer2
消费者需处理 1个分区的数据group.id = 3
,有三个消费者:消费者数量与分区数量相等,刚好每个消费者处理一个分区group.id = 4
,有四个消费者:消费者数量 > 分区数量,第四个消费者则会处于空闲状态
作者:格格步入
来源:juejin.cn/post/7134463012563320868
正文结束
1.求求你别在用SpringMVC了,太Low了!Spring又官宣了一个更牛逼的替代框架!
评论
BigDecimal 为什么可以保证精度不丢失?
来源:juejin.cn/post/7348709938023940136👉 欢迎加入小哈的星球 ,你将获得: 专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡 / 赠书福利全栈前后端分离博客项目 2.0 版本完结啦, 演示链接
小哈学Java
0
特斯拉大量毁约应届生offer?网友纷纷发帖“求收留”:毕业即失业,春招都快结束了……
点击上方 "大数据肌肉猿"关注, 星标一起成长点击下方链接,进入高质量学习交流群今日更新| 1052个转型案例分享-大数据交流群4月24日消息,特斯拉公司近期在全球范围内进行裁员,同时取消了许多应届毕业生的工作邀约(Offer),这一行为引起了广泛的讨论和关注。有不少网友在社交平台发帖称“
程序源代码
0
知乎高问:程序员有必要知道为什么做某个功能吗?
将Python客栈设为“星标⭐”第一时间收到最新资讯前言知乎上有一个提问:程序员有必要知道为什么做某个功能吗?↓↓↓今天,我们就这个话题一起来做个讨论。不知道程序员的你,在接到产品经理提的一个需求后,是习惯马上动手开始撸代码呢?还是会先暂停一下,认真思考一会如下一些问题,比如这个需求产生的背景是什么
Python客栈
0
PyPy为什么能让Python比C还快?一文了解内在机制
我的小册:(小白零基础用Python量化股票分析小册) ,原价299,限时特价2杯咖啡,满100人涨10元。来源:机器之心「如果想让代码运行得更快,您应该使用 PyPy。」—— Python 之父 Guido van Rossum对于研究人员来说,迅速把想法代码化并查看其是否行得通至关重要。Pyth
菜鸟学Python
0
推送总错过?快来给“它”加个星标吧!
您是否有这样的困扰:明明关注了“流媒体网”公众号,但总是收不到推文,某天打开公众号发现已经更新了很多内容,错过了许多重要的行业资讯。其实,解决这一问题的办法非常简单,只要把“流媒体网”公众号设置成“星标⭐”就可以啦。接下来就由小编告诉您如何设置“星标⭐”吧~只需三步,即可轻轻松松点亮星标⭐~第一步点
流媒体网
0
“为什么裁员先从技术人员开始?”
将Python客栈设为“星标⭐”第一时间收到最新资讯作者 | 纯洁的微笑来源 | 纯洁的微笑(ID:keeppuresmile)很多公司裁员,都会先从技术入手。有一个网友做了这样一个比喻,城市里面的房子如果盖起来后,还需要农民工么?这句话引起引起了很多程序员共鸣,因为我们常常说程序员是IT
Python客栈
0
面试官:为什么忘记密码要重置,而不是告诉我原密码?
将Python客栈设为“星标⭐”第一时间收到最新资讯来源丨程序员Sunday(ID:gh_255b41b1f634)最近有个同学在面试中遇到了一个很有意思的问题,我相信大多数的同学可能都没有遇到过。面试官提问说:“为什么很多网站忘记密码需要重置,而不是直接告诉用户原密码?”很有意思的问题对不对。很多
Python客栈
0