Kafka 安装和基本操作
大家好,我是 frank。
欢迎大家点击上方蓝色文字「编程极客」关注公众号。
设为星标,第一时间接收推送文章。
01
介绍
Apache Kafka 是目前使用非常广泛的消息引擎系统(Messaging System), 主要用于在不同系统之间传递消息。
Kafka 是一个分布式系统,分为服务端和客户端,它们之间通过 TCP 网络协议进行通信。
关于服务端和客户端的详细内容,本文我们暂不介绍。
本文我们主要介绍 Kafka 的安装和基本操作。
02
安装
Kafka 安装非常简单,以目前最新版本 kafka_2.13-3.2.1
为例,我们介绍一下 Kafka 的安装步骤。
需要注意的是,Kafka 的运行环境依赖 Java,所以我们还需要安装 Java 8+ 环境。
Java 下载地址:https://www.java.com/zh-CN/download/
Kafka 下载地址:https://dlcdn.apache.org/kafka/3.2.1/kafka_2.13-3.2.1.tgz
下载完 Java 和 Kafka,安装也比较简单,其中 Java 是图形化安装界面,Kafka 只需解压缩文件,然后进入 kafka_2.13-3.2.1
目录。
03
基本操作
Kafka 安装完成后,我们介绍一些 Kafka 的基本操作。
启动 Zookeeper 服务和 Kafka broke 服务
打开终端,启动 Zookeeper 服务。
bin/zookeeper-server-start.sh config/zookeeper.properties
新打开一个终端,启动 Kafka broke 服务。
bin/kafka-server-start.sh config/server.properties
关于 Zookeeper 和 Kafka broke 的详细内容,本文暂不介绍。
创建一个 Topic 存储消息
新打开一个终端,创建一个 topic。
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
细心的读者朋友们可能已经发现,上述使用的三个 Kafka 命令行工具都有其他选项,实际上,Kafka 的所有命令行工具都有其他选项。
如果我们想要查看命令行工具的其他选项,只需运行没有任何参数的命令行,即可查看使用信息。
如果想要查看新创建 topic 的详细信息,可以使用选项 --describe
,完整命令:
bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092
关于 Kafka 命令行工具其他选项的使用信息,本文暂不介绍。
将消息写入 topic Kafka 客户端分为生产者和消费者,通过网络与 Kafka brokers 通信,其中,生产者负责将消息写入 topic。
新打开一个终端,使用生产者客户端将消息写入 topic。
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
默认情况,每输入一行内容,都将写入 topic 一条消息。
可以随时使用 Ctrl-C
退出生产者客户端。
读取 topic 中的消息 新打开一个终端,使用消费者客户端读取 topic 中的消息。
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
可以随时使用 Ctrl-C
退出消费者客户端。
消息是持久存储在 Kafka 中,我们可以根据需要使用任意数量消费者读取 topic 中的消息。
选项
--from-beginning
代表从头读取该 topic 的所有消息。
关闭 Kafka
如果你还未停止生产者和消费者,首先在生成者和消费者的终端,分别使用 Ctrl-C
退出客户端;
然后,使用 Ctrl-C
退出 Kafka broker;
最后,使用 Ctrl-C
退出 ZooKeeper 服务。
如果你想彻底删除上述操作产生的所有数据,可以执行命令
rm -rf /tmp/kafka-logs /tmp/zookeeper
。
04
总结
本文我们简单介绍 Kafka 是什么,和有什么用,然后介绍了怎么安装 Kafka 和一些基本操作。
通过阅读完本文的所有内容,读者朋友们可以先在自己电脑上安装 Kafka,并实际操作本文提到的基本操作。
推荐阅读:
参考资料:
https://kafka.apache.org/quickstart https://www.java.com/zh-CN/download/ https://dlcdn.apache.org/kafka/3.2.1/kafka_2.13-3.2.1.tgz
扫描二维码,加入微信群
点「赞」和「在看」是最大的支持👇
👇更多精彩内容,请点击「阅读原文」