几分钟后开始使用阿帕奇卡夫卡
Technofunnel提供了另一篇关于如何在本地系统上使用Apache Kafka服务器的文章。本文的重点是提供运行Kafka的简单步骤。本文将添加在Windows上运行Apache Kafka服务器并创建Kafka消费者和生产者所需的一系列步骤和配置。
建立和使用卡夫卡。卡夫卡是什么?
什么是KafkaApache Kafka是一个分布式流媒体平台,可用于发布和订阅数据流。卡夫卡真的很快,容错性很好。它可以处理大量数据,并可用于实时数据跟踪。Apache Kafka可用于监控日志、跟踪实时流量和管理实时数据共享。
Kafka具有高吞吐量、高可靠性的系统,现在已经被大公司使用。在我们的实际应用中,设置和工作都很简单。
卡夫卡设置和安装1。通过以下链接在Windows上安装Java JDK 8:
2.从以下网址下载Kafka:
3.在本地系统中解压Kafka文件夹。
安装Java JDK后,将Kafka文件夹解压到本地目录。为此,我将文件夹解压到“C:”
解压缩Kafka文件夹
4.修改卡夫卡的配置
我们需要进一步修改一些配置。在“config”文件夹中,使用下面描述的配置更新“server.properties”文件。
为Kafka服务器设置端口
5.更新配置文件中的日志目录
此外,我们需要修改' log.dirs '属性来标记当前的Kafka存储库。当我将文件提取到“C:”时,配置已经更新为“C:Kafka _ 2.122 . 4 . 0”
设置Kafka日志存储库
设置完成后,我们需要执行以下命令,使基本系统运行在Kafka服务器和主题的消费者和生产者之间。
运行Apache Zookeeper … 使用Zookeeper
Apache Zookeeper是Apache开发的一个软件,它作为一个集中式服务来维护命名和配置数据,并在分布式系统中提供同步。Zookeeper跟踪Kafka集群节点的状态,以及Kafka主题、分区等。
ApacheZookeeper本身允许多个客户机同时读写,并充当系统内的共享配置服务。Zookeeper原子广播(ZAB)协议是整个系统的大脑,它使Zookeeper能够充当原子广播系统并发布有序的更新。
在本地系统上运行Zookeeper运行ZooKeeper非常简单。我们需要执行以下命令。由于我们使用的是windows,我们需要导航到“bin”目录中的“Windows”文件夹。
在Windows文件夹中,我们需要执行:
动物园管理员-服务器-启动.蝙蝠././config/zookeeper.properties
* *请记住,该命令需要在“窗口”文件夹中执行。
这个命令将使用' c:Kafka _ 2.122 . 4 . 0 Config z。
ookeeper.properties"中定义的配置设置开始运行Zookeeper服务器。 Zookeeper启动并运行后,我们需要运行" Kafka"服务器。 上面的命令将在以下端口上运行ZooKeeper:2181正在运行Apache Kafka服务器…为了运行Kafka服务器,我们需要让Zookeeper在后台运行,打开另一个命令提示符,然后执行以下命令:
kafka-server-start.bat ../../config/server.properties
**请记住,该命令需要在" window"文件夹中执行
一旦命令启动并运行,我们将在" 9092"端口上运行Kafka服务器,并在" server.properties"配置文件中指定设置。
在Kafka中创建主题…Kafka中的主题表示将消息发布和存储到的类别/订阅源名称。 Kafka消息传递体系结构按主题组织。 在Kafka中发送和接收的记录属于某个主题。 Kafka中的生产者在特定主题中写记录,感兴趣的消费者从订阅的主题中读取记录。 由于接收或发送的每条消息都属于一个主题,因此在与消费者或生产者合作之前,我们需要先创建一个主题。
kafka-topics.bat-创建-zookeeper本地主机:2181-复制因子1-分区1-主题testotherdata
> Creating Kafka Topics
在上面的命令中,由于我们正在创建单个Kafka服务器,因此我们将" replication-factor"设置为1,并且需要创建一个" partition"。 创建主题后,您可以运行以下命令以确保已创建主题…
kafka-topics.bat —列表— zookeeper本地主机:2181
> Listing the Kafka Topics
创建Kafka生产者> Kafka Data Producer and Consumer
从现在开始,我们有了一个可用的主题,我们现在可以创建一个"生产者",它将数据提供给该主题流。 生产者将生产记录,然后将这些记录作为指定主题的记录添加到Kafka服务器中。
kafka-console-producer.bat —代理列表本地主机:9092 —主题testdataother
在上面的命令中,我们为主题" testdataother"创建一个生产者。 生产者现在可以开始向该主题添加记录。
创建Kafka消费者> Kafka Consumers and Producers…
对相同主题感兴趣的某些消费者可以使用生产者添加的记录。 生产者可用后,我们可以创建使用者以使用" testdataother"主题中的记录。
kafka-console-consumer.bat —bootserver localhost:9092 —topic testdataother
现在,既然我们创建了使用者,就可以使用来自生产者的传入数据流。 我们可以为"主题"创建多个使用者,只要生产者将记录添加到主题中,使用者就可以接收已发布的数据。
结论
与Kafka的合作既简单又可靠。 感谢您与我们联系以撰写本文。 保持联系以获取更多此类文章
(本文翻译自Mayank Gupta的文章《Apache Kafka in 5 Minutes》,参考:https://medium.com/technofunnel/apache-kafka-in-5-minutes-c92c43ba3f39)