apache的工作流程,apache的功能是什么

  

  几分钟后开始使用阿帕奇卡夫卡   

  

  Technofunnel提供了另一篇关于如何在本地系统上使用Apache Kafka服务器的文章。本文的重点是提供运行Kafka的简单步骤。本文将添加在Windows上运行Apache Kafka服务器并创建Kafka消费者和生产者所需的一系列步骤和配置。   

  

  建立和使用卡夫卡。卡夫卡是什么?   

  

  什么是KafkaApache Kafka是一个分布式流媒体平台,可用于发布和订阅数据流。卡夫卡真的很快,容错性很好。它可以处理大量数据,并可用于实时数据跟踪。Apache Kafka可用于监控日志、跟踪实时流量和管理实时数据共享。   

  

  Kafka具有高吞吐量、高可靠性的系统,现在已经被大公司使用。在我们的实际应用中,设置和工作都很简单。   

  

  卡夫卡设置和安装1。通过以下链接在Windows上安装Java JDK 8:   

  

  2.从以下网址下载Kafka:   

  

  3.在本地系统中解压Kafka文件夹。   

  

  安装Java JDK后,将Kafka文件夹解压到本地目录。为此,我将文件夹解压到“C:”   

  

  解压缩Kafka文件夹   

  

  4.修改卡夫卡的配置   

  

  我们需要进一步修改一些配置。在“config”文件夹中,使用下面描述的配置更新“server.properties”文件。   

  

  为Kafka服务器设置端口   

  

  5.更新配置文件中的日志目录   

  

  此外,我们需要修改' log.dirs '属性来标记当前的Kafka存储库。当我将文件提取到“C:”时,配置已经更新为“C:Kafka _ 2.122 . 4 . 0”   

  

  设置Kafka日志存储库   

  

  设置完成后,我们需要执行以下命令,使基本系统运行在Kafka服务器和主题的消费者和生产者之间。   

  

  运行Apache Zookeeper … 使用Zookeeper   

  

  Apache Zookeeper是Apache开发的一个软件,它作为一个集中式服务来维护命名和配置数据,并在分布式系统中提供同步。Zookeeper跟踪Kafka集群节点的状态,以及Kafka主题、分区等。   

  

  ApacheZookeeper本身允许多个客户机同时读写,并充当系统内的共享配置服务。Zookeeper原子广播(ZAB)协议是整个系统的大脑,它使Zookeeper能够充当原子广播系统并发布有序的更新。   

  

  在本地系统上运行Zookeeper运行ZooKeeper非常简单。我们需要执行以下命令。由于我们使用的是windows,我们需要导航到“bin”目录中的“Windows”文件夹。   

  

     

  

  在Windows文件夹中,我们需要执行:   

  

  动物园管理员-服务器-启动.蝙蝠././config/zookeeper.properties   

  

     

  

  * *请记住,该命令需要在“窗口”文件夹中执行。   

  

  这个命令将使用' c:Kafka _ 2.122 . 4 . 0 Config z。   

ookeeper.properties"中定义的配置设置开始运行Zookeeper服务器。 Zookeeper启动并运行后,我们需要运行" Kafka"服务器。 上面的命令将在以下端口上运行ZooKeeper:2181

  

正在运行Apache Kafka服务器…为了运行Kafka服务器,我们需要让Zookeeper在后台运行,打开另一个命令提示符,然后执行以下命令:

  

kafka-server-start.bat ../../config/server.properties

  

  

**请记住,该命令需要在" window"文件夹中执行

  

一旦命令启动并运行,我们将在" 9092"端口上运行Kafka服务器,并在" server.properties"配置文件中指定设置。

  

在Kafka中创建主题…Kafka中的主题表示将消息发布和存储到的类别/订阅源名称。 Kafka消息传递体系结构按主题组织。 在Kafka中发送和接收的记录属于某个主题。 Kafka中的生产者在特定主题中写记录,感兴趣的消费者从订阅的主题中读取记录。 由于接收或发送的每条消息都属于一个主题,因此在与消费者或生产者合作之前,我们需要先创建一个主题。

  

kafka-topics.bat-创建-zookeeper本地主机:2181-复制因子1-分区1-主题testotherdata

  

> Creating Kafka Topics

  

  

在上面的命令中,由于我们正在创建单个Kafka服务器,因此我们将" replication-factor"设置为1,并且需要创建一个" partition"。 创建主题后,您可以运行以下命令以确保已创建主题…

  

kafka-topics.bat —列表— zookeeper本地主机:2181

  

> Listing the Kafka Topics

  

  

创建Kafka生产者> Kafka Data Producer and Consumer

  

  

从现在开始,我们有了一个可用的主题,我们现在可以创建一个"生产者",它将数据提供给该主题流。 生产者将生产记录,然后将这些记录作为指定主题的记录添加到Kafka服务器中。

  

kafka-console-producer.bat —代理列表本地主机:9092 —主题testdataother

  

在上面的命令中,我们为主题" testdataother"创建一个生产者。 生产者现在可以开始向该主题添加记录。

  

创建Kafka消费者> Kafka Consumers and Producers…

  

  

对相同主题感兴趣的某些消费者可以使用生产者添加的记录。 生产者可用后,我们可以创建使用者以使用" testdataother"主题中的记录。

  

kafka-console-consumer.bat —bootserver localhost:9092 —topic testdataother

  

现在,既然我们创建了使用者,就可以使用来自生产者的传入数据流。 我们可以为"主题"创建多个使用者,只要生产者将记录添加到主题中,使用者就可以接收已发布的数据。

  

结论

  

与Kafka的合作既简单又可靠。 感谢您与我们联系以撰写本文。 保持联系以获取更多此类文章

  

(本文翻译自Mayank Gupta的文章《Apache Kafka in 5 Minutes》,参考:https://medium.com/technofunnel/apache-kafka-in-5-minutes-c92c43ba3f39)

相关文章