【Kafka】1.Kafka简介及安装

这篇具有很好参考价值的文章主要介绍了【Kafka】1.Kafka简介及安装。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. Kafka的简介

Kafka 是一个分布式、支持分区(partition)、多副本(replica)、基于 zookeeper 协调的消息中间件,最大的特点是可以实时地处理大量数据以满足各种需求场景。例如:基于 Hadoop 的批处理系统、低延迟的实时系统、访问日志、消息服务等。它最初是由 Linkedin 公司用 scala 语言开发出来的,并在 2010 年贡献给了 Apache 基金会,成为 Apache 的顶级开源项目,后面引入了 java 语言的开发。

1.1 使用场景

  • 日志收集:可以用 Kafka 将各种服务的 log 进行收集,然后通过 Kafka 以统一接口服务的方式开放给各种消费者,如 Hadoop、Solr等。
  • 消息系统:解耦生产者和消费者、缓存消息
  • 用户活动跟踪:Kafka 常被用来记录 web 用户或者 app 用户的各种活动,如浏览网页、搜索、点击等活动,这些活动被各个服务生产者发布到 Kafka 的 topic 中,订阅者通过订阅这些 topic 来做实时的监控分析,或者其它处理。
  • 运营指标:Kafka 也常用来记录运营监控数据,包括收集各种分布式应用的数据,生产各种操作的集中反馈,如报警和报告。

1.2 基本概念

如下表所示,是 Kafka 的一些基本概念。

名称 释义
Broker 消息中间件处理节点,一个 Kafka 节点就是一个 Broker ,一个或者多个 Broker 可以组成一个 Kafka 集群,通俗点理解就是一个 Broker 就是一个 Kafka 服务端,多个 Kafka 服务端组成集群
Topic Kafka 根据 topic 对消息进行归类,发布到 Kafka 集群的每条消息都需要指定一个 topic
Producer 消息生产者,向 Broker 发送消息的客户端
Consumer 消息消费者,从 Broker 读取消息的客户端
ConsumerGroup 每个 Consumer 属于一个特定的 Consumer Group,一条消息可以被多个不同的 Consumer Group 消费,但是一个 Consumer Group 中只能有一个 Consumer 能够消费该消息
Partition 物理上的概念,一个 topic 可以分为多个 partition ,每个 partition 内部消息是有序的

2. Kafka的安装

Kafka 依赖于 zookeeper 和 JDK,所以在安装 Kafka 之前,需要先安装 JDK。我的电脑以前就安装了 JDK1.8 ,所以不用再装;至于 zookeeper ,其实 Kafka 的安装包中,已经引入了 zookeeper 的 jar 包,所以它也不需要我再去单独装,因而我直接安装 Kafka 即可。

2.1 下载Kafka的压缩包

下载地址是:https://kafka.apache.org/downloads

我这里选择 Binary downloads 的下载方式,版本就来个 Scala 2.11 - kafka_2.11-2.2.1.tgz (asc, sha512) 的,如下图所示。

【Kafka】1.Kafka简介及安装,Kafka,kafka,分布式

2.2 解压Kafka的压缩包

将下载下来的压缩包,解压到 D:\Kafka,关于 Kafka 的安装就结束了,接下来就是改配置信息。

1、修改 server.properties 配置文件

找到 D:\Kafka\kafka_2.11-2.2.1\config\server.properties 文件,修改里面的配置。

【Kafka】1.Kafka简介及安装,Kafka,kafka,分布式

将 log.dir 的路径改为自己定义好的,保存并退出。

#kafka的消息存储文件,自己定义好就行
log.dir=D:/Kafka/kafka_2.11-2.2.1/kafka-logs

【Kafka】1.Kafka简介及安装,Kafka,kafka,分布式

2、修改 zookeeper.properties 配置文件

找到 D:\Kafka\kafka_2.11-2.2.1\config\zookeeper.properties 文件,同样修改里面的配置。

将 dataDir 的值改为 D:/Kafka/kafka_2.11-2.2.1/zookeeper,如下所示,保存并退出。

dataDir=D:/Kafka/kafka_2.11-2.2.1/zookeeper

2.3 启动Kafka服务

1、启动 zookeeper 服务

由于 Kafka 依赖于 zookeeper ,所以要想启动 Kafka 的服务端,必须先启动 zookeeper 的服务。

打开 D:\Kafka\kafka_2.11-2.2.1 文件夹,在文件夹地址栏 输入 CMD,回车打开控制台,然后输入下面的命令,启动 zookeeper 服务。

.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

出现下图所示的结果,说明启动成功。

【Kafka】1.Kafka简介及安装,Kafka,kafka,分布式

2、 启动 Kafka 服务

继续在 D:\Kafka\kafka_2.11-2.2.1 文件夹的地址栏 输入 CMD,回车再打开一个控制台,然后输入下面的命令,启动 Kafka 服务端。

.\bin\windows\kafka-server-start.bat .\config\server.properties

出现下图所示的结果,说明启动成功。

【Kafka】1.Kafka简介及安装,Kafka,kafka,分布式文章来源地址https://www.toymoban.com/news/detail-656559.html

到了这里,关于【Kafka】1.Kafka简介及安装的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 分布式 - 消息队列Kafka:Kafka消费者的分区分配策略

    Kafka 消费者负载均衡策略? Kafka 消费者分区分配策略? 1. 环境准备 创建主题 test 有5个分区,准备 3 个消费者并进行消费,观察消费分配情况。然后再停止其中一个消费者,再次观察消费分配情况。 ① 创建主题 test,该主题有5个分区,2个副本: ② 创建3个消费者CustomConsu

    2024年02月13日
    浏览(47)
  • 分布式 - 消息队列Kafka:Kafka生产者架构和配置参数

    生产者发送消息流程参考图1: 先从创建一个ProducerRecord对象开始,其中需要包含目标主题和要发送的内容。另外,还可以指定键、分区、时间戳或标头。在发送ProducerRecord对象时,生产者需要先把键和值对象序列化成字节数组,这样才能在网络上传输。 接下来,如果没有显式

    2024年02月13日
    浏览(50)
  • 分布式 - 消息队列Kafka:Kafka生产者发送消息的方式

    不管是把Kafka作为消息队列、消息总线还是数据存储平台,总是需要一个可以往Kafka写入数据的生产者、一个可以从Kafka读取数据的消费者,或者一个兼具两种角色的应用程序。 Kafka 生产者是指使用 Apache Kafka 消息系统的应用程序,它们负责将消息发送到 Kafka 集群中的一个或多

    2024年02月13日
    浏览(44)
  • 分布式 - 消息队列Kafka:Kafka消费者和消费者组

    1. Kafka 消费者是什么? 消费者负责订阅Kafka中的主题,并且从订阅的主题上拉取消息。与其他一些消息中间件不同的是:在Kafka的消费理念中还有一层消费组的概念,每个消费者都有一个对应的消费组。当消息发布到主题后,只会被投递给订阅它的每个消费组中的一个消费者

    2024年02月13日
    浏览(45)
  • 分布式 - 消息队列Kafka:Kafka 消费者消费位移的提交方式

    最简单的提交方式是让消费者自动提交偏移量,自动提交 offset 的相关参数: enable.auto.commit:是否开启自动提交 offset 功能,默认为 true; auto.commit.interval.ms:自动提交 offset 的时间间隔,默认为5秒; 如果 enable.auto.commit 被设置为true,那么每过5秒,消费者就会自动提交 poll() 返

    2024年02月12日
    浏览(48)
  • 分布式 - 消息队列Kafka:Kafka消费者分区再均衡(Rebalance)

    01. Kafka 消费者分区再均衡是什么? 消费者群组里的消费者共享主题分区的所有权。当一个新消费者加入群组时,它将开始读取一部分原本由其他消费者读取的消息。当一个消费者被关闭或发生崩溃时,它将离开群组,原本由它读取的分区将由群组里的其他消费者读取。 分区

    2024年02月12日
    浏览(40)
  • 分布式 - 消息队列Kafka:Kafka 消费者消息消费与参数配置

    01. 创建消费者 在读取消息之前,需要先创建一个KafkaConsumer对象。创建KafkaConsumer对象与创建KafkaProducer对象非常相似——把想要传给消费者的属性放在Properties对象里。 为简单起见,这里只提供4个必要的属性:bootstrap.servers、key.deserializer 和 value.deserializer。 ① bootstrap.servers 指

    2024年02月12日
    浏览(45)
  • 分布式 - 消息队列Kafka:Kafka生产者发送消息的分区策略

    01. Kafka 分区的作用 分区的作用就是提供负载均衡的能力,或者说对数据进行分区的主要原因,就是为了实现系统的高伸缩性。不同的分区能够被放置到不同节点的机器上,而数据的读写操作也都是针对分区这个粒度而进行的,这样每个节点的机器都能独立地执行各自分区的

    2024年02月13日
    浏览(54)
  • 分布式应用之Zookeeper和Kafka

    1.定义 2.特点 3.数据结构 4.选举机制 第一次选举 非第一次选举 5.部署 1.概念 中间件是一种独立的系统软件或服务程序,分布式应用软件借助这种软件在不同的技术之间共享资源。 2.消息队列型 3.Web应用型(代理服务器) 1.为什么需要MQ 2.消息队列作用 3.消息队列模式 ①点对

    2024年02月15日
    浏览(46)
  • 分布式 - 消息队列Kafka:Kafka生产者发送消息的3种方式

    不管是把Kafka作为消息队列、消息总线还是数据存储平台,总是需要一个可以往Kafka写入数据的生产者、一个可以从Kafka读取数据的消费者,或者一个兼具两种角色的应用程序。 Kafka 生产者是指使用 Apache Kafka 消息系统的应用程序,它们负责将消息发送到 Kafka 集群中的一个或多

    2024年02月13日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包