Kafka安装与启动经验分享:避免常见错误,让消息传递更顺畅

这篇具有很好参考价值的文章主要介绍了Kafka安装与启动经验分享:避免常见错误,让消息传递更顺畅。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

💬 初识kafka
👁️‍🗨️ kafka的安装及启动

kafka启动,软件安装步骤,kafka,大数据,java文章来源地址https://www.toymoban.com/news/detail-725904.html

主页传送门:📀 传送

概述


  Kafka是一个开源的分布式消息队列系统,最初由LinkedIn公司开发。它可以用于构建高吞吐量、低延迟的数据管道,支持实时数据处理和流式计算。

  Kafka的核心概念是消息(Message)、主题(Topic)和分区(Partition)。消息是数据的基本单位,可以包含任何类型的数据。主题是消息的分类或分类器,将消息分配到不同的主题中以便进行处理。分区是主题的子集,每个分区都有自己的副本和控制器。当消息被写入Kafka时,它们首先被写入主分区,然后被复制到所有副本分区中。如果一个副本分区不可用,则其他副本分区会继续接收和处理该消息,从而保证数据的可靠性和可用性。

Kafka具有以下特点

  1. 高吞吐量:Kafka可以处理数百万条消息每秒,支持大规模并发处理。
  2. 低延迟:Kafka使用异步IO模型,可以在毫秒级别内处理消息。
  3. 可扩展性:Kafka可以轻松地扩展到数千个节点,以应对不断增长的数据需求。
  4. 可靠性:Kafka通过副本机制和控制器确保数据的可靠性和可用性。
  5. 灵活性:Kafka支持多种数据格式和协议,可以与各种应用程序集成。

  初步了解了kafka的基本概念之后我们来下载安装使用。

🥖1. 官网下载:🥖


  download
kafka启动,软件安装步骤,kafka,大数据,java
  根据官网提示 最好是下载scala 2.13相关的版本
3.4.0是最新的稳定版本 可以看到新增了一些功能还有改进了一些功能
新加的功能

  • 禁用 JmxReporter 注册
  • 允许广播结果记录
  • 在消费者协议中添加“生成”字段
  • 基于时间的集群元数据快照

kafka启动,软件安装步骤,kafka,大数据,java

🍗2. 解压 🍗


  工具解压 或者命令解压

命令解压参照下方命令:
kafka启动,软件安装步骤,kafka,大数据,java

🍢3. 安装jdk🍢


根据提示 使用之前需要安装jdk8以上 如果没有安装的自己装一下即可 具体安装及配置网上很多这里就不详细写了

jdk下载地址:https://www.oracle.com/java/technologies/downloads/

kafka启动,软件安装步骤,kafka,大数据,java

🍬4. 配置kafka🍬


4.1 配置server.properties


kafka启动,软件安装步骤,kafka,大数据,java
  进入到config文件夹里面,找到server.properties文件,进行编辑,找到log.dirs,修改这个参数的路径为:
log.dirs=(安装目录\kafka-logs)

4.2 配置zookeeper.properties


  进入到config文件夹里面,找到zookeeper.properties文件,进行编辑,找到dataDir,修改这个参数的路径为:
dataDir=(安装目录\zookeeper-data)

配置完毕,kafka安装完成。

💤5. 启动kafka💤

  安装完毕之后来启动kafka


kafka启动,软件安装步骤,kafka,大数据,java
windows kafka启动命令
(1):
打开cmd,进入kafka安装目录,执行:
.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

(2):
再打开一个cmd,进入kafka安装目录,执行:
.\bin\windows\kafka-server-start.bat .\config\server.properties

kafka启动,软件安装步骤,kafka,大数据,java

  如果喜欢的话,欢迎 🤞关注 👍点赞 💬评论 🤝收藏  🙌一起讨论
  你的支持就是我✍️创作的动力!					  💞💞💞

到了这里,关于Kafka安装与启动经验分享:避免常见错误,让消息传递更顺畅的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Matlab 使用经验分享(常用函数介绍;矩阵常见计算)

    大家好!最近有很多朋友询问我关于 Matlab 的使用,于是我决定写一篇博客来分享一下我的经验。对于数学和编程爱好者来说,Matlab 是一个非常有用的工具。我自己在数学实验和数学建模竞赛中也经常使用它。那么,为什么 Matlab 这么受欢迎呢? MATLAB 是美国MathWorks 公司自2

    2024年02月10日
    浏览(42)
  • 解决mysql常见错误,安装mysql提示Install/Remove of the service Denied!/显示无法启动/服务名无效

            1.1 在安装mysql中提示 Install/Remove of the service Denied!         1.2 MySQL 服务没有加载到电脑上时,有以下原因:                 1.2.1 端口被占用 ,需要更改端口,也可以卸载重装mysql。                 1.2.2 启动 MySQL 服务是就会提示  服务名无效  或

    2024年02月08日
    浏览(57)
  • 常见消息中间件分享

    消息中间件是基于队列与消息传递技术,在网络环境中为应用系统提供同步或异步、可靠的消息传输的支撑性软件系统。 消息中间件的使用有几个核心角色,如下图所示: Producer 生产者 :负责生产消息,将消息发送到消息队列中。 Consumer 消费者 :负责消费使用消息,从消

    2024年02月21日
    浏览(44)
  • Kafka消息延迟处理技巧,降低错误率

    Kafka消息延迟处理技巧是指在消费者正常消费Kafka消息的同时,根据消息的业务特性,对某些消息进行延迟处理,延迟时间可以是一定时间间隔或者指定时间点,以达到优化业务流程的目的。 消息延迟处理技巧常被用于以下场景: 对于一些业务关键消息,需要确保其被及时正

    2024年02月09日
    浏览(45)
  • Kafka消息发送失败的常见原因及解决方案

    1.1、网络故障 网络故障是Kafka消息发送失败的最常见原因之一。当网络出现故障时,Kafka就无法将消息发送到目标主题或分区。 解决方法: - 检查网络连接是否正常。 - 增加Kafka生产者的重试次数和超时时间。 1.2、分区副本不可用 如果Kafka生产者将消息发送到一个不可用的分

    2024年02月03日
    浏览(63)
  • JMeter启动时常见的错误

    很多小伙伴在学工具这一块时,安装也是很吃力的一个问题,之前记得有说过怎么安装jmeter这个工具。那么你要启动jmeter的时候,一些粉丝就会碰到如下几个问题。 1.解压下载好的jmeter安装,Windows 平台,双击 jmeter/bin 目录下 jmeter.bat 文件,jmeter 无法启动且报错如下: (1)

    2024年02月14日
    浏览(40)
  • kafka使用时常见的几个错误汇总

    WARN [AdminClient clientId=adminclient-1] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient) 解决 :重启kafka org.apache.kafka.common.KafkaException: Socket server failed to bind to 114.115.20.100:9092: Cannot 解决 :在kafka安装目录的conf下,编辑se

    2023年04月08日
    浏览(44)
  • Kafka如何保证消息的消费顺序【全局有序、局部有序】、Kafka如何保证消息不被重复消费、Kafka为什么这么快?【重点】、Kafka常见问题汇总【史上最全】

    目录 Kafka消息生产 一个Topic对应一个Partition 一个Topic对应多个Partition Kafka消息的顺序性保证(Producer、Consumer) 全局有序 局部有序  max.in.flight.requests.per.connection参数详解 Kafka的多副本机制 Kafka的follower从leader同步数据的流程 Kafka的follower为什么不能用于消息消费 Kafka的多分区

    2024年04月11日
    浏览(54)
  • JAVA面试题分享一百六十二:Kafka消息重复消费问题?

    消息重复消费的根本原因都在于:已经消费了数据,但是offset没有成功提交。 其中很大一部分原因在于发生了再均衡。 1)消费者宕机、重启等。导致消息已经消费但是没有提交offset。 2)消费者使用自动提交offset,但当还没有提交的时候,有新的消费者加入或者移除,发生

    2024年02月03日
    浏览(45)
  • Windows下快速启动Kafka以及三种发送消息的方式

    目录 一、下载Kafka 二、启动kafka 2.1 启动kafka前得先启动zk 2.2 启动kafka 三、操作Kafka 3.1 创建 Kafka 主题(Topic) 3.2 将信息写入主题(Topic) 3.3 读取信息 四、Java实践-三种发送消息的方式 4.1 异步发送-无回调 4.2 异步发送-有回调 4.3 同步发送 Kafka是一种分布式的基于发布/订阅

    2024年02月09日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包