Kafka环境搭建与相关启动命令

这篇具有很好参考价值的文章主要介绍了Kafka环境搭建与相关启动命令。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、Kafka环境搭建

点击下载kafka_2.11-2.3.1.tgz文件链接

1、上传kafka_2.11-2.3.1.tgz,解压kafka_2.11-2.3.1.tgz,得到kafka_2.11-2.3.1文件夹
1)上传

#使用mobaxterm将 kafka_2.11-2.3.1.tgz 传入tools文件夹
#用下面代码进入tools文件夹

cd /tools

#查看传入成功没

ll
2)解压到training文件夹
tar -zxvf kafka_2.11-2.3.1.tgz -C /training
cd /training
2、 kafka需要安装zookeeper使用,但kafka集成zookeeper,在单机搭建时可直接使用。使用需配置kafka_2.11-2.3.1/config 下的“zookeeper.properties”
cd kafka_2.11-2.3.1/config

Kafka环境搭建与相关启动命令,大数据,Kafka,kafka,分布式

3、配置"zookeeper.properties"。修改dataDir和clientPort。前者是快照存放地址(自己随意配置),后者是客户端连接zookeeper服务的端口。默认端口2181 最好默认不修改
1)进入zookeeper.properties配置
vi zookeeper.properties

Kafka环境搭建与相关启动命令,大数据,Kafka,kafka,分布式

2)配置内容,修改dataDir和clientPort。前者是快照存放地址(自己随意配置可以和我一样),后者是客户端连接zookeeper服务的端口。默认端口2181 最好默认不修改

Kafka环境搭建与相关启动命令,大数据,Kafka,kafka,分布式

4、配置kafka_2.11-2.3.1/config下的“server.properties”,修改log.dirs和zookeeper.connect。前者是日志存放文件夹,后者是zookeeper连接地址(端口和clientPort保持一致)
vi server.properties
1)找 ### Log Basics ### 添加如图所示

Kafka环境搭建与相关启动命令,大数据,Kafka,kafka,分布式

log.dirs=/training/kafka_2.11-2.3.1/logs
2)找 ### Zookeeper ### 添加如图所示,注意修改主机名

#查询主机名我的主机名字是niit:

hostname

Kafka环境搭建与相关启动命令,大数据,Kafka,kafka,分布式
#配置截图

Kafka环境搭建与相关启动命令,大数据,Kafka,kafka,分布式

zookeeper.connect=niit:2181
listeners=PLAINTEXT://niit:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
num.partitions=3
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
auto.create.topics.enable=true
delete.topics.enable=true

到此,kafka的单机环境就搭建成功了。

二、kafka的相关命令

1、开启kafka自带zookeeper
1)窗口1
cd /training/kafka_2.11-2.3.1/
./bin/zookeeper-server-start.sh ./config/zookeeper.properties

Kafka环境搭建与相关启动命令,大数据,Kafka,kafka,分布式

2)窗口2
cd /training/kafka_2.11-2.3.1/
./bin/zookeeper-server-start.sh -daemon ./config/zookeeper.properties

Kafka环境搭建与相关启动命令,大数据,Kafka,kafka,分布式
Kafka环境搭建与相关启动命令,大数据,Kafka,kafka,分布式

2、开启kafka
1)窗口2
cd /training/kafka_2.11-2.3.1/
./bin/kafka-server-start.sh ./config/server.properties

Kafka环境搭建与相关启动命令,大数据,Kafka,kafka,分布式

2)窗口3
cd /training/kafka_2.11-2.3.1/
./bin/kafka-server-start.sh -daemon ./config/server.properties

Kafka环境搭建与相关启动命令,大数据,Kafka,kafka,分布式
使用jps命令查看进程。安装配置完毕。
Kafka环境搭建与相关启动命令,大数据,Kafka,kafka,分布式文章来源地址https://www.toymoban.com/news/detail-690113.html

到了这里,关于Kafka环境搭建与相关启动命令的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Kafka Windows下启动命令

    zookeeper:旧版 kafka 参数 bootstrap-server:新版 kafka 参数 原因:Kafka开发团队重写了ZooKeeper的Quorum控制器代码并嵌入到Kafka中。所以从v2.8版本开始,Kafka不再依赖ZooKeeper 实例 其中,2181是ZooKeeper的监听端口,9092是Kafka的监听端口。 旧版用--zookeeper参数,主机名(或IP)和端口用Z

    2024年02月12日
    浏览(24)
  • docker搭建Elk+Kafka+Filebeat分布式日志收集系统

    目录 一、介绍 二、集群环境 三、ES集群 四、Kibana  五、Logstash 六、Zookeeper 七、Kafka 八、Filebeat 八、Nginx (一)架构图  (二)组件介绍 1.Elasticsearch 是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎,基于

    2024年02月04日
    浏览(40)
  • kafka-- kafka集群环境搭建

    成功标志

    2024年02月09日
    浏览(80)
  • kafka2.x和3.x相关命令

    ##################### Kafka2.x命令 ##################### kafka-topics.sh --zookeeper n11hdp01:2181,n12hdp02:2181,n13hdp03:2181/kafka --create --replication-factor 3 --partitions 3 --topic event_oper_input kafka-topics.sh --zookeeper n11hdp01:2181,n12hdp02:2181,n13hdp03:2181/kafka --create --replication-factor 3 --partitions 3 --topic event_oper_output kafk

    2024年02月09日
    浏览(27)
  • Linux搭建Kafka详细一步一步指南(linux启动kafka脚本)

    一、下载  到kafka的官网,去下载想用的kafka包:http://kafka.apache.org/downloads 我这里下载的是:kafka_2.12-3.4.1.tgz 再将安装包传送到服务器并解压 二、配置kafka 1.在kafka解压目录同一路径下:创建一个kafka_data,用于装kafka和zookeeper的log和数据啥的 2.配置kafka服务  3.配置zookeeper服务

    2024年02月02日
    浏览(29)
  • kafka 集群搭建 & 常用命令

    1、集群搭建: 1 将kafka 压缩包解压到某一目录 tar -zxvf kafka_2.12-3.5.1.tgz 2 修改节点配置文件 vim config/server.properties broker.id=0 log.dirs=/tmp/kafka-logs zookeeper 连接配置 zookeeper.connect=节点1:2181,节点2:2181,节点3:2181 3 将安装好的kafka 分发到其他服务器 scp -r kafka_2.12-2.4.1/ xxx 4配置KAFKA_HOME环

    2024年02月07日
    浏览(40)
  • 【Kafka专栏】windows搭建Kafka环境 & 详细教程(01)

    官网:https://kafka.apache.org/quickstart 中文官网:https://kafka.apachecn.org/1/#apache-kafka Apache Kafka 是一个开源分布式事件流平台,已被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序 Kafka和Zookeeper之间的关系可以概括为紧密的合作关系。Kafka是一个高性能、可

    2024年04月25日
    浏览(26)
  • Kafka的概念|架构|搭建|查看命令

    1.为什么需要消息队列(MQ) 主要原因是由于在高并发环境下,同步请求来不及处理,请求往往会发生阻塞。比如大量的请求并发访问数据库,导致行锁表锁,最后请求线程会堆积过多,从而触发 too many connection 错误,引发雪崩效应。 我们使用消息队列,通过异步处理请求,

    2024年02月03日
    浏览(22)
  • 【大数据工具】Kafka伪分布式、分布式安装和Kafka-manager工具安装与使用

    Kafka 安装包下载地址:https://archive.apache.org/dist/kafka/ 1. Kafka 伪分布式安装 1. 上传并解压 Kafka 安装包 使用 FileZilla 或其他文件传输工具上传 Kafka 安装包: kafka_2.11-0.10.0.0.tgz 解压安装包 2. 编辑配置文件 3. 拷贝并修改配置文件 分别修改 server2.properties、server3.properties 4. 创建日志

    2024年02月14日
    浏览(34)
  • kafka环境搭建以及基本原理

    kafka最先是作为日志数据采集,后用于消息传递,kafka能承担tb级别数据存储,确保服务的可用性,允许少量数据的丢失 作为消息中间件就有异步、解耦、削峰三个作用 单机ip:192.168.64.133 下载地址:Apache Kafka 选择kafka_2.13-3.4.0.tgz进行下载 关于kafka的版本,前面的2.13是开发

    2024年02月07日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包