Docker搭建Kafka教程(python使用kafka基础用法,生产消费)

这篇具有很好参考价值的文章主要介绍了Docker搭建Kafka教程(python使用kafka基础用法,生产消费)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

图解 kafka 架构与工作原理 - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/442468709

一、Docker 网络创建

Docker支持多种网络模式,包括bridge(桥接模式)、host(主机模式)、overlay(覆盖网络模式)等。

  1. Bridge(桥接模式):这是Docker默认的网络模式。在桥接模式下,每个Docker容器都运行在自己的虚拟网络接口上,并且这些接口通过一个桥接器连接在一起。Docker服务端启动时会自动创建一个桥接器,然后所有的容器都会连接到这个桥接器上。这种模式下,容器可以互相通信,但是容器不能与宿主机进行通信。
  2. Host(主机模式):在这种模式下,容器将直接使用宿主机的网络接口。因此,容器可以像宿主机一样直接访问外部网络。但是,这种模式下容器之间无法通信。
  3. Overlay(覆盖网络模式):这种模式主要用于多个Docker集群之间的容器通信。它使用一个覆盖网络将多个Docker集群连接在一起,使得集群中的容器可以相互通信。

app-tier:网络名称
–driver:网络类型为bridge 

docker network create: 这是Docker命令用于创建新网络的命令。
app-tier: 这是新创建的网络的名称。
--driver bridge: 这是指定网络驱动程序的参数

docker network create app-tier --driver bridge

 二、 Kafka 安装配置

1、安装zookeeper   默认端口2181

Kafka依赖zookeeper所以先安装zookeeper
-p:设置映射端口(默认2181)
-d:后台启动

# zookeeper docker安装启动命令
docker run -d --name zookeeper-server --network app-tier -e ALLOW_ANONYMOUS_LOGIN=yes bitnami/zookeeper:latest

2、安装Kafuk服务  默认端口为9092

安装并运行Kafka,
–name:   容器名称
-p:          设置映射端口(默认9092 )
-d:          后台启动
ALLOW_PLAINTEXT_LISTENER                  任何人可以访问
KAFKA_CFG_ZOOKEEPER_CONNECT      链接的zookeeper
ALLOW_PLAINTEXT_LISTENER                  任何人可以访问
KAFKA_CFG_ADVERTISED_LISTENERS    当前主机IP或地址(重点:如果是服务器部署则配服务器IP或域名否则客户端监听消息会报地址错误)

# kafuk 安装启动命令  将ip修改为自己本地ip
docker run -d --name kafka-server --network app-tier -p 9092:9092 -e ALLOW_PLAINTEXT_LISTENER=yes -e KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper-server:2181 -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.14.93:9092  bitnami/kafka:latest

3、kafka图形化管理工具(manage,map)

 kafka-manege : 安装启动命令  端口9000
docker run --name kafka-manager -d  --network app-tier -p 9000:9000 -e ZK_HOSTS="zookeeper-server:2181" sheepkiller/kafka-manager
 kafka - map : 安装启动命令   端口9001
docker run -d --name kafka-map  --network app-tier -p 9001:8080 -v /opt/kafka-map/data:/usr/local/kafka-map/data -e DEFAULT_USERNAME=admin -e DEFAULT_PASSWORD=admin --restart always dushixiang/kafka-map:latest

三 、windwos环境 用kafka-python实现生产消费案例

  1、Windwos 环境需要下载 Kerberos for Windows 的安装,这是 Kerberos 5 身份验证协议的一个实现。gssapi 库需要它来在 Windows 上运行。

  1. 下载 Kerberos

    • 访问 MIT Kerberos Distribution Page 并下载 Kerberos for Windows 的64位MSI安装文件。
  2. 安装 Kerberos

    • 运行下载的 MSI 文件来安装 Kerberos。
  3. 设置 PATH

    • 安装完成后,确保 'bin' 文件夹(C:\Program Files\MIT\Kerberos\bin)在你的 PATH 环境变量中。
    • 打开“控制面板” -> “系统” -> “高级系统设置” -> “环境变量”。
    • 在“系统变量”部分,查找名为“PATH”的变量,并确保它包含 Kerberos 的 'bin' 文件夹的路径。如果没有,请点击“新建”并添加该路径。
  4. 重启

    • 为了确保所有的环境变量都已更新,建议重新启动你的计算机。

 2、安装python环境kafka依赖包

pip install  kafka-python

3、python 示例代码 

 创建生产者文件代码 kafka_pronucer.py

from kafka import KafkaProducer
import json

# kafka 队列生产者
def producer_demo():
    # 配置Kafka生产者
    producer = KafkaProducer(bootstrap_servers='localhost:9092',
                             value_serializer=lambda v: json.dumps(v).encode())

    # 发送消息到指定的topic
    producer.send('my-topic', {'key': '5'})

    # 关闭生产者连接
    producer.close()


if __name__ == '__main__':
    producer_demo()

 创建消费者文件代码 kafka_consumer.py

from kafka import KafkaConsumer

# kafka 队列消费者
def consumer_demo():
    # 配置Kafka消费者
    consumer = KafkaConsumer('my-topic',
                             bootstrap_servers='localhost:9092',
                             auto_offset_reset='earliest')

    # 消费消息
    for message in consumer:
        print(message.value.decode('utf-8'))


if __name__ == '__main__':
    consumer_demo()

Docker搭建Kafka教程(python使用kafka基础用法,生产消费),docker,kafka,容器

生产者推送数据,消费端打印数据内容,后期可以根据需求进行进阶操作与更改文章来源地址https://www.toymoban.com/news/detail-768598.html

到了这里,关于Docker搭建Kafka教程(python使用kafka基础用法,生产消费)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 记录一次云服务器使用docker搭建kafka的过程

    创建网络 一定要将zookeeper注册中心与kafka建在一个network中,不然在springboot 集成 kakfa的demo测试代码中进行消息发送时会超时,报错: E x c e p t i o n t h r o w n w h e n s e n d i n g a m e s s a g e w i t h k e y = ‘ n u l l ‘ Exception thrown when sending a message with key=‘null‘ E x ce pt i o n t h ro w

    2024年02月04日
    浏览(40)
  • 『Kafka』在Docker中快速部署Kafka及其管理平台搭建

    📣读完这篇文章里你能收获到 在Docker中快速部署Kafka 在Docker中快速部署Zookeeper 搭建Kafka管理平台 Kafka部署测试 感谢点赞+收藏,避免下次找不到~ 参数说明: -e KAFKA_BROKER_ID=0 在kafka集群中,每个kafka都有一个BROKER_ID来区分自己 -e KAFKA_ZOOKEEPER_CONNECT=172.16.0.13:2181/kafka 配置zookeep

    2024年02月16日
    浏览(36)
  • docker搭建kafka

    注意:云服务器需要设置安全策略放行2181与9092端口,否则访问失败

    2024年02月06日
    浏览(39)
  • docker快速搭建kafka集群

    一、准备工作 1、拉取kafka镜像 2、拉取kafka可视化管理工具镜像 3、安装docker-compose工具 4、创建相关文件夹 5、创建网络,用于kafka和zookeeper共享一个网络段 6、构建zookeeper集群 kafka集群需要用到zookeeper集群,因此需要先构建zookeeper集群,请查看文章 docker快速搭建zookeeper集群

    2024年02月13日
    浏览(35)
  • 【Kafka专栏】windows搭建Kafka环境 & 详细教程(01)

    官网:https://kafka.apache.org/quickstart 中文官网:https://kafka.apachecn.org/1/#apache-kafka Apache Kafka 是一个开源分布式事件流平台,已被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序 Kafka和Zookeeper之间的关系可以概括为紧密的合作关系。Kafka是一个高性能、可

    2024年04月25日
    浏览(31)
  • Docker 搭建 zookeeper、kafka 集群

    首先创建一个自定义网络,后续的所有容器都放入同一个内网中,容器之间还可以通过容器名称进行直接访问,在后续的配置中只需要写明容器名称即可,会自动找到对应的IP地址,防止重启容器后IP地址发生变化时,还要去修改配置文件的操作 创建目录 启动zookeeper 进入zo

    2024年02月10日
    浏览(37)
  • docker搭建kafka集群并测试完整版

    1.安装docker desktop. 打开docker官网,下载docker desktop,这里直接给出网址:Install Docker Desktop on Windows | Docker Docs 如下图,点击下载即可。 下载好后 点击运行exe文件,我们采用交互式安装程序。 安装完成后直接重启即可,默认安装在c盘,如果不想安装在c盘就采用命令行的方式安装

    2024年02月02日
    浏览(37)
  • Ubuntu18.04 docker kafka 本地测试环境搭建

    Kafka是一种分布式流处理平台,也是一个高吞吐量的分布式发布订阅消息系统。它由LinkedIn开发,并于2011年成为Apache软件基金会的顶级项目。 Kafka的设计目标是能够处理大规模的消息流,并提供持久性、高吞吐量和低延迟的特性。它的核心概念是发布-订阅模型,其中消息被组

    2024年02月15日
    浏览(62)
  • 【Docker安装部署Kafka+Zookeeper详细教程】

    Docker拉取zookeeper的镜像 Docker拉取kafka的镜像 这个地方没有使用挂载目录的方式,想要使用挂载目录的方式可以看我前面的文章呦!!! 【Linux操作系统使用Docker部署Zookeeper】 【Docker安装部署Zookeeper集群】 参数说明 查看zookeeper的ip地址 后面部署kafka会使用到zookeeper的ip地址 进

    2023年04月19日
    浏览(48)
  • 大数据系列教程之 Kafka基础

    kafka概述 一、kafka概述 1.1 定义 1.2 消息队列 1.2.1 传统消息队列的应用场景 1.2.2 消息队列的两种形式 1.3 Kafka 基础架构 二、kafka安装部署 2.1安装部署 2.1.1.jar包下载 2.1.2.解压到指定的文件夹下 2.1.3.创建两个文件夹以供后续使用 2.1.4. 修改配置文件 (1)修改zookeeper.properties 文件

    2024年02月10日
    浏览(28)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包