Kafka与Mysql的组合使用(Windows中)

这篇具有很好参考价值的文章主要介绍了Kafka与Mysql的组合使用(Windows中)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

通过下面这个实例来演示Kafka与Mysql的组合使用

假设有一个学生表student,编写python程序完成如下操作

Kafka与Mysql的组合使用(Windows中)

1读取student表的数据内容,将其转为JSON格式,发送给Kafka

 2从Kafka中获取JSON格式数据,打印出来

---------------------------------------------------->

在使用Python操作Mysql之前,需要安装第三方模块python-kafka(在windows命令窗口)

win+r--->输入cmd然后回车

会出现一个小黑窗

输入命令pip install kafka-python安装python-kafka模块

 查看我们安装的模块的版本信息(出现kafka-python2.0.2表示我们安装模块成功)

一、先在Windows命令窗口连接上mysql

win+r---->输入cmd---->回车

会出现一个小黑窗,在小黑窗中输入mysql -u root -p然后回车输入密码

Kafka与Mysql的组合使用(Windows中)

二,在school001数据库下创建student表

1.创建school001数据库: create database school001;

Kafka与Mysql的组合使用(Windows中)

 2.查看现有的数据库:show databases;

如果有school001表示我们创建库成功

Kafka与Mysql的组合使用(Windows中)

 3.使用school001数据库:use school001;

Kafka与Mysql的组合使用(Windows中)

 4.创建student表:create table student(sno varchar(10),sname varchar(20),ssex char(2),sage int(5));

Kafka与Mysql的组合使用(Windows中)

5. 查看数据库中的表:show tables; 

Kafka与Mysql的组合使用(Windows中)

6.向表中插入两条数据

第一条: insert into student values("95001","John","M",23);

第二条: insert into student values("95002","Tom","M",23);

Kafka与Mysql的组合使用(Windows中)

 7.查看student表中的数据:

Kafka与Mysql的组合使用(Windows中)

 (到这里我们的student表就创建成功了!)

三、在python中创建producer.py文件读取student表的数据内容,将其转为JSON格式,发送给Kafka

# 运行前先在win上启动zookeap和kafka
# 导入相关模块
from kafka import KafkaProducer
import json
# 连接kafka  json.dumps(v).encode('utf-8')将json格式的数抠转挨为字节类型,然后使用ut了-8进行编码
producer = KafkaProducer(bootstrap_servers = 'localhost:9092',value_serializer=lambda v:json.dumps(v).encode('utf-8'))
# 定义一个json格式的数第,json格式以键值对形式保存数掂,每个键值对之间使用逗号隔开
data = {
    'sno':'95001',
    'sname':'John',
    'ssex':'M',
    'sage':19
}
# 发送数据
producer.send('test001',data)
# 关闭资源
producer.close()

四、在python中创建consumer.py文件从Kafka中获取JSON格式数据

# 运行前先在win上启动mysql
# 导入消费模块
import json
# 导入kafka的消费模块
from kafka import KafkaConsumer
import json
import pymysql.cursors
# 连接kafka
consumer = KafkaConsumer('test001',bootstrap_servers = 'localhost:9092',group_id=None,auto_offset_reset='earliest')
# 对获取的数据进行解析
for msg in consumer:
    # 转换为字符串类型
    msg1 = str(msg.value,encoding=('utf-8'))
    # 将字符串的数据加载为字典
    dict = json.loads(msg1)
    # 连接数据库
    connect = pymysql.Connect(
        host='localhost',
        port=3306,
        user='root',
        passwd='123456',
        db='school001',
        charset='utf8'
    )
    # 获取操作数抠库的对象<游标>
    cursor = connect.cursor()
    #将数抠织存到mysqL(插入数掷)
    # 定义sql语句
    sql = "select * from student;"
    # 将数掐作为参敏传速给sqL,保存到hrgsql
    cursor.execute(sql)
    # 提交
    connect.commit()
    for row in cursor.fetchall():
        print("sno:%s\tsname:%s\tssex:%s\tsage:%d" % row)
    print("共查询出", cursor.rowcount, '条数据')
    connect.close()

五、运行

1.先在windows命令窗口开启 Zookeeper和Kafka

开启 Zookeeper和Kafka可以参考:(14条消息) Kafka的安装和使用(Windows中)_瑾寰的博客-CSDN博客https://blog.csdn.net/qq_68383591/article/details/130314335?spm=1001.2014.3001.55012.先运行producer.py再运行consumer.py

Kafka与Mysql的组合使用(Windows中)

 (在consumer.py中可以看到student表中的两条数据表示我们成功了!)文章来源地址https://www.toymoban.com/news/detail-464624.html

到了这里,关于Kafka与Mysql的组合使用(Windows中)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 通过kafka connector实现mysql数据自动同步es

    整体思路: 1、使用 io.debezium.connector.mysql.MySqlConnector 自动同步数据到kafka消息队列 2、通过listener监听消息队列,代码控制数据插入es ps:其实有更简单的方式:在此基础上使用ElasticsearchSinkConnector、ksql,完成数据的转换与自动同步es,全程无需代码控制,后续本地跑通流程后

    2024年02月08日
    浏览(44)
  • Windows下面安装es闪退如何解决?

    记录以下Windows下面安装es,双击elasticsearch.bat,出现闪退的问题。 首先去官网下载安装包:ES官网 我安装的版本: 解压,进入bin目录,双击elasticsearch.bat, 发现闪退。。。。。 首先我cmd先进入这个目录,执行elasticsearch 这个时候发现导致闪退的原因。 然后进入config目录下,

    2024年02月08日
    浏览(39)
  • 还在被机组组合问题困扰?快来试试这个用处极大的考虑安全约束机组组合模型!

    前言 所谓安全约束机组组合,即在满足电力系统安全性约束的条件下,以系统购电成本最低等为优化目标,制定多时段的机组开停机计划。 机组组合(Unit commitment, Uc)优化问题旨在电力系统运行时,安全给定以及调整发电机组的启/停与实时出力,使发电机组的总运行成本最小

    2024年03月27日
    浏览(52)
  • c# 通过现在文件夹,获取下面所有的照片,并对其进行统一尺寸裁剪

    c# 通过现在文件夹,获取下面所有的照片,并对其进行统一尺寸裁剪 using System; using System.Collections; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Drawing.Imaging; using System.IO; using System.Linq; using System.Text; using System.Threading.Tasks; using Syst

    2023年04月26日
    浏览(49)
  • 【MySQL】不允许你不会使用组合查询

    🎬 博客主页:博主链接 🎥 本文由 M malloc 原创,首发于 CSDN🙉 🎄 学习专栏推荐:LeetCode刷题集 🏅 欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正! 📆 未来很长,值得我们全力奔赴更美好的生活✨ 😁大家好呀,今天是我第N次写MySQL,也是最近才学习MySQL,也想着记录一

    2024年02月15日
    浏览(42)
  • 使用.net 6.0框架的WPF应用如何引用System.Windows.Forms这个dll

    在.net 6.0的WPF应用中,想使用OpenFileDialog 这个类或者FolderBrowserDialog这个类,是无法找到System.Windows.Forms这个dll引用的,即使从系统C盘里搜索到System.Windows.Forms.dll放到项目里,也会出现异常,而无法识别WPF自带的一些初始化方法。 OpenFileDialog还好,因为他有两个命名空间都有它

    2024年02月12日
    浏览(33)
  • 如何使用 nvm-windows 这个工具来管理你电脑上的Node.js版本

    nvm-windows 是一个用于管理在 Windows 上安装的多个 Node.js 版本的工具。以下是安装和使用 nvm-windows 的步骤: 第1步:下载 nvm-windows 访问 nvm-windows 的 GitHub发布页面. 下载最新版本的 nvm-setup.zip 文件。 第2步:安装 nvm-windows 解压 nvm-setup.zip 文件。 打开解压后的文件夹,双击 nvm-s

    2024年02月08日
    浏览(89)
  • MySQL FlinkCDC 通过Kafka实时同步到ClickHouse(自定义Debezium格式支持增加删除修改)

    MySQL FlinkCDC 通过Kafka实时同步到ClickHouse(自定义Debezium格式支持增加删除修改) 把MySQL多库多表的数据通过FlinkCDC DataStream的方式实时同步到同一个Kafka的Topic中,然后下游再写Flink SQL拆分把数据写入到ClickHouse,FlinkCDC DataStream通过自定义Debezium格式的序列化器,除了增加,还能进行

    2024年02月15日
    浏览(40)
  • 详解Windows系统下面如何查看CUDA、cuDNN、Python和各个软件包的版本

    这个题目网络上有很多的讲解,但是 查看CUDA、cuDNN版本 和 查看Python与自身各个软件包 是分开的,且cuDNN版本的查看方式似乎已经过时【截止2023-10-23】。由于自身需要且出于回馈 互联网大学 的目的,将相关内容重新整理在此篇博客中。 方法1:在Windows终端中通过以下3条下命

    2024年02月04日
    浏览(57)
  • Windows下安装使用Kafka(使用Kafka内置的ZooKeeper)

    Kafka2.8版本才开始自带了Zookeeper,所以注意下版本 kafka官网:https://kafka.apache.org kafka配置快速入门:https://kafka.apache.org/quickstart kafka下载页面:https://kafka.apache.org/downloads 下载完成后解压到当前目录 修改config下的zookeeper.properties 修改config下的server.properties 进入 /bin/windows 下 使用

    2024年02月06日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包