查看 Avro 格式的 Kafka 消息(启用了 Confluent Schema Registry )

这篇具有很好参考价值的文章主要介绍了查看 Avro 格式的 Kafka 消息(启用了 Confluent Schema Registry )。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

使用 Avro 格式传递 Kafka 消息要比 Json 更加高效,因为它是二进制格式,在启用了 Confluent Schema Registry 的情况下,会进一步地提升传输效率,因为 Avro 中的 Schema 信息将不再出现在消息中,消息体积会进一步压缩,同时,还可以利用到 Schema Registry 的其他好处,例如 Schema Evolution 管理。

但是,由于 Avro 是二进制格式,且使用了 Confluent Schema Registry 后 Schema 信息也被剥离,使用 kafka-console-consumer.sh 输出的消息都是乱码,无法阅读,这会给开发和调试带来一些麻烦。正确查看 Avro 消息的方法是使用 Confluent Schema Registry 提供的一个命令行工具: kafka-avro-console-consumer,这个工具是内置在 cp-schema-registry 这个组件中的,不管是手动安装还是使用 Docker 启动 cp-schema-registry 后,都可以直接使用该命令输出 Kafka 的 Avro 消息,类似于 kafka-console-consumer。以下是以 docker 形式登录 cp-schema-registry 后输出 Avro 消息的一个示例:文章来源地址https://www.toymoban.com/news/detail-824278.html

# connect to a confluentinc/cp-schema-registry container, open bash for input commands.
docker run -it --rm confluentinc/cp-schema-registry 

到了这里,关于查看 Avro 格式的 Kafka 消息(启用了 Confluent Schema Registry )的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 查看kafka消息消费堆积情况

    查看主题命令 展示topic列表 描述topic 查看topic某分区偏移量最大(小)值 增加topic分区数 删除topic:慎用,只会删除zookeeper中的元数据,消息文件须手动删除 方法一: 方法二: 待验证 查看topic消费进度,必须参数为–group, 不指定–topic,默认为所有topic, 列出所有主题中的

    2024年03月13日
    浏览(78)
  • 基于Confluent Kafka部署Kafka Connect集群,Kafka Connect集群加载debezium插件

    Confluent Kafka的下载地址: https://www.confluent.io/download/ 下载社区免费版本: 核心参数如下所示: /data/src/confluent-7.3.3/etc/schema-registry/connect-distributed.properties /data/src/confluent-7.3.3/bin/connect-distributed connect-distributed的脚本内容如下所示,可以不需要修改 如果需要导出kafka connector的j

    2024年02月10日
    浏览(38)
  • kafka查看topic和消息内容命令

    ①创建一个测试用的topic ② 用Kafka的console-producer在topic test 生产消息 ③ 用Kafka的console-consumer 消费topic test的消息 ④查询topic,进入kafka目录: ⑤查询topic内容: ⑥查看topic 为 test的 详细信息 ⑦往topic 为 test的内部生产消息 ⑧从topic 为test的内部消费消息 ⑨删除kafka的测试top

    2024年02月11日
    浏览(51)
  • Kafka查看消息是否堆积(服务器)

    查询消费组 先进入kafka中的bin目录 ./kafka-consumer-groups.sh --bootstrap-server ip:9092 --list  查询消费组的消费情况 ./kafka-consumer-groups.sh --bootstrap-server ip1:9092 --describe --group 组名称   解析 TOPIC :topic消息队列id CURRENT-OFFSET :当前消费的偏移量 LAG:消息堆积数量 查看分区中消息偏移量

    2024年02月06日
    浏览(44)
  • 基于docker的confluent-kafka搭建及python接口使用

    本文介绍基于docker搭建的confluent-kafka及其python接口的使用。 本文只搭建了一个单Broker的confluent-kafka测试环境,考虑到高可用、高吞吐等因素,正式生产环境一般至少要3个节点。 本文采用的系统配置如下: LinuxMint 20.3 (兼容 Ununtu 20.04) docker 20.10.21 docker-compose 2.14.2 python 3.9

    2024年02月06日
    浏览(40)
  • kafka查看消息两种方式(命令行和软件)+另附发送消息方式

    ①找到kafka安装文件夹 ②执行命令 ①软件下载地址:https://www.kafkatool.com/download2/offsetexplorer_64bit.exe     ②然后点击test试一下能不能连上 ③设置 Kafka 数据展示格式 ④查看数据 ⑤发送消息  

    2024年02月13日
    浏览(46)
  • 一文详细介绍查看和启用nginx日志(access.log和error.log),nginx错误日志的安全级别,自定义访问日志中的格式

    我们在实际工作中,经常使用到日志。 日志在一个系统中是非常重要的,它可以监控一个应用程序的活动,因为它们为你提供有用的调试信息,并使你能够分析一个 Web服务器 的所有方面。 像其他软件应用程序一样, Nginx 也会将诸如网站访问者、遇到的问题等事件保

    2024年02月09日
    浏览(65)
  • 使用Flume-KafkaSource实时采集Avro格式数据

    Flume是一个可靠、可扩展且具有高可用性的分布式系统,用于在大规模数据集群中进行高效的日志聚合、收集和传输。Kafka是一个分布式流处理平台,用于处理高容量的实时数据流。本文将介绍如何使用Flume的KafkaSource来实时采集Avro格式的数据,并提供相应的源代码。 首先,确

    2024年02月07日
    浏览(42)
  • kafka查看消息两种方式(命令行和软件)

    ①找到kafka安装文件夹 ②执行命令 ①软件下载地址:https://www.kafkatool.com/download2/offsetexplorer_64bit.exe     ②然后点击test试一下能不能连上 ③设置 Kafka 数据展示格式 ④查看数据 ⑤发送消息  

    2024年02月16日
    浏览(42)
  • Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者

    执行topic删除命令时,出现提示 这条命令其实并不执行删除动作,仅仅是在zookeeper上标记该topic要被删除而已,同时也提醒用户一定要提前打开delete.topic.enable开关,否则删除动作是不会执行的。 解决办法: a)在server.properties中设置delete.topic.enable参数为ture b)如下操作: 1.登

    2023年04月26日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包