kettle从入门到精通 第五十三课 ETL之kettle MQTT/RabbitMQ consumer实战

这篇具有很好参考价值的文章主要介绍了kettle从入门到精通 第五十三课 ETL之kettle MQTT/RabbitMQ consumer实战。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、上一节课我们学习了MQTT producer 生产者步骤,MQTT consumer消费者步骤。该步骤可以从支持MRQTT协议的中间件获取数据,该步骤和kafka consumer 一样可以处理实时数据交互,如下图所示:

kettle 对接mqtt,kettle,etl,rabbitmq,kettle,mqtt,kettle rabbitmq

 2、双击步骤打开MQTT consumer 配置窗口,如下图所示:

kettle 对接mqtt,kettle,etl,rabbitmq,kettle,mqtt,kettle rabbitmq

Step name:自定义步骤名称。

Transformation:设置子转换,该子转换的作用是从中间件读取流数据,然后将字段返回给MQTT consumer步骤进行使用。

Connection:指定此步骤将连接的 MQTT 服务器的地址,如127.0.0.1:1883(注意这里的端口是1883,不是5672)

Client ID:指定 MQTT 客户端的唯一 ID。MQTT 服务器使用此客户端 ID 来识别每个不同的客户端及其当前状态。

Topics name:在主题名称字段中,输入您希望订阅流数据(消息)的 MQTT 主题的名称。其实这里的topic是RabbitMQ中的routing key(另外这里的routing key 一定不要绑定队列,否则MQTT consumer步骤无法接收数据)。

Quality of Service:是消息传递的保证级别。选择以下选项之一。
至多一次(0),这是默认值
至少一次(1)
恰好一次(2)

 3、安全验证设置,如下图所示:

kettle 对接mqtt,kettle,etl,rabbitmq,kettle,mqtt,kettle rabbitmq

Username:MQTT服务器的用户名,如admin

Password:MQTT服务器的密码。

Use secure protocol:选择此选项以定义连接的 SSL 属性,本次不做介绍。

 3、批次设置,使用此选项卡来指定在处理之前要拉取多少消息。您可以指定消息数量和/或特定的时间量。

kettle 对接mqtt,kettle,etl,rabbitmq,kettle,mqtt,kettle rabbitmq

Duration(ms):
请指定一个以毫秒为单位的时间。此值表示在执行转换之前该步骤将花费多少时间来收集记录。
如果将此选项设置为0,则根据参数Number of records记录数触发消费。要运行转换,持续时间或记录数选项都必须包含一个大于0的值。

Number of records
指定一个数字。在每收集到‘X’条记录之后,指定的转换将被执行,并且这些‘X’条记录将被传递给转换过程。
如果将此选项设置为0,则将参数Duration按持续时间触发消费。为了运行转换,持续时间或记录数选项都必须包含一个大于0的值。

Maximum concurrent batches

指定用于同时收集记录的最大批次数。默认值为1,表示使用单个批次来收集记录。仅当您的消费者步骤无法跟上数据流的速度时,才应使用此选项。
您的计算环境必须具备足够的 CPU 和内存来进行此实现。如果您的环境无法处理指定的最大并发批次数,将会出现错误。


Message prefetch limit
请指定此步骤将排队等待处理的传入消息的限制,即从 kfakfa broker接收到的消息。
设置此值会强制kafka broker处理超过指定限制的消息的背压。默认排队消息的数量是100000条。

 4、字段设置,这里采用默认值就行了,不用调整。

kettle 对接mqtt,kettle,etl,rabbitmq,kettle,mqtt,kettle rabbitmq

5、子转换结果字段设置,选择子转换返回数据的步骤。 

kettle 对接mqtt,kettle,etl,rabbitmq,kettle,mqtt,kettle rabbitmq

 6、同上一节课,本次不再介绍。

kettle 对接mqtt,kettle,etl,rabbitmq,kettle,mqtt,kettle rabbitmq

 7、子转换配置,将Get records from stream步骤拉到画布,然后填写Message、Topic两个字段,类型都是设置为String即可。

kettle 对接mqtt,kettle,etl,rabbitmq,kettle,mqtt,kettle rabbitmq

kettle 对接mqtt,kettle,etl,rabbitmq,kettle,mqtt,kettle rabbitmq文章来源地址https://www.toymoban.com/news/detail-861098.html

到了这里,关于kettle从入门到精通 第五十三课 ETL之kettle MQTT/RabbitMQ consumer实战的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ETL工具 - Kettle 介绍及基本使用

    在介绍 Kettle 前先了解下什么是 ETL , ETL 是 Extract-Transform-Load 的缩写,即数据 抽取、转换、装载 的过程,对于企业或行业应用来说,经常会遇到各种异构数据的处理、转换、迁移等操作,这些操作有可能会面对大量的数据和繁琐的步骤,因此就萌生了一些 ETL 处理工具,市面

    2024年02月07日
    浏览(60)
  • ETL工具 - Kettle 输入输出算子介绍

    上篇文章对 Kettle 进行了简单的介绍及做了个简单的案例,但是对 Kettle 的 Step 算子工具没有做过多的解释,本篇文章从输入输出算子工具开始进行介绍。 下面是上篇文章的地址: ETL工具 - Kettle 介绍及基本使用 输入是转换里面的第一个分类,用来完成 ETL 中的 E 抽取数据或者

    2024年02月01日
    浏览(87)
  • 大数据 ETL 处理工具之 Kettle

    目录 第1章 Kettle概述 1.1 ETL简介 1.2 Kettle简介 1.2.1 Kettle是什么 1.2.2 Kettle的两种设计 1.2.3 Kettle的核心组件 1.2.4 Kettle特点 第2章 Kettle安装部署 2.1 Kettle下载 2.1.1 下载地址 2.1.2  Kettle目录说明 2.1.3  Kettle文件说明 2.2 Kettle安装部署 2.2.1 概述 2.2.2 安装 2.3 Kettle界面简介 2.3.1 首页 2.

    2024年02月11日
    浏览(41)
  • Springboot整合ETL引擎Kettle的使用

    ETL 是英文Extract-Transform-Load的缩写,用来描述将数据从源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,它能够对各种分布的、异构的源数据(如关系数据)进行抽取,按照预先设计的规则将不完整数据、重复数据以及错误数据等“脏\\\"数据内容进行清洗,得到符合

    2024年02月14日
    浏览(41)
  • 你还在用Kettle吗?试试这款ETL工具

    当今时代,数字化转型已经成为企业发展的必由之路。数字化转型不仅可以提高企业的效率和生产力,还可以提高企业的竞争力和市场份额。在数字化转型的过程中,数据集成是至关重要的一步,可以帮助企业在数字化转型中实现更高效和可靠的数据服务。 在国内没有更好的

    2024年02月09日
    浏览(46)
  • 大数据ETL工具对比(Sqoop, DataX, Kettle)

    前言 在实习过程中,遇到了数据库迁移项目,对于数据仓库,大数据集成类应用,通常会采用 ETL 工具辅助完成,公司和客户使用的比较多的是 Sqoop , DataX 和 Kettle 这三种工具。简单的对这三种ETL工具进行一次梳理。 ETL工具,需要完成对源端数据的抽取(exat), 交互转换(

    2024年02月11日
    浏览(50)
  • javacv从入门到精通——第五章:音频处理

    使用 javacv 进行音频处理需要使用 FFmpeg 的 libavcodec 库进行音频解码、编码以及音频转换等操作,同时还需要使用 OpenCV 的视频 I/O 模块进行音频数据读写。 以下是一些常见的音频处理操作以及使用 javacv 实现这些操作的方法: 音频格式转换:可以使用 FFmpeg 的 libswresample 库进

    2024年02月02日
    浏览(39)
  • C++从入门到精通 第五章(指针与引用)

    (1)C++程序在执行时,将内存大方向划分为 4个区域 : ①代码区: 存放函数体的二进制代码 ,由操作系统进行管理的。 ②全局区: 存放全局变量和静态变量以及常量 。 ③栈区: 由编译器自动分配释放 , 存放函数的参数值 、 局部变量等 。 ④堆区: 由程序员分配和释放

    2024年02月20日
    浏览(48)
  • 关于Kettle ETL java脚本编写遇到的一些问题记录

    使用方法**logBasic()**参数必须是字符串 这部分内容会在ETL的日志窗口显示 1.获取上个节点传输的数据 可以直接在左侧双击获取 2.全局参数获取 在启动运行的变量设置参数 在java代码中获取方式 3.获取当前节点参数 在当前窗口下方有个 参数 Tab页,在这里设置 在java代码中获取

    2024年02月12日
    浏览(39)
  • 【小黑送书—第五期】>>《MATLAB科学计算从入门到精通》

    从 代码 到 函数 ,从 算法 到 实战 ,从 问题 到 应用 ,由浅入深掌握科学计算方法,高效解决实际问题。 今天给大家带来一本书:《 MATLAB科学计算从入门到精通 》—— 科学计算基础入门,高效解决实际问题。 本书从 MATLAB 基础语法讲起,介绍了基于 MATLAB 函数的科学计算

    2024年02月05日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包