一、目的
在Linux上脚本运行kettle的转换任务、无论是Linux本地还是Linux资源库都成功后,接下来就是用海豚调度Linux上kettle任务
尤其是团队开发中,基本都要使用共享资源库,所以我直接使用海豚调度Linux资源库的kettle任务脚本
二、前提条件
(一)海豚调度器和kettle安装在同一台服务器上
(二)kettle的资源库的转换任务脚本在Linux上先跑一遍没问题,说明脚本没问题,这是前提
(三)先开启海豚调度器的服务
1、先开启zookeeper服务
2、再开启海豚调度器服务
3、开启服务后jps查看一下
如图所示,上面5个是海豚服务,下面1个是zookeeper服务
(四)最好先浏览鄙人拙作:一百六十四、Kettle——Linux上脚本运行kettle的转换任务(Linux本地、Linux资源库)
http://t.csdn.cn/fP4XBhttp://t.csdn.cn/fP4XB这篇博文专讲Linux上如何用脚本运行kettle的转换任务
三、实施步骤
(一)启动海豚调度器后创建kettle脚本运行的项目
(二)在kettle项目里,创建工作流
(三)在工作流中,拖拽左侧的SHELL工具栏;然后,输入节点名称、描述以及脚本;最后点击确认添加
注意:脚本即是Linux中运行的kettle脚本内容
#!/bin/bash
source /etc/profile
/opt/install/kettle9.2/data-integration/pan.sh -rep=hurys_linux_kettle_repository -user=admin -pass=admin -dir=/mysql_to_hdfs/ -trans=01_MySQL_to_HDFS_t_event_dispose level=Basic >>/home/log/kettle/01_MySQL_to_HDFS_t_event_dispose_`date +%Y%m%d`.log
(四)SHELL工具配置好后,点击右上方的保存,设置DAG图名称以及租户,点击添加
(五)工作流先上线,再执行(这里没有设置定时,只演示调度)
(六)查看工作流实例(结束时间为2023-08-24 14:00:21)
工作流执行成功!
(七) 由于kettle任务是从MySQL到HDFS,所以还可以到Hadoop中验证一下文件
Hadoop中的文件时间是14:00
(八)由于脚本中的pan语句导出日志到日志文件,因此可以查看日志文件
1、查看14:00的日志文件
2、vi 01_MySQL_to_HDFS_t_event_dispose_20230824.log
可以看到日志中,kettle的转换任务执行成功!
到这里,用海豚调度Linux资源库中的kettle任务脚本的展示就结束了,至于定时设置那要根据不同的需求而设置,之前已有博客展示过,所以这边就只展示海豚调度kettle任务脚本文章来源:https://www.toymoban.com/news/detail-669289.html
乐于奉献共享,帮助你我他!!!文章来源地址https://www.toymoban.com/news/detail-669289.html
到了这里,关于一百六十五、Kettle——用海豚调度器调度Linux资源库中的kettle任务脚本(亲测、附流程截图)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!