CentOS7部署kettle9.3.0并部署自服器远程提交任务

这篇具有很好参考价值的文章主要介绍了CentOS7部署kettle9.3.0并部署自服器远程提交任务。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

环境说明:

主机名:cmcc01为例 

操作系统:centos7

kettle版本:9.3.0

1. 下载kettle

官网:https://sourceforge.net/projects/pentaho/files/

2.解压

unzip /opt/package/pdi-ce-9.3.0.0-428.zip -d /opt/software/

3、配置java环境变量

vim ~/.bash_profile
# 添加以下内容

# JDK
export JAVA_HOME=/opt/software/jdk1.8.0_321
export PATH=$PATH:${JAVA_HOME}/bin

使配置生效

source /etc/profile

4.给同组用户赋权

chmod g+x /opt/software/data-integration/kitchen.sh

5.执行命令

[root@cmcc01 data-integration]#
[root@cmcc01 data-integration]#
[root@cmcc01 data-integration]# ./kitchen.sh
#######################################################################
WARNING:  no libwebkitgtk-1.0 detected, some features will be unavailable
    Consider installing the package with apt-get or yum.
    e.g. 'sudo apt-get install libwebkitgtk-1.0-0'
#######################################################################

Options:
  -rep            = Repository name
  -user           = Repository username
  -trustuser      = !Kitchen.ComdLine.RepUsername!
  -pass           = Repository password
  -job            = The name of the job to launch
  -dir            = The directory (dont forget the leading /)
  -file           = The filename (Job XML) to launch
  -level          = The logging level (Basic, Detailed, Debug, Rowlevel, Error, Minimal, Nothing)
  -logfile        = The logging file to write to
  -listdir        = List the directories in the repository
  -listjobs       = List the jobs in the specified directory
  -listrep        = List the available repositories
  -norep          = Do not log into the repository
  -version        = show the version, revision and build date
  -param          = Set a named parameter <NAME>=<VALUE>. For example -param:FILE=customers.csv
  -listparam      = List information concerning the defined parameters in the specified job.
  -export         = Exports all linked resources of the specified job. The argument is the name of a ZIP file.
  -custom         = Set a custom plugin specific option as a String value in the job using <NAME>=<Value>, for example: -custom:COLOR=Red
  -maxloglines    = The maximum number of log lines that are kept internally by Kettle. Set to 0 to keep all rows (default)
  -maxlogtimeout  = The maximum age (in minutes) of a log line while being kept internally by Kettle. Set to 0 to keep all rows indefinitely (default)

[root@cmcc01 data-integration]#
[root@cmcc01 data-integration]#

此处有告警 

6.解决告警

wget ftp://ftp.pbone.net/mirror/ftp5.gwdg.de/pub/opensuse/repositories/home:/matthewdva:/build:/EPEL:/el7/RHEL_7/x86_64/webkitgtk-2.4.9-1.el7.x86_64.rpm
yum -y install webkitgtk-2.4.9-1.el7.x86_64.rpm

# 再次执行命令,告警消除
[root@cmcc01 package]#
[root@cmcc01 package]# /opt/software/data-integration/kitchen.sh
Options:
  -rep            = Repository name
  -user           = Repository username
  -trustuser      = !Kitchen.ComdLine.RepUsername!
  -pass           = Repository password
  -job            = The name of the job to launch
  -dir            = The directory (dont forget the leading /)
  -file           = The filename (Job XML) to launch
  -level          = The logging level (Basic, Detailed, Debug, Rowlevel, Error, Minimal, Nothing)
  -logfile        = The logging file to write to
  -listdir        = List the directories in the repository
  -listjobs       = List the jobs in the specified directory
  -listrep        = List the available repositories
  -norep          = Do not log into the repository
  -version        = show the version, revision and build date
  -param          = Set a named parameter <NAME>=<VALUE>. For example -param:FILE=customers.csv
  -listparam      = List information concerning the defined parameters in the specified job.
  -export         = Exports all linked resources of the specified job. The argument is the name of a ZIP file.
  -custom         = Set a custom plugin specific option as a String value in the job using <NAME>=<Value>, for example: -custom:COLOR=Red
  -maxloglines    = The maximum number of log lines that are kept internally by Kettle. Set to 0 to keep all rows (default)
  -maxlogtimeout  = The maximum age (in minutes) of a log line while being kept internally by Kettle. Set to 0 to keep all rows indefinitely (default)

[root@cmcc01 package]#
[root@cmcc01 package]#

7.测试

# 执行转换
# 编写测试转换,执行如下命令即可
/opt/software/data-integration/pan.sh -file=/opt/kettle-spoon/ktr/test/test1.ktr log=test1.log

# 执行job
/opt/software/data-integration/kitchen.sh -file=/opt/kettle-spoon/ktr/test/SechuldUpdate.kjb log=timeLogUpdate.log

8.kettle整合mysql、oracle

 复制驱动到data-integration/lib下

cp /opt/package/mysql-connector-java-8.0.20.jar /opt/software/data-integration/lib
cp /opt/package/ojdbc6.jar /opt/software/data-integration/lib

 9.kettle整合hive

# 创建hive jar包软连接
ln -s /opt/software/hive-3.1.3-bin/lib/*.jar /opt/software/data-integration/lib

可能会报错:File exists,可忽略

kettle远程执行作业,软件,kettle,centos,hadoop,大数据,hdfs,etl

 创建job测试

 kettle远程执行作业,软件,kettle,centos,hadoop,大数据,hdfs,etl

 10.修改windows端spoon.bat编码

如不进行此操作则在向子服务器提交任务时会报如下错误:Invalid byte 1 of 1-byte UTF-8 sequence

使用文本编辑器打开:\pdi-ce-9.3.0.0-428\data-integration\spoon.bat

在下图红框处添加: "-Dfile.encoding=UTF-8"

kettle远程执行作业,软件,kettle,centos,hadoop,大数据,hdfs,etl

  

 11.修改linux端Carte用户名及密码

       使用Carte服务执行作业需要授权。默认情况下,Carte只支持最基本的授权方式,就是将密码保存在kettle.pwd文件中。kettle.pwd文件位于Kettle根目录下的pwd目录下。默认情况下,kettle.pwd的内容如下:

# Please note that the default password (cluster) is obfuscated using the Encr script provided in this release
# Passwords can also be entered in plain text as before
# 
cluster: OBF:1v8w1uh21z7k1ym71z7i1ugo1v9q

         最后一行是唯一有用的一行,定义了一个用户cluster,以及混淆后的密码(这个密码也是cluster)。文件的注释说明了这个混淆的密码是由Encr.bat或encr.sh脚本生成的。

sh /data-integration/encr.sh -carte cluster
# 执行结果
OBF:1v8w1uh21z7k1ym71z7i1ugo1v9q
注意:cluster是你需混淆的密码

        将新生成的混淆后的密码填写入kettle.pwd文件中,如修改后密码未生效,则是carte服务还未重启成功,查看相应进程杀掉重启即可。

12.启动Carte服务

       在linux服务器上切换到kettle跟目录下:cd  /kettle/data-integration/

sh carte.sh 本机ip 端口号
例如:sh carte.sh 192.168.12.250 8888

执行显示如下信息,则说明服务启动成功

kettle远程执行作业,软件,kettle,centos,hadoop,大数据,hdfs,etl

13.windows端kettle配置子服务器

 kettle远程执行作业,软件,kettle,centos,hadoop,大数据,hdfs,etlkettle远程执行作业,软件,kettle,centos,hadoop,大数据,hdfs,etl

14.创建子服务器运行配置

kettle远程执行作业,软件,kettle,centos,hadoop,大数据,hdfs,etl 

kettle远程执行作业,软件,kettle,centos,hadoop,大数据,hdfs,etl文章来源地址https://www.toymoban.com/news/detail-649148.html

到了这里,关于CentOS7部署kettle9.3.0并部署自服器远程提交任务的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 一百五十六、Kettle——Linux上安装的Kettle9.3连接ClickHouse数据库(亲测,附流程截图)

    kettle9.3在Linux上安装好后,需要与ClickHouse数据库建立连接 1、kettle版本是9.3 2、ClickHouse版本是21.9.5.16   https://pan.baidu.com/s/1iqGyXsTaQSCHEbjj7yX7AA 提取码: mvzd 注意 : clickhouse-plugins文件里就是自定义的clickhouse驱动jar包    注意 : 要区分Linux系统架构是64位还是32位, 它们所属的L

    2024年02月12日
    浏览(49)
  • CentOS7 Hadoop3.3.0 安装与配置

    一、安装JDK 1、创建文件夹tools和training用于存放压缩包和解压使用,tools存放压缩包,training用于解压后安装jdk和hadoop的路径。 1)回到路径为 / 的位置 2) 创建 tools 和 training 3) 进入tools文件夹 4) 左边mobaxterm里面点击进入/tools文件夹,将发给大家的 压缩包直接鼠标拖入进去,拖

    2024年02月09日
    浏览(28)
  • 一百五十九、Kettle——Kettle9.2通过配置Hadoop clusters连接Hadoop3.1.3(踩坑亲测、附流程截图)

    由于kettle的任务需要用到Hadoop(HDFS),所以就要连接Hadoop服务。 之前使用的是kettle9.3,由于在kettle新官网以及博客百度等渠道实在找不到shims的驱动包,无奈换成了kettle9.2,kettle9.2的安装包里自带了shims的驱动包,不需要额外下载,挺好! kettle9.2.0安装包网盘链接,请看鄙人

    2024年02月12日
    浏览(41)
  • 一百五十三、Kettle——Linux上安装的kettle9.3启动后说缺少libwebkitgtk-1.0(真是坑爹啊,刚龟速下载又忍痛卸载)

    在kettle9.3可以在本地连接hive312后,在Linux中安装了kettle9.3,结果启动时报错WARNING:  no libwebkitgtk-1.0 detected, some features will be unavailable 而且如果直接下载libwebkitgtk的话也没有用 [root@hurys22 data-integration]# yum install install libwebkitgtk   [root@hurys22 data-integration]# wget ftp://ftp.pbone.net/mirr

    2024年02月13日
    浏览(38)
  • kettle9.2报 Connection failed. Verify all connection parameters and confirm that the appropriate driv

    kettle9.2报 Connection failed. Verify all connection parameters and confirm that the appropriate driver is installed. The server time zone value ‘�й���׼ʱ��’ is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver (via the ‘serverTimezone’ configuration property) to use a more specific

    2024年02月13日
    浏览(17)
  • WebSpoon9.0(KETTLE的WEB版本)编译 + tomcat/docker部署 + 远程调试教程

    Kettle简介 Kettle是一款国外开源的ETL工具,纯Java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定 WebSpoon是Kettle的Web版本,由Kettle社区维护,不受Pentaho支持,实现了Kettle的大部分功能 仓库地址: https://github.com/HiromuHota/pentaho-kettle 配置 maven 的环境变量

    2024年02月19日
    浏览(26)
  • CentOS7开启远程桌面连接

    参考:https://www.bnxb.com/linuxserver/27459.html 特别说明:在运行yum -y groupinstall “X Window System” 时报错,不知道什么原因。 试了一些方法,没有解决,于是跳过,没想到不影响后面的操作。 在windows上运行mstsc,输入LINUX的IP地址 然后就进入登录界面,输入账号密码即可。

    2024年02月12日
    浏览(40)
  • Windows系统远程桌面连接CentOS7

    1. 安装 GNOME 桌面环境(如果尚未安装) 2. 安装 VNC Server 设置 vnc 账号密码 root 是账号,接下会提示两次输入密码 3. 安装 xrdp 检查centos是否装了epel库,没有就装上 4. 配置或关闭SELinux  查看SELinux状态 临时关闭SELinux(设置SELinux 成为permissive模式) 5. 打开3389端口命令:(宝塔

    2024年02月09日
    浏览(31)
  • Mysql安装和远程登录--Centos7

    在Centos7中使用的包管理工具是yum,当然使用包管理工具安装也是最方便的。 本文操作内容需要在root用户下,否则有些步骤无法成功执行。 上一步下载的存储库是 mysql80-community-release-el7-11.noarch.rpm 因此安装的时候也要对应该文件。 图中可以看到默认安装的软件源为 MySQL 8.0

    2024年04月15日
    浏览(25)
  • centos7 docker开启认证的远程端口2376配置

    docker开启2375会存在安全漏洞 暴露了2375端口的Docker主机。因为没有任何加密和认证过程,知道了主机IP以后,,任何人都可以管理这台主机上的容器和镜像,以前贪图方便,只开启了没有认证的docker2375端口,后来被黑客通过这个端口推送了一个挖矿木马病毒的镜像并运行,所

    2024年02月03日
    浏览(29)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包