ubuntu22安装和部署Kettle8.2

这篇具有很好参考价值的文章主要介绍了ubuntu22安装和部署Kettle8.2。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前提

kettle是纯java编写的etl开源工具,目前kettle7和kettle8都需要java8或者以上才能正常运行。所以运行kettle前先检查java环境是否正确配置,java版本是否是8或者以上。
ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle

kettle安装

1、创建kettle目录,并将kettle的zip包解压到kettle目录下

ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle

sudo unzip pdi-ce-8.2.0.0-342.zip

ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle

mv data-integration/ ./kettle/
ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle

2、查看以下sh文件使用都有执行的权限,如果没有请加上

ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle

3、执行kitchen.sh脚本

ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle

执行后如果出现warning,根据提示安装即可,不然可能导致部分特性无法使用(主要是spoon的使用,如果是无界面环境,可以忽略)

以下是包warning需要安装libwebkitgtk-1.0-0的详细处理步骤

vim /etc/apt/sources.list

在文件的末尾添加;

deb http://cz.archive.ubuntu.com/ubuntu bionic main universe

执行

sudo apt-get update

在Ubuntu更新源是,提示"没有数字签名。无法安全地用该源进行更新,所以默认禁用该源",主要原因是由于apt-get update没有公钥,无法验证下列签名。

ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle
处理方法

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 3B4FE6ACC0B21F32

3B4FE6ACC0B21F32是缺少的密钥,缺少什么就下什么

执行安装

sudo apt-get install libwebkitgtk-1.0-0

有点慢耐心等待。。。

重新执行kitchen.sh脚本
ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle
安装好以后,warngin就没有了。出现以下的提示界面说明kettle可以正常使用了。

同时home目录下应该会有一个.kettle的目录。
ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle

./spoon.sh

kettle转换与作业执行

在kettle中pan和kitchen两个工具分别用来执行transformation
(转换)和job(作业),如下所示
ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle
对于文件存储,不是数据库资源库,可以如下的方式存放文件:
所有的transformation文件存放在/srv/kettle/transfomation/
所有的job文件存放在/srv/kettle/jobs
所有的日志文件存放在/var/kettle/logs

1、使用pan执行transformation

pan语法

./pan.sh -option=value arg1 arg2

eg:

sudo ./pan.sh -file=/srv/kettle/transformation/EtltestTrans.ktr -level=Detailed > /var/kettle/log/EtltensTrans.log &

2、使用kitchen执行job

kitchen语法

./kitchen.sh -option=value arg1 arg2

eg

sudo ./kitchen.sh -file=/srv/kettle/jobs/EtltesJob.kjb -level=Detailed > /var/kettle/logs/EtltestJob.log &

常用参数列表:
ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle

kettle服务器端部署

1、通过Start组件定时执行任务

在kettle中我们可以通过start组件来设置定时任务,如下所示,这种方式不推荐使用,因为该job会一直占有一个进程,容易内存溢出。
ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle

2、通过crontab执行kettle任务

在linux中crontab是用来提交和管理用户周期性执行的任务。
例如(文件存储位置):
所有的transformation文件存放在/srv/kettle/transformtions/
所有的job文件存放在/srv/kettle/jobs/
所有的日志文件存放在/var/kettle/logs/
所有的执行脚本存放在/srv/kettle/script/

1)首先我们创建一个脚本。因为是crontab执行任务,我们需要重新配置导入java配置。

export JRE_HOME=/opt/java/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

#cd workspace
cd /opt/kettle/data-integration/

# exec job
./kitchen.sh -file=/srv/kettle/jobs/EtltestJob.kjb -level=Detailed > /var/kettle/logs/EtltestJob.log 

2)在终端上,键入“contab -e” ,进入定时任务文件,添加任务。

# m h  dom mon dow command
0 2 * * * /srv/kettle/script

3)重启cron并查看任务

ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle

3、kettle通过carte远程调度

kettle的部署有很多种模式,上面讲的是最原生的模式(pan/kitchen)。但是这种方式不利于监控、调度和资源分配。kettle本身提供了一个用于调度的web服务carte。carte允许远程请求http进行监控、启动、停止在carte服务上运行的job和trans。要部署使用carte的大致过程如下所示:

1)修改xml配置文件

ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle

vim carte-config-master-8080.xml
ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle
在kettle.pwd的描述中可以知道默认的用户名密码都是cluster(不放心的话可以通过和节点设置用户名密码),如果要修改密码可以在配置文件中配置

ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle

2)启动carte

启动时将刚刚的配置文件加上

nohub ./carte.sh pwd/carte-config-master-8080.xml &

启动完成后就可以访问carte了,界面非常的简陋。

3)配置子服务器

上面是成功的将carte服务打开,下面就需要将spoon连接到carte。在左侧的树中我们需要添加一个子服务器。如下所示:

ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle

4)创建一个新的运行配置,setting选择slave server

ubuntu22安装和部署Kettle8.2,ETL,Kettle,ETL,Kettle文章来源地址https://www.toymoban.com/news/detail-679225.html

5)提交任务

到了这里,关于ubuntu22安装和部署Kettle8.2的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 一百四十一、Kettle——kettle8.2在Windows本地开启carte服务以及配置子服务器

    在kettle建好共享资源库后,为了给在服务器上部署kettle的carte服务躺雷,先在Windows本地测试一下怎么玩carte服务 kettle版本是8.2             pdi-ce-8.2.0.0-342     kettle本地安装路径是D:javakettlepdi-ce-8.2.0.0-342 Carte是Kettle自带的调度及监控工具,是一种内置的轻量级的web服务,支

    2024年02月10日
    浏览(40)
  • 大数据ETL工具Kettle

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 提示:这里可以添加本文要记录的大概内容: 提示:以下是本篇文章正文内容,下面案例可供参考 ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱

    2024年02月10日
    浏览(30)
  • Ubuntu 22.04.4+Jumpserver开源堡垒机安装部署

    JumpServer 是广受欢迎的开源堡垒机,是符合 4A 规范的专业运维安全审计系统。JumpServer 帮助企业以更安全的方式管控和登录所有类型的资产,实现事前授权、事中监察、事后审计,满足等保合规要求。 Jumpserver的官方文档非常齐全,可以直接参考官方文档,这里引用官方的ju

    2024年04月08日
    浏览(31)
  • Ubuntu 22.04.4 Zabbix6.4部署安装

    Zabbix 是一款企业级的开源监控解决方案,主要用于分布式系统和网络设备的监控。它提供了基于Web界面的集中管理和监控功能,能够实时监控服务器的各项性能指标,如CPU负载、内存使用情况、磁盘空间占用,以及网络流量等,并且支持自动发现网络中的服务器与设备。 1

    2024年04月22日
    浏览(24)
  • ETL工具 - Kettle 输入输出算子介绍

    上篇文章对 Kettle 进行了简单的介绍及做了个简单的案例,但是对 Kettle 的 Step 算子工具没有做过多的解释,本篇文章从输入输出算子工具开始进行介绍。 下面是上篇文章的地址: ETL工具 - Kettle 介绍及基本使用 输入是转换里面的第一个分类,用来完成 ETL 中的 E 抽取数据或者

    2024年02月01日
    浏览(73)
  • ETL工具 - Kettle 介绍及基本使用

    在介绍 Kettle 前先了解下什么是 ETL , ETL 是 Extract-Transform-Load 的缩写,即数据 抽取、转换、装载 的过程,对于企业或行业应用来说,经常会遇到各种异构数据的处理、转换、迁移等操作,这些操作有可能会面对大量的数据和繁琐的步骤,因此就萌生了一些 ETL 处理工具,市面

    2024年02月07日
    浏览(49)
  • 大数据 ETL 处理工具之 Kettle

    目录 第1章 Kettle概述 1.1 ETL简介 1.2 Kettle简介 1.2.1 Kettle是什么 1.2.2 Kettle的两种设计 1.2.3 Kettle的核心组件 1.2.4 Kettle特点 第2章 Kettle安装部署 2.1 Kettle下载 2.1.1 下载地址 2.1.2  Kettle目录说明 2.1.3  Kettle文件说明 2.2 Kettle安装部署 2.2.1 概述 2.2.2 安装 2.3 Kettle界面简介 2.3.1 首页 2.

    2024年02月11日
    浏览(29)
  • Springboot整合ETL引擎Kettle的使用

    ETL 是英文Extract-Transform-Load的缩写,用来描述将数据从源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,它能够对各种分布的、异构的源数据(如关系数据)进行抽取,按照预先设计的规则将不完整数据、重复数据以及错误数据等“脏\\\"数据内容进行清洗,得到符合

    2024年02月14日
    浏览(29)
  • 【mysql部署】在ubuntu22.04上安装和配置mysql教程

    1. 更新软件包列表: 2.安装 MySQL 服务器: 3.设置 MySQL 安全性: 按照提示输入相关问题的回答,例如删除匿名用户、禁止 root 远程登录等。 这里建议直接输入 y 。 这里根据自己要设置的密码强度自行选择,这里我选择输入 0 。 后面还有几个选项,默认输入 y 就行。 4.启动 M

    2024年03月27日
    浏览(28)
  • 大数据ETL工具对比(Sqoop, DataX, Kettle)

    前言 在实习过程中,遇到了数据库迁移项目,对于数据仓库,大数据集成类应用,通常会采用 ETL 工具辅助完成,公司和客户使用的比较多的是 Sqoop , DataX 和 Kettle 这三种工具。简单的对这三种ETL工具进行一次梳理。 ETL工具,需要完成对源端数据的抽取(exat), 交互转换(

    2024年02月11日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包