kettle使用过程记录(详细)

这篇具有很好参考价值的文章主要介绍了kettle使用过程记录(详细)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

话不多说上干货 

下载地址
https://sourceforge.net/projects/pentaho/files/

下载所需要的安装版本

kettle使用过程记录(详细)

 下载好后解压到本地  kettle是支持linux与windows的

windows安装解压后生成

kettle使用过程记录(详细)

这里需要注意  有的人说Spoon.bat配置中的参数不修改可能会出现卡死的状况,所以我也进行了修改(这里描述下  我并没有出现卡死的状况)

kettle使用过程记录(详细)

然后运行data-integration文件夹中的Spoon.bat

kettle使用过程记录(详细)

这时候就会启动

kettle使用过程记录(详细)

 当然启动kettle后使用起来会出现常见的报错

 创建连接数据库(mysql为例) 

例如 :

Driver class 'org.gjt.mm.mysql.Driver' could not be found, make sure the 'MySQL' driver (jar file) is installed.
org.gjt.mm.mysql.Driver

kettle使用过程记录(详细)

 这个报错的原因是因为当前的kettle目录下没有需要连接的数据库驱动,所以我们需要下载一个驱动放到他的lib包里重新启动即可,我创建的是mysql连接所以需要mysql连接驱动,我选择的是

mysql-connector-java-8.0.28.jar

kettle使用过程记录(详细)

放入lib包下即可,这里可能有小伙伴找不到这个驱动所以我把下载方式也贴出来

MySQL :: Download MySQL Connector/J (Archived Versions)

kettle使用过程记录(详细)

 将下载好的jar解压放到\data-integration\lib\的目录下就可以了

这是后去创建数据库连接  可能会报这样的错误

Connection failed. Verify all connection parameters and confirm that the appropriate driver is installed.
Communications link failure

The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.

kettle使用过程记录(详细)

 原因是因为没有选择相应的配置

在选项中新增useSSL=false即可

kettle使用过程记录(详细)

 然后返回主页测试链接成功

kettle使用过程记录(详细)

然后我们可以做一个小测试

创建一个输入表,创建一个输出表两个进行关联

kettle使用过程记录(详细)

 原始数据可以用sql来指定你所需要筛选的内容,然后对应到你需要数据迁移的表中,表与表之间的字段必须两两对应

kettle使用过程记录(详细)

 kettle使用过程记录(详细)

 然后启动转化  生成一个转化文件保存好.ktr结尾

 kettle使用过程记录(详细)

大概就是这样一个流程 ,然后去看你需要转移的表中数据是否新增成功就可以了。

以上就是在windows上的操作流程。

在linux上去操作同样简单

把我们之前下载好的安装包转移到所需要的目录下

kettle使用过程记录(详细)

 记住  数据库连接驱动也要放在lib里面  否则会出问题。

然后进入 data-integration目录下给文件赋予权限

chmod 777 kitchen.sh
chmod 777 import.sh
chmod 777 spoon.sh

然后在linux下启动kettle

./kitchen.sh


会出现这样的报错

报错java.lang.UnsatisfiedLinkError: Could not load SWT library. Reasons。

说明缺少可以加载lib包的环境,这也可能是导致无法读取到xml数据库配置的原因。
 

WARNING:  no libwebkitgtk-1.0 detected, some features will be unavailable
    Consider installing the package with apt-get or yum.
    e.g. 'sudo apt-get install libwebkitgtk-1.0-0'

根据提示完成libwebkitgtk的安装。
在centos版本中使用的命令为:

yum install epel-release
yum install webkitgtk

或者手动下载

yum -y install gtk2.i686 gtk2-engines.i686 PackageKit-gtk-module.i686 PackageKit-gtk-module.x86_64 libcanberra-gtk2.x86_64 libcanberra-gtk2.i686

然后继续执行./kitchen.sh

kettle使用过程记录(详细)

 证明安装成功了

然后把你在windows上创建的转化拉到你的linux服务器上的相应位置上

在data-integration目录下执行

./pan.sh -file=/kettle/kjb/test.ktr

然后去看你的数据库是否有新增  如果有的话 说明ktr也生效了  是ok的

那么接下来  假如你有一个场景是需要定时执行这个转化的  可以做一个.sh脚本

touch test.sh

vim test.sh

#!/bin/bash
export JAVA_HOME=/analysisTools/jdk1.8.0_261
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:/$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

TIME=$(date "+%Y%m%d")
/kettle/data-integration/pan.sh -file=/kettle/kjb/test.ktr >> /kettle/kettle.log &

脚本中需要引入java环境变量

然后给你的脚本赋予执行权限

chmod 777 test.sh

然后./test.sh执行,检查是否成功,成功则加入linux定时器

crontab -e

添加你的定时任务
#每天凌晨0点10分执行 10 0 * * *
10 0 * * * /bin/sh /kettle/test.sh

然后重启定时器配置

systemctl reload crond.service  //重新载入配置
systemctl status crond.service   //查看状态

这样就可以实现定时任务了文章来源地址https://www.toymoban.com/news/detail-401941.html

到了这里,关于kettle使用过程记录(详细)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 又开发好一个系统,详细记录软著申请过程

    大家好,我是小悟 又开发好一个系统,详细记录软著申请过程 经过几个通宵达旦的撸代码之后,又开发好了一个系统,和以往一样,系统开发好了少不了申请软件著作权证书,兄弟们,软著申请搞起来啊。 在版权保护中心后台提交资料,没有账号的需要先注册一个账号。很

    2024年02月04日
    浏览(39)
  • 记录CentOS7 Linux下安装MySQL8_适合正式环境_干货满满(超详细,默认开启了开机自启动,设置表名忽略大小写,提供详细配置,创建非root专属远程连接用户)

    安装前先清理mariadb和mysql相关文件:    通过命令: rpm -qa|grep mariadb 查询是否安装了mariadb    卸载: rpm -e --nodeps mariadb-libs-5.5.68-1.el7.x86_64(复制上面命令查到的完整名称)    通过命令: find / -name mysql 查询跟mysql相关的文件     删除文件命令:    rm -rf /etc/selinux/targeted/act

    2024年02月04日
    浏览(49)
  • 【基于Ubuntu20.04的Autoware.universe安装过程】方案三:Docker | 详细记录 | 全过程图文 by.Akaxi

    目录 一、Autoware.universe背景 二、安装说明 三、安装git 四、克隆autoware 五、安装cuda 六、安装Docker软件 七、安装Nvidia Container Toolkit 八、安装Rocker 九、拷贝Autoware的Docker镜像 十、创建autoware_map文件夹 十一、启动docker 十二、源码拷贝 十三、安装依赖 十四、编译Autoware.universe 十

    2024年04月10日
    浏览(65)
  • 【基于Ubuntu20.04的Autoware.universe安装过程】方案二:双系统 | 详细记录 | 全过程图文 by.Akaxi

    目录 一、Autoware.universe背景 Part-1:安装双系统教程 二、查看Windows引导方式 三、制作安装盘 四、设置电脑配置 1.关闭bitlocker 2.压缩硬盘分区 3.关闭Secure Boot 4.关闭intel RST 5.BIOS设置U盘引导 五、安装Ubuntu20.04 1.ventoy引导 2.安装配置 3.安装类型 4.完成安装 Part-2:在Ubuntu20.04上安装

    2024年04月11日
    浏览(63)
  • Ubuntu 22.04从零开始安装Openpcdet 0.6.0——详细记录过程(含4090+CUDA11.8)

    A、云平台安装和本地安装的差异: 之前在几个 云平台 上的1w算力豆已经用光了,所以这次本地选择 本地安装Pcdet 。 两者安装过程 有很大差异,因为 九天毕昇云平台 使用的是CUDA10.1,且没办法改动,导致pcdet 只能安装0.3.2,且只能选择较低的版本的第三方库:torch1.6.0,sp

    2024年02月16日
    浏览(50)
  • 关于Kettle ETL java脚本编写遇到的一些问题记录

    使用方法**logBasic()**参数必须是字符串 这部分内容会在ETL的日志窗口显示 1.获取上个节点传输的数据 可以直接在左侧双击获取 2.全局参数获取 在启动运行的变量设置参数 在java代码中获取方式 3.获取当前节点参数 在当前窗口下方有个 参数 Tab页,在这里设置 在java代码中获取

    2024年02月12日
    浏览(41)
  • 纯小白新人菜鸟第一次unity VR项目与matlab联动调试过程记录超详细版本2023.3.12

    本人是个超级菜鸟,因为项目需要用到unity、matlab并且实现两者联动,才刚开始接触Unity、Matlab,以前只有一点C/C++和Java基础(好几年前学的,只会加减乘除、连dll是什么都不懂),花了好几天时间根据网上、文献里的各种教程,踩了很多无法言说的小白坑,特此把过程中遇到

    2023年04月22日
    浏览(46)
  • Java使用javacv处理视频文件过程记录

    最近接到一个需求是将.mp4/.m4v文件体积进行压缩,我使用javacv中的FFmpegFrameGrabber、FFmpegFrameFilter、FFmpegFrameRecorder简单的实现视频帧的抓取、过滤、录制与输出。 性能暂未验证。文章对这次的过程进行记录。 1.jdk的选择 mcr.microsoft.com/java/jdk:8u222-zulu-centos 2.maven依赖 3.实现过程

    2024年04月15日
    浏览(37)
  • 记录一下Unity使用过程中出现的问题

    1.(2022.3.16) 问题:Unity打开已存在的项目时,一直停留在Hold on... Importing assests界面。 原因及解决方案:Unity Hub中项目设置的默认位置带有中文,将其修改为不含中文的路径即可。 (更新) 重新打开又出现类似问题,一使用VS进行脚本编辑时再次出现加载框,尝试先打开V

    2024年02月08日
    浏览(51)
  • 如何使用IDEA创建Servlet程序(不多说一句废话版~)

    说一下现在创建Servlet或Web项目和之前(Eclipse)的主要区别,之前是直接创建,现在是先要创建Java项目,再通过添加支持框架变成Servlet或Web项目。 废话不多说,回归主题,开干: 在创建的空项目的基础上,File-New-Module… Java-Module SDK-Next。 起个模块名-Finish。 鼠标在项目名上

    2023年04月08日
    浏览(78)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包