kettle工具下载、安装、数据迁移、定时任务详解

这篇具有很好参考价值的文章主要介绍了kettle工具下载、安装、数据迁移、定时任务详解。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

kettle工具下载、安装、数据迁移、定时任务详解

篇幅有点长,将这五个内容放在了一篇文章里,其中最主要的是数据迁移和定时任务

目录

目录
一、简单介绍
二、下载
三、安装
四、数据迁移:包括单表整体数据迁移,单表存在字段不同情况的数据迁移,简单批量数据迁移
五、定时任务

一、简单介绍

  • kettle 是一个ETL工具,ETL(Extract-Transform-Load,数据抽取、转换、装载);
  • kettle 有两种脚本文件 transformation和 job;transformation 是转换,job 是对多个转换构建的整个工作流的抽象和控制;
  • 数据抽取高效稳定;

二、下载(比较大,慢慢等待)

中文网
下载地址


三、安装

1.解压文件,打开就是下面的“解压后”的文件,我自己的放在了D盘(这个自己决定)
kettle工具下载、安装、数据迁移、定时任务详解

2.配置kettle的环境变量

1》.打开系统属性(直接搜索“环境变量”),点击环境变量
kettle工具下载、安装、数据迁移、定时任务详解

2》.在系统变量中点击“新建”,弹出“编辑系统变量”,输入变量名和变量值(这个是我自己的地址,参考),点击确定

kettle工具下载、安装、数据迁移、定时任务详解

3》点击Path,“新建”,将刚才的变量名映射过去,点击确定,配置完成

kettle工具下载、安装、数据迁移、定时任务详解

3.进入“data-integration”文件夹,找到“Spoon.bat”,双击运行即可(kettle不需要专门安装),可能有点慢,别急等待

kettle工具下载、安装、数据迁移、定时任务详解

4.已经启动

kettle工具下载、安装、数据迁移、定时任务详解


四、数据迁移(单表和批量数据迁移)

现在已经进入到kettle工具,如何使用呢,下面是源库表数据导入数据到目标库的使用,分为单表导入批量导入

这个就是打开的界面

kettle工具下载、安装、数据迁移、定时任务详解

如何将一个库的表数据转到另一个库中,下面分三种迁移方式;
  • 一、数据整体迁移

注意:这里演示的是将一个库A的单个表整体转入到另一个库B中,B库没有要迁移的这张表;还会演示将一个库A的表数据转移到目标库B已有的表中,而这个目标库B的表已经存在,而且有的字段还不一定对应

1.点击文件,新建转换;或者双击如图的转换

kettle工具下载、安装、数据迁移、定时任务详解

2.双击下面的DB连接,弹出数据库连接,选择自己对应的库,填入相对应的内容,可以测试是否连接,点击确定
(我下面的连接时postgres)

  • 注:一个表的话连接一个,两个的话相同操作,名字别搞混,以便后面好操作
    kettle工具下载、安装、数据迁移、定时任务详解
    附上一张mysql连接图
    kettle工具下载、安装、数据迁移、定时任务详解
    3.点击选择核心对象,搜索表输入,表输出;双击显示到工作区,点击某一个按delete或者右键删除步骤也可以删除;
    中间的箭头会直接连接,若没显示连接,可以shift+鼠标左键连接上;也可以点击如下图连接过去;这样他们之间就建立上了连接

    kettle工具下载、安装、数据迁移、定时任务详解
    kettle工具下载、安装、数据迁移、定时任务详解

4.连接以后,就开始导表了,双击表输入;选择你要导出表的数据库连接,获取sql查询语句以及字段,也可以预览表数据;然后点击确定。

kettle工具下载、安装、数据迁移、定时任务详解

5.双击表输出,选择导出表的数据库连接,选择模式,目标表可以选择也可以输入你要导出后的表名,点击sql直接会形成你想要的sql语句,然后执行以一下(若是选择的目标表就不需要执行),执行以后已经自动创建表;点击确定。

kettle工具下载、安装、数据迁移、定时任务详解

6.点击“小三角”,运行,点击启动
kettle工具下载、安装、数据迁移、定时任务详解
7.保存转换的文件,转换成功
kettle工具下载、安装、数据迁移、定时任务详解

注:现在已经将源表导入到目标表,如果报错没有迁移成功,看是否点击执行了sql语句或者保存了转换的文件,保存的文件后缀是.ktr文件

  • 二:数据迁移到已有表

这里演示的将一个库A的表数据转移到目标库B已有的表中,而这个目标库B的表已经存在,而且有的字段还不一定对应

1.现用到的工具如下,可以直接搜索,拖拽到面板上,或者直接点击

kettle工具下载、安装、数据迁移、定时任务详解
2.然后从第一个开始,首先单击第一个模块表输入,如图:
kettle工具下载、安装、数据迁移、定时任务详解
选择第四个带箭头的图标或者shift+鼠标左键,然后会发现有个灰色的箭头随着你的鼠标移动,这时将鼠标移动到第二个模块值映射上,会发现箭头变蓝这时单击第二个模块值映射,会发现表输入和值映射之间多了一个蓝色箭头,有时需要选择主输出步骤。通过这种方式将所有模块串联,如下图:

kettle工具下载、安装、数据迁移、定时任务详解

3.上图就代表了一个完整的表的数据交换,这时我们需要在左侧栏,点击主对象树,然后右击DB连接,选择新建,然后填入你的数据库连接信息,并测试,成功连接后点确认即可新建连接,如图:

kettle工具下载、安装、数据迁移、定时任务详解

4.首先操作的是表输入,顾名思义,表输入代表的就是数据的来源,双击表输入,选择数据库连接,然后写上你要取数据的sql,然后点击预览,可以查看你查找到的数据,这时必须查看数据格式,因为部分字段,如:disabled,数据库中存的是0或1,但通过Kettle查找出来的数据中,disabled为Y或N

kettle工具下载、安装、数据迁移、定时任务详解

5. 如果预览出来数据,说明sql语句是对的,点击值映射,值映射就是将某些值改成另一种值,比如将Y和N映射为1和0。双击值映射,首先选择使用的字段名,然后填上原值和目标值,点击确定即可。如图:

kettle工具下载、安装、数据迁移、定时任务详解

6.点击字段选择,由于数据迁移时,必定很多字段存在差异,那么如何将两张表中的字段一一对应呢,这是就可以通过字段选择将字段的名称修改成我们想要的。首先,双击字段选择,切换到第三个页签:元数据。然后点击右边的获取改变的字段,然后Kettle会将你sql中查询出来的字段一一列出,在改名成那列填上你现表中的字段,类型填上对应的类型,需要注意的是Integer代表Long,Number代表Double,同时,类型也可以不填,但不建议。填完后选择确定。如图:

kettle工具下载、安装、数据迁移、定时任务详解

7.这时,你会发现可能你现在的表中有很多字段是原表中没有的,但这些字段又是不可或缺,不能为空的,那么就需要用到增加常量这个模块了,可以填上名称,类型,长度,值(默认值),然后点击确定。如图:

kettle工具下载、安装、数据迁移、定时任务详解

8. 在完成上部分操作后,基本字段是都可以对上了,但是,有些字段需要一些逻辑的处理,不能直接将取出来的值直接存入现表中,比如有的项目,迁移过来的时候,现表已经存在数据,id就存在重复的现象,把迁移过来的数据id直接改为负值,同时关联的id也要改为负值,这样就可以解决id重复,数据无法迁移的问题,同时关联关系也不会丢掉。
· 这时候就需要用到java代码这个模块了,这里有个问题,Kettle自带的java代码模块不会自动导入jar包,所以建议先在idea中写好代码,然后复制过来,同时需要把导入的jar包复制过来。
· 当然,导入的jar包必须在Kettle的文件夹下的lib文件夹中存在。在写代码的时候,可以在左侧栏中的input fields中双击getValue,这就是取值;在左侧栏中的output fields中双击setValue,这就是赋值。在写代码时,可以点击右下方的测试类来进行测试java代码。所以,java代码模块可以用来进行逻辑的处理,
· 如果不需要,则删掉这个步骤
如图:

kettle工具下载、安装、数据迁移、定时任务详解

9.双击表输出,选择导出表的数据库连接,选择模式,目标表可以选择也可以输入你要导出后的表名,点击sql直接会形成你想要的sql语句,然后执行以一下(若是选择的目标表就不需要执行),执行以后已经自动创建表;点击确定。

kettle工具下载、安装、数据迁移、定时任务详解
10. 点击运行,保存转换的文件即可

  • 三、单个或者批量直接导入

注:这里postgres中只可以迁移源库的public中的数据,其他模式下的会提示找不到

1.点击工具——向导——复制单表向导或者复制多表向导(这里选择的是多表),点击源数据库和目标数据库,点击完成
kettle工具下载、安装、数据迁移、定时任务详解
2.找到源库中你要用的表,中间按钮是迁移,右边会显示你选择的表,点击next
kettle工具下载、安装、数据迁移、定时任务详解
3.填写文件名称,选择要保存的文件夹,点击finish。
kettle工具下载、安装、数据迁移、定时任务详解
4.点击执行,迁移成功
kettle工具下载、安装、数据迁移、定时任务详解


五、定时任务

1.点击文件——新建——作业,如下图:
kettle工具下载、安装、数据迁移、定时任务详解

2.搜索Start和转换功能拖到作业桌面,或者双击,两者之间建立连接(按住Shift+鼠标左键连接,或者双击直接会连接)

kettle工具下载、安装、数据迁移、定时任务详解

3.双击Start,出现弹窗,选择类型,填写需要的时间间隔,数据将会在设置的时间里更新数库的数据,点击确定(找不见确定,拉大点);选择“重复”的话,每次更新会在原有的基础上叠加数据

kettle工具下载、安装、数据迁移、定时任务详解

4.双击“转换”,填写转换后的文件名称,点击浏览,选择要做定时任务的.ktr文件(浏览不了,直接将文件路径粘贴过来),点击确定(这里的.ktr文件就是刚才做数据迁移后保存的文件)

kettle工具下载、安装、数据迁移、定时任务详解

5.点击执行,保存转换文件,执行成功;目前定时任务就做好了;数据库里的表数据会按照你设置的时间间隔进行数据刷新
(这里只是做了一张表的定时任务哦!)
*注:如果报错,要看自己选择的.ktr文件是否正确,并且是否保存的要转换的文件*

kettle工具下载、安装、数据迁移、定时任务详解
6.做了定时任务后,此软件不可关闭,关闭后定时任务将不再执行,切记哦!


参考:数据迁移

希望可以帮助到您

~感谢您的光临~

kettle工具下载、安装、数据迁移、定时任务详解文章来源地址https://www.toymoban.com/news/detail-456390.html

到了这里,关于kettle工具下载、安装、数据迁移、定时任务详解的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 微信开发者工具下载安装教程

    微信小程序账号注册登录 微信开发者工具的下载和安装 小程序创建项目 微信小程序账号注册登录 下载地址: 官网:https://mp.weixin.qq.com/cgi-bin/wx 或者其他网盘资源,建议走官网,下载安装耗时不多。 ①点击前往注册 ②按照步骤进行账号注册或已有账号点击右上角“立即登录

    2024年02月06日
    浏览(78)
  • perl下载与安装教程【工具使用】

    Perl是一个高阶程式语言,由 Larry Wall和其他许多人所写,融合了许多语言的特性。它主要是由无所不在的 C语言,其次由 sed、awk,UNIX shell 和至少十数种其他的工具和语言所演化而来。Perl对 process、档案,和文字有很强的处理、变换能力, 所以用到Perl语言写的库的时候需要先

    2024年02月11日
    浏览(36)
  • VisualVM工具的下载及插件安装

    VisualVM作为GitHub的独立工具分发,并作为GraalVM的可选组件分发。两者都是具有相同功能的相同位。独立工具在任何兼容的JDK上运行,捆绑工具配置为使用主机GraalVM运行。 VisualVM也作为Java VisualVM在Oracle JDK 6~8中分发。它已在Oracle JDK 9中停产。请参阅升级 Java VisualVM 页面,了解如

    2024年02月12日
    浏览(43)
  • Fiddler 抓包工具下载安装基本使用(详)

             在做软件测试或者Bug定位的时候会用到一些抓包工具,当然抓包工具还要一些其他用途可以做一些API的抓取,那么本篇内容就来讲 Fiddler 抓包工具的下载安装以及如何来实际的应用。讲了这些可能有的读者还不知道这个\\\"Fiddler\\\"怎么读呢?读 \\\"非的了\\\" 。那下面先来了

    2024年02月05日
    浏览(55)
  • 至尊宝工具箱 - 电商运营选品必备工具下载安装详细教程

    至尊宝插件是一款电商网络浏览插件,能够帮助店主更好地运营自己的网店,这款插件功能十分全面强大,可以实现搜主图、快速商家商品、优化商品标题等,通过帮助店家增加曝光量来增效销售,感兴趣的朋友快来体验。 1、首先我们先下载该插件 下载链接:https://www.her

    2023年04月18日
    浏览(82)
  • LINUX 抓包工具Tcpdump下载安装

    官网地址:https://www.tcpdump.org/ 百度网盘地址: 链接:https://pan.baidu.com/s/12EPV0alwzz3_wGuT1Swv2g 提取码:pyck 由于tcpdump依赖libpcap因此两个安装包都需要下载 2.2.1 缺少gcc 环境 错误一:configure: error: no acceptable C compiler found in $PATH 解决:安装gcc 2.2.2 缺少flex bison 错误:configure: error:

    2024年02月03日
    浏览(91)
  • MobaXterm网络远程工具介绍下载安装破解使用

    obaXterm 是远程计算机的工具箱。在单个 Windows 应用程序中,它提供了大量为程序员、网站管理员、IT 管理员量身定制的功能。 MobaXterm 为 Windows 桌面提供了重要的远程网络工具(SSH、X11、RDP、VNC、FTP、MOSH 等)和Unix 命令(bash、ls、cat、sed、grep、awk、rsync 等)。 远程任务使用

    2024年02月12日
    浏览(49)
  • 下载、安装CAN-EYE植被参数工具

      本文介绍 植被指数计算 软件 CAN-EYE 的下载、安装方法。    CAN-EYE 软件是由法国国家农业研究院(French National Institute of Agricultural Research,INRA)下属的EMMAH实验室(Mediterranean Environment and Agro-hydro System Modelling)开发的免费软件,用以从鱼眼镜头、普通镜头所拍摄的真彩

    2024年02月08日
    浏览(37)
  • 使用OfficeDeploymentTool工具离线下载安装Office

    OfficeDeploymentTool(ODT)是一款命令行工具,可以使用它下载并将 Microsoft 365 应用版部署到客户端计算机。ODT可以更好地控制Office 安装:可以定义要安装哪些产品和语言、应该如何更新这些产品以及是否向用户显示安装体验。 从 Microsoft 下载中心下载Office部署工具。这将得到一

    2024年02月04日
    浏览(51)
  • MinGW-w64:VScode编译工具下载安装配置教程

     MinGW-w64官网页面链接:MinGW-w64 MinGW,是 Minimalist  GNU  for Windows 的缩写。它是一个可自由使用和自由发布的Windows特定头文件和使用GNU工具集导入库的集合,允许你在GNU/Linux和Windows平台生成本地的Windows程序而不需要第三方C运行时(C Runtime)库。MinGW 是一组包含文件和端口库

    2024年02月05日
    浏览(71)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包