1. Toy模板网首页
  2. > Toy博客

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2

7月前 作者：天地风雷水火山泽 分类：Toy博客 阅读(51) 违法举报

这篇具有很好参考价值的文章主要介绍了一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、目标

Kettle9.2.0在Linux上安装好后，需要与Hive3.1.2数据库建立连接

之前已经在本地上用kettle9.2.0连上Hive3.1.2

二、各工具版本

（一）kettle9.2.0   

kettle9.2.0安装包网盘链接

链接：https://pan.baidu.com/s/15Zq9wNDwyMnc3qFVxYOMXw?pwd=zwae 
提取码：zwae

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

（二）Hive3.1.2 

（三）Hadoop3.1.3

三、前提准备

（一）Kettle9.2.0已在Linux上安装好

（二）注意Kettle9.2里MySQL驱动包的版本以及Hive312里MySQL驱动包的版本

1、Hive312的lib里面MySQL驱动包的版本是mysql-connector-java-5.1.37.jar

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

2、Kettle9.2里MySQL驱动包的版本

mysql-connector-java-5.1.37.jar       ；   mysql-connector-java-8.0.30.jar

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

 四、安装步骤

（一）根据Hadoop版本在选择对应的文件（千万不要随便选！）

 1、文件路径

/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

2、Hadoop版本与文件夹对应规则  

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

3、选择文件，复制文件名（Hadoop版本与文件夹一定要匹配！）

因为我的Hadoop版本是Hadoop3.1.3，所以我选择的文件夹是hdp30

（二）修改kettle里pentaho-big-data-plugin文件夹里的源文件plugin.properties

 1、文件路径

/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

 2、  只要设置       active.hadoop.configuration=hdp30

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

 （三）从我们安装的Hadoop、Hive里拉取需要的文件复制到hdp30的文件夹下（如需要HBase则拉取HBase的 hbase-site.xml）

1、文件路径

/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30

2、主要替换5个文件

Hadoop4个文件：    yarn-site.xml、mapred-site.xml、hdfs-site.xml、core-site.xml

Hive1个文件：         hive-site.xml

结果如下所示
一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

 （四）复制需要的jar包

1、从Hive安装路径的lib目录复制以hive开头的jar包，复制到hdp30\lib文件夹

文件路径：/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30/lib

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

 2、复制Hadoop安装目录下的 hadoop-common-3.1.3.jar到hdp30\lib里

文件路径：/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30/lib

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

3、把hive的安装路径hive312/jdbc里的驱动包复制到 kettle9.2的data-integration\lib文件下

（1）hive312/jdbc里的驱动包文件路径

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

 （2）目标文件路径：/opt/install/kettle9.2/data-integration/lib

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle 

（五）启动Hadoop和Hive服务，打开kettle9.2，连接Hive数据库

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

kettle9.2连接hive312，连接成功！ 

（六）执行从Hive到ClickHouse的kettle任务，测试一下

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

kettle任务运行成功！ 

（七）注意Hive数据库的中文乱码问题 

解决方法：kettle9.2在配置Hive数据库时在高级模块添加set names utf8;           配置好后测试一下

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

 

到这里，Linux上安装的Kettle9.2.0连接Hive3.1.2数据库就结束了！

乐于奉献共享，帮助你我他！！！文章来源地址https://www.toymoban.com/news/detail-655272.html

到了这里，关于一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 一百五十二、Kettle——Kettle9.3.0本地连接Hive3.1.2(踩坑，亲测有效)

    一百五十二、Kettle——Kettle9.3.0本地连接Hive3.1.2(踩坑，亲测有效)

    由于先前使用的kettle8.2版本在Linux上安装后，创建共享资源库点击connect时页面为空，后来采用如下方法，在/opt/install/data-integration/ui/menubar.xul文件里添加如下代码 menuitem id=\\\"file-openZiyuanku\\\" label=\\\"openZiyuanku\\\" command=\\\"spoon.openRepository()\\\"/ 共享资源库创建后又遇到任务Save时为空的问题。

    2024年02月13日
    浏览(33)
  • 一百五十三、Kettle——Linux上安装的kettle9.3启动后说缺少libwebkitgtk-1.0（真是坑爹啊，刚龟速下载又忍痛卸载）

    一百五十三、Kettle——Linux上安装的kettle9.3启动后说缺少libwebkitgtk-1.0（真是坑爹啊，刚龟速下载又忍痛卸载）

    在kettle9.3可以在本地连接hive312后，在Linux中安装了kettle9.3，结果启动时报错WARNING:  no libwebkitgtk-1.0 detected, some features will be unavailable 而且如果直接下载libwebkitgtk的话也没有用 [root@hurys22 data-integration]# yum install install libwebkitgtk   [root@hurys22 data-integration]# wget ftp://ftp.pbone.net/mirr

    2024年02月13日
    浏览(35)
  • 一百五十二、Kettle——Kettle9.3.0本地连接Hive3.1.2(踩坑，亲测有效，附截图)

    一百五十二、Kettle——Kettle9.3.0本地连接Hive3.1.2(踩坑，亲测有效，附截图)

    由于先前使用的kettle8.2版本在Linux上安装后，创建共享资源库点击connect时页面为空，后来采用如下方法，在/opt/install/data-integration/ui/menubar.xul文件里添加如下代码 menuitem id=\\\"file-openZiyuanku\\\" label=\\\"openZiyuanku\\\" command=\\\"spoon.openRepository()\\\"/ 共享资源库创建后又遇到任务Save时为空的问题。

    2024年02月12日
    浏览(29)
  • 一百五十九、Kettle——Kettle9.2通过配置Hadoop clusters连接Hadoop3.1.3（踩坑亲测、附流程截图）

    一百五十九、Kettle——Kettle9.2通过配置Hadoop clusters连接Hadoop3.1.3（踩坑亲测、附流程截图）

    由于kettle的任务需要用到Hadoop（HDFS），所以就要连接Hadoop服务。 之前使用的是kettle9.3，由于在kettle新官网以及博客百度等渠道实在找不到shims的驱动包，无奈换成了kettle9.2，kettle9.2的安装包里自带了shims的驱动包，不需要额外下载，挺好！ kettle9.2.0安装包网盘链接，请看鄙人

    2024年02月12日
    浏览(39)

  • 每天一个数据分析题（一百六十）

    以下关于代码片段（使用sklearn）的使用和PCA（主成分分析）的描述中，哪项是正确的？ A. preprocessing.scale(data)用于对数据进行归一化处理，确保PCA分析前各特征处于同一量级。 B. PCA(n_components=9)将数据降维了9个主成分。 C. pca.explained_variance_输出的是降维后各主成分的方差。

    2024年02月20日
    浏览(32)

  • 每天一个数据分析题（一百六十四）

    关于OLAP系统，下列选项不正确的是（） A. 是基于数据仓库的信息进行分析处理过程 B. 用户数量相对较少，其用户主要是业务决策人员与管理人员 C. 对响应时间要求非常高。 D. 基础数据来源于生产系统的操作数据，也就是说，OLAP系统的数据来源与OLTP系统。 题目来源于CDA模

    2024年02月22日
    浏览(38)
  • 第一百六十四回 如何实现NumberPicker

    第一百六十四回 如何实现NumberPicker

    我们在上一章回中介绍了\\\"如何在任意位置显示PopupMenu\\\"相关的内容，本章回中将介绍 如何实现NumberPicker .闲话休提，让我们一起Talk Flutter吧。 我们在本章回中介绍的 NumberPicker 主要用来实现数字选择功能，比如选择年月日，当然也可以使用 YearPicker 实现，不过YearPicer是把年月

    2024年02月07日
    浏览(46)
  • 一百零一、Kettle——Kettle8.2.0本地连接Hive3.1.2(踩坑，亲测有效)

    一百零一、Kettle——Kettle8.2.0本地连接Hive3.1.2(踩坑，亲测有效)

    这是目前遇到的最简单但最头疼的安装，因为是在公司之前用过的服务器上进行安装测试，加上又使用比较新的版本，结果踩了不少坑。Kettle连接Hive这个坑，从2023年4月11日下午开始，一致到2023年4月12日中午才弄好，不得不写篇博客记录一下这段难忘的经历。 真是郁闷了半天

    2024年02月07日
    浏览(35)
  • 一百四十七、Kettle——Linux上安装的kettle8.2连接ClickHouse数据库

    一百四十七、Kettle——Linux上安装的kettle8.2连接ClickHouse数据库

    kettle8.2在Linux安装好后，需要与ClickHouse数据库建立连接 https://pan.baidu.com/s/1iqGyXsTaQSCHEbjj7yX7AA 提取码: mvzd   注意 ： clickhouse-plugins文件里就是自定义的驱动jar包 注意： 要知道Linux系统架构是64位还是32位， 它们所属的Linux文件夹不同 到这里，Linux安装的kettle8.2就可以与ClickHou

    2024年02月13日
    浏览(50)

  • JAVA面试题分享一百六十二：Kafka消息重复消费问题？

    消息重复消费的根本原因都在于：已经消费了数据，但是offset没有成功提交。 其中很大一部分原因在于发生了再均衡。 1）消费者宕机、重启等。导致消息已经消费但是没有提交offset。 2）消费者使用自动提交offset，但当还没有提交的时候，有新的消费者加入或者移除，发生

    2024年02月03日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包