一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2

这篇具有很好参考价值的文章主要介绍了一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、目标

Kettle9.2.0在Linux上安装好后,需要与Hive3.1.2数据库建立连接

之前已经在本地上用kettle9.2.0连上Hive3.1.2

二、各工具版本

(一)kettle9.2.0   

kettle9.2.0安装包网盘链接

链接:https://pan.baidu.com/s/15Zq9wNDwyMnc3qFVxYOMXw?pwd=zwae 
提取码:zwae

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

(二)Hive3.1.2 

(三)Hadoop3.1.3

三、前提准备

(一)Kettle9.2.0已在Linux上安装好

(二)注意Kettle9.2里MySQL驱动包的版本以及Hive312里MySQL驱动包的版本

1、Hive312的lib里面MySQL驱动包的版本是mysql-connector-java-5.1.37.jar

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

2、Kettle9.2里MySQL驱动包的版本

mysql-connector-java-5.1.37.jar       ;   mysql-connector-java-8.0.30.jar

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

 四、安装步骤

(一)根据Hadoop版本在选择对应的文件(千万不要随便选!)

 1、文件路径

/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

2、Hadoop版本与文件夹对应规则  

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

3、选择文件,复制文件名(Hadoop版本与文件夹一定要匹配!)

因为我的Hadoop版本是Hadoop3.1.3,所以我选择的文件夹是hdp30

(二)修改kettle里pentaho-big-data-plugin文件夹里的源文件plugin.properties

 1、文件路径

/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

 2、  只要设置       active.hadoop.configuration=hdp30

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

 (三)从我们安装的Hadoop、Hive里拉取需要的文件复制到hdp30的文件夹下(如需要HBase则拉取HBase的 hbase-site.xml)

1、文件路径

/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30

2、主要替换5个文件

Hadoop4个文件:    yarn-site.xml、mapred-site.xml、hdfs-site.xml、core-site.xml

Hive1个文件:         hive-site.xml

结果如下所示
一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

 (四)复制需要的jar包

1、从Hive安装路径的lib目录复制以hive开头的jar包,复制到hdp30\lib文件夹

文件路径:/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30/lib

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

 2、复制Hadoop安装目录下的 hadoop-common-3.1.3.jar到hdp30\lib里

文件路径:/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30/lib

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

3、把hive的安装路径hive312/jdbc里的驱动包复制到 kettle9.2的data-integration\lib文件下

(1)hive312/jdbc里的驱动包文件路径

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

 (2)目标文件路径:/opt/install/kettle9.2/data-integration/lib

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle 

(五)启动Hadoop和Hive服务,打开kettle9.2,连接Hive数据库

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

kettle9.2连接hive312,连接成功! 

(六)执行从Hive到ClickHouse的kettle任务,测试一下

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

kettle任务运行成功! 

(七)注意Hive数据库的中文乱码问题 

解决方法:kettle9.2在配置Hive数据库时在高级模块添加set names utf8;           配置好后测试一下

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2,Kettle,kettle

 

到这里,Linux上安装的Kettle9.2.0连接Hive3.1.2数据库就结束了!

乐于奉献共享,帮助你我他!!!文章来源地址https://www.toymoban.com/news/detail-655272.html

到了这里,关于一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 一百五十二、Kettle——Kettle9.3.0本地连接Hive3.1.2(踩坑,亲测有效)

    由于先前使用的kettle8.2版本在Linux上安装后,创建共享资源库点击connect时页面为空,后来采用如下方法,在/opt/install/data-integration/ui/menubar.xul文件里添加如下代码 menuitem id=\\\"file-openZiyuanku\\\" label=\\\"openZiyuanku\\\" command=\\\"spoon.openRepository()\\\"/ 共享资源库创建后又遇到任务Save时为空的问题。

    2024年02月13日
    浏览(46)
  • 一百五十三、Kettle——Linux上安装的kettle9.3启动后说缺少libwebkitgtk-1.0(真是坑爹啊,刚龟速下载又忍痛卸载)

    在kettle9.3可以在本地连接hive312后,在Linux中安装了kettle9.3,结果启动时报错WARNING:  no libwebkitgtk-1.0 detected, some features will be unavailable 而且如果直接下载libwebkitgtk的话也没有用 [root@hurys22 data-integration]# yum install install libwebkitgtk   [root@hurys22 data-integration]# wget ftp://ftp.pbone.net/mirr

    2024年02月13日
    浏览(50)
  • 一百五十二、Kettle——Kettle9.3.0本地连接Hive3.1.2(踩坑,亲测有效,附截图)

    由于先前使用的kettle8.2版本在Linux上安装后,创建共享资源库点击connect时页面为空,后来采用如下方法,在/opt/install/data-integration/ui/menubar.xul文件里添加如下代码 menuitem id=\\\"file-openZiyuanku\\\" label=\\\"openZiyuanku\\\" command=\\\"spoon.openRepository()\\\"/ 共享资源库创建后又遇到任务Save时为空的问题。

    2024年02月12日
    浏览(38)
  • 一百五十九、Kettle——Kettle9.2通过配置Hadoop clusters连接Hadoop3.1.3(踩坑亲测、附流程截图)

    由于kettle的任务需要用到Hadoop(HDFS),所以就要连接Hadoop服务。 之前使用的是kettle9.3,由于在kettle新官网以及博客百度等渠道实在找不到shims的驱动包,无奈换成了kettle9.2,kettle9.2的安装包里自带了shims的驱动包,不需要额外下载,挺好! kettle9.2.0安装包网盘链接,请看鄙人

    2024年02月12日
    浏览(64)
  • 每天一个数据分析题(一百六十)

    以下关于代码片段(使用sklearn)的使用和PCA(主成分分析)的描述中,哪项是正确的? A. preprocessing.scale(data)用于对数据进行归一化处理,确保PCA分析前各特征处于同一量级。 B. PCA(n_components=9)将数据降维了9个主成分。 C. pca.explained_variance_输出的是降维后各主成分的方差。

    2024年02月20日
    浏览(50)
  • 每天一个数据分析题(一百六十四)

    关于OLAP系统,下列选项不正确的是() A. 是基于数据仓库的信息进行分析处理过程 B. 用户数量相对较少,其用户主要是业务决策人员与管理人员 C. 对响应时间要求非常高。 D. 基础数据来源于生产系统的操作数据,也就是说,OLAP系统的数据来源与OLTP系统。 题目来源于CDA模

    2024年02月22日
    浏览(50)
  • 第一百六十四回 如何实现NumberPicker

    我们在上一章回中介绍了\\\"如何在任意位置显示PopupMenu\\\"相关的内容,本章回中将介绍 如何实现NumberPicker .闲话休提,让我们一起Talk Flutter吧。 我们在本章回中介绍的 NumberPicker 主要用来实现数字选择功能,比如选择年月日,当然也可以使用 YearPicker 实现,不过YearPicer是把年月

    2024年02月07日
    浏览(64)
  • 一百零一、Kettle——Kettle8.2.0本地连接Hive3.1.2(踩坑,亲测有效)

    这是目前遇到的最简单但最头疼的安装,因为是在公司之前用过的服务器上进行安装测试,加上又使用比较新的版本,结果踩了不少坑。Kettle连接Hive这个坑,从2023年4月11日下午开始,一致到2023年4月12日中午才弄好,不得不写篇博客记录一下这段难忘的经历。 真是郁闷了半天

    2024年02月07日
    浏览(48)
  • 一百四十七、Kettle——Linux上安装的kettle8.2连接ClickHouse数据库

    kettle8.2在Linux安装好后,需要与ClickHouse数据库建立连接 https://pan.baidu.com/s/1iqGyXsTaQSCHEbjj7yX7AA 提取码: mvzd   注意 : clickhouse-plugins文件里就是自定义的驱动jar包 注意: 要知道Linux系统架构是64位还是32位, 它们所属的Linux文件夹不同 到这里,Linux安装的kettle8.2就可以与ClickHou

    2024年02月13日
    浏览(66)
  • JAVA面试题分享一百六十三:Kafka如何实现延时推送?

    目录 一、延时队列定义 二、技术实现方案 1. Redis 2. Kafka 3. RabbitMQ 4. RocketMQ 三、Kafka延时队列背景 四、Kafka延时队列实现思路 六、Kafka延时队列架构图 七、kafka延时任务代码实现 1. KafkaDelayQueue:Kafka延迟队列 2. KafkaDelayQueueFactory:Kafka延迟队列工厂 3. KafkaPollListener:Kafka延迟队

    2024年02月04日
    浏览(74)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包