hadoop3 使用sqoop 1.4.7 解决方案

这篇具有很好参考价值的文章主要介绍了hadoop3 使用sqoop 1.4.7 解决方案。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。



前言

sqoop功能已经非常完善了,没有什么可以更新的了,官方停止更新维护了。因此官方集成的hadoop包停留在了2.6.0版本,在hadoop3.3.0版本会提示类版本过低错误,但纯净版sqoop有缺少必须的第三方库,所以将这两个包下载下来,提取部分sqoop_hadoop2.6.0版本的jar包放到纯净版sqoop的lib目录下,在sqoop配置文件中加入获取当前环境中的hive及hadoop的lib库来使用.


一、sqoop官方停止更新维护

官方停止了更新和维护,hadoop支持的版本停留在了hadoop2.6,hadoop升级到3之后用不了sqoop,百度了许久没有找到教程,通过查阅官方文档找到了解决方法。

二、hadoop3安装使用方法

1.下载sqoop1.4.7两个版本

http://archive.apache.org/dist/sqoop/1.4.7

​下载这两个文:

sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz # 只用到里面的jar包
sqoop-1.4.7.tar.gz # 上传到服务器

我这里finalshell为例,本地虚拟机环境centos7+hadoop3.3.1+hive3.1.2
将sqoop-1.4.7.tar.gz上传到/export/server/目录,并解压

2.提取sqoop-1.4.7.bin__hadoop-2.6.0.tar压缩包里的部分jar包

提取sqoop-1.4.7.jar放到sqoop-1.4.7根目录,正常纯净版sqoop是没有这个jar包的

hadoop3 使用sqoop 1.4.7 解决方案
提取lib目录下的这三个必须的jar包放到sqoop-1.4.7/lib/目录下,正常纯净版sqoop的lib目录下是没有文件的。
hadoop3 使用sqoop 1.4.7 解决方案
其余的jar包我们不用导入,其余的从本地环境里的hadoop和hive中引用即可。

2.添加sqoop配置信息,引用hadoop,hive的lib库

打开sqoop-1.4.7/conf 目录下的sqoop-env.sh文件追加如下信息,因为我是finalshell工具,图标是windows的,这个不要误会,所有操作是在linux。
其中HADOOP_COMMON_HOME HADOOP_MAPRED_HOME 环境变量要写你自己的hadoop目录地址
hive的HIVE_HOME HIVE_CONF_DIR同样要写你自己的hive目录地址
最后一条是引用你hive里的lib库

export HADOOP_COMMON_HOME=/export/server/hadoop-3.3.0
export HADOOP_MAPRED_HOME=/export/server/hadoop-3.3.0
export HIVE_HOME=/export/server/apache-hive-3.1.2-bin
export HIVE_CONF_DIR=/export/server/apache-hive-3.1.2-bin/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*

hadoop3 使用sqoop 1.4.7 解决方案


总结

sqoop功能是非常完善的,兼容性也很好。但是hadoop3版本没有官方的集成jar包版本,所以我通过阅读sqoop的官方文档,解决了如何在配置hadoop3版本的sqoop。核心就两点,从集成包里获取必须的jar包,其余必须的jar包从hadoop和hive中引用即可。sqoop官方地址:https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html?spm=a2c63.p38356.0.0.7ffe76db8MdNDv#_syntax文章来源地址https://www.toymoban.com/news/detail-442689.html

到了这里,关于hadoop3 使用sqoop 1.4.7 解决方案的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop HDFS:海量数据的存储解决方案

    在大数据时代,数据的存储与处理成为了业界面临的一大挑战。Hadoop的分布式文件系统(Hadoop Distributed File System,简称HDFS)作为一个高可靠性、高扩展性的文件系统,提供了处理海量数据的有效解决方案。本文将深入探讨HDFS的设计原理、架构组成、核心功能以及实际应用场

    2024年04月23日
    浏览(43)
  • Hadoop的DataNode无法启动的解决方案

    Hadoop重启一次,里面的数据需要重新导入,发现无法导入数据,查看jps发现是DataNode没有启动,重新启动发现也无法启动,原因是前面重新启动NameNode,里面的文件格式化一次,DataNode的文件不一致,需要删除,现给出以下解决方案: 停止所有服务 查询datanode的文件路劲 3. 删

    2024年02月12日
    浏览(42)
  • hadoop namenode格式化错误以及启动不了解决方案

    重启虚拟机,启动Zookeeper和journalnode 启动三台机器的zookeeper 和 journalnode 第一次格式化namenode时报错,namennode可能会自动进入了安全模式,所以需要关闭安全模式 重新格式化 需要先关闭所有服务 查看配置文件是否有错误 然后删除tmp文件,并重新格式化namenode,tmp文件查看co

    2024年02月11日
    浏览(52)
  • ClickHouse 与 Hadoop 整合: 大数据分析与集成解决方案

    大数据技术在过去的几年里已经成为企业和组织中最重要的技术之一。随着数据的规模和复杂性的增加,传统的数据库和数据处理技术已经不能满足需求。因此,新的数据处理技术和系统必须被开发出来以满足这些需求。 ClickHouse 和 Hadoop 是两个非常受欢迎的大数据技术。C

    2024年02月20日
    浏览(46)
  • hadoop集群slave节点jps后没有datanode解决方案

    这个问题是重复格式化造成的,重复格式化namenode造成datanode中的VERSION文件中clusterID与主节点的不一致。 1.关闭集群 2.找到安装hadoop的文件夹,我的是(/usr/local/hadoop)再找到里面的tmp/dfs/name/current,打开VERSION查看并复制clusterID的内容。 操作:在master里输入命令 3.切换到slave节点,

    2024年02月11日
    浏览(61)
  • hadoop集群启动master节点jps后没有namenode解决方案

    启动集群jps后出现: 1.关闭集群 2.切换到hadoop的目录下将logs与tmp文件与内容删除并创建新的logs 3.重新格式化namenode 4.重新启动后集群

    2024年02月08日
    浏览(45)
  • 关于unbuntu启动hadoop时报错org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block的解决方案

    虚拟机安装 Hadoop 3.1.3,并运行了 HDFS 将网上查询到的资料的所有解决方法都试了一遍,下面这个解决方案成功解决了我的问题。 启动HDFS后,执行统计词频实例wordcount时,显示Block受损。 异常信息 查看受损模块 运行代码: hadoop fsck /你的path 将报错中file后面的路径粘贴过来即

    2024年02月08日
    浏览(42)
  • Hadoop内hive之间,hive与DB、ES等之间数据交互的问题与解决方案

    之前做大数据处理,经常遇到各种问题。很多时候是项目作业简单项配置问题,也可能是导入导出参数配置的问题,也可能是公司Hadoop平台的问题。那么如何排查问题,解决问题?这种事情,除了自己要积累一些大数据的知识和技能外,也需要一些获得一些排查问题的技巧、

    2024年02月01日
    浏览(48)
  • HBase伪分布式配置下,报错:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing的解决方案

    今天在使用HBase Java API编程实践时发现出现报错,同样在创建表和查看HBase集群状态信息时也出现报错,以下是错误截图: 这是由于HBase的主节点正在初始化过程中,无法处理请求。通常发生在启动HBase集群或进行主节点故障转移时。HBase主节点在启动或重启时需要一些时间来

    2024年02月05日
    浏览(46)
  • Hadoop常见错误及解决方案、Permission denied: user=dr.who, access=WRITE, inode=“/“:summer:supergroup:drwxr-xr-x

    INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 2)主机名称配置错误 3)IP地址配置错误 4)ssh没有配置好 5)root用户和summer两个用户启动集群不统一 6)配置文件修改不细心 解决办法: (1)在/etc/hosts文件中添加192.168.159.102 hadoop102 (2)主机名称不要起hadoo

    2023年04月08日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包