Sqoop 安装配置(超详细)

这篇具有很好参考价值的文章主要介绍了Sqoop 安装配置(超详细)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

集群其它生态安装与配置:

  • Hadoop 完全分布式搭建(超详细)

  • Hive 搭建(将 MySQL 作为元数据库)

  • Spark 集群搭建(多种方式)

  • Hudi 0.12.0 搭建——集成 Hive3.1 与 Spark3.2

1.下载

Sqoop 安装包下载地址:Sqoop 官网

Sqoop 安装配置(超详细)

选择自己集群合适的版本。

2.解压

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/module/

改个名称:

cd /opt/module
mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7

3.添加环境变量

vi /etc/profile

# 在文件末尾添加

#SQOOP_HOME
export SQOOP_HOME=/opt/module/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin

保存退出,使环境变量立即生效 source /etc/profile

4.配置 Sqoop 环境变量文件

1.切换到 Sqoop 配置文件目录

cd $SQOOP_HOME/conf

2.复制 Sqoop 环境变量模板文件

cp sqoop-env-template.sh sqoop-env.sh 

3.编辑文件,指定相关路径

vi sqoop-env.sh

配置如下,根据自己的集群情况来看。

Sqoop 安装配置(超详细)

我没有装 HBase 和 Zookeper,所以只指定了 HADOOP 和 Hive 的路径,注意删掉前面的符号 # ,否则会被认为是一行注释。

Sqoop 安装配置(超详细)

5. MySQL 驱动

拷贝 MySQL 驱动到 Sqoop 中的 lib 目录中。

cp /opt/software/mysql-connector-java-5.1.37-bin.jar $SQOOP_HOME/lib

6. 拷贝 Hive 文件

为了后续方便操作 Hive,我们需要将 Hive 的驱动放入 Sqoop 的 lib 目录中。

cp hive-3.1.2/lib/hive-common-3.1.2.jar sqoop-1.4.7/lib/

7.验证

输入 sqoop version,出现如下版本信息表示安装成功。

Sqoop 安装配置(超详细)

现在来测试功能是否可以正常使用:

展示 MySQL 中 sys 库下的所有表。

sqoop list-tables \
--connect jdbc:mysql://localhost:3306/sys \
--username root \
--password 000000

注意改成你自己的数据库连接信息。

Sqoop 安装配置(超详细)

能查出表数据并且无报错则正常。

至此,我们的 Sqoop 就已经安装完成啦。

8.去除警告信息

使用 Sqoop 时的一些警告信息真令人头大,我们可以手动去关闭掉这些警告信息。

# 切换到 Sqoop 目录
cd $SQOOP_HOME/bin

# 编辑文件
vi configure-sqoop

注释如下内容:

Sqoop 安装配置(超详细)

再次输入 sqoop version 查看:

Sqoop 安装配置(超详细)

瞬间就舒服多了,哈哈哈。

9. Sqoop 学习

推荐看这位大佬总结的,个人觉得很详细:Sqoop基本原理及常用方法。文章来源地址https://www.toymoban.com/news/detail-411287.html

到了这里,关于Sqoop 安装配置(超详细)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop生态圈中的数据同步工具SQOOP

    ) 在大部分常见的软件中,比如淘宝、拼多多…,网站都会产生大量的数据 电商网站:订单数据、商品数据、分类数据、用户信息数据、用户行为数据等等 课程网站:订单数据、视频数据、课程数据、用户信息数据等等 … 虽然说不同领域的数据格式和数据含义不一样,但是

    2024年02月07日
    浏览(53)
  • 【头歌】Sqoop的安装与配置 - 详解

    【提示】 点击每一关 参考答案 可以快速复制。 目录 第1关:Sqoop的安装与配置 任务描述 相关知识 编程要求 测试说明 参考答案 本关任务:安装并配置 Sqoop ,用 Sqoop 查看 Mysql 中的数据库。 为了完成本关任务,你需要掌握: 1、 Sqoop 基本安装。 2、 Sqoop 配置。 注意 :本关

    2024年02月08日
    浏览(50)
  • RabbitMQ:概念和安装,简单模式,工作,发布确认,交换机,死信队列,延迟队列,发布确认高级,其它知识,集群

    1.1.1.什么是MQ MQ(message queue:消息队列) ,从字面意思上看,本质是个 队列 , FIFO 先入先出 ,只不过队列中存放的 内容是message 而已 ,还是一种 跨进程的通信机制 , 用于上下游传递消息 。在互联网架构中,MQ 是一种非常常见的上下游 “逻辑解耦+物理解耦” 的消息通信服

    2024年01月20日
    浏览(75)
  • Hadoop系统应用之安装---Hadoop集群安装配置和详细搭建过程

    实训课题 Hadoop集群安装 配置 和 详细 搭建 过程 实验步骤 : 一、虚拟机的安装部署 二、Linux系统安装部署 1.环境准备 2.系统安装 三、Centos系统安装 四、静态网络配置 五、虚拟机完整克隆配置 六、配置hosts文件和ssh免密登录 七、Hadoop集群配置 八、Hadoop集群测试 虚拟机的安装

    2024年02月06日
    浏览(45)
  • 【supervisor】安装和使用,超级详细,开机自启动,以及其它的注意细节

    yum -y remove supervisor pip uninstall supervisor ref:https://blog.csdn.net/weixin_42260789/article/details/89207072 第一次重启 修改配置文件后重启 cat /etc/supervisord.conf 这里很重要,php管理拓展, nginx 管理web站点,都是这种分离的文件方式,各走各的,不一坨在一起,挺好的。 xxx.ini 的语法规则: 首行

    2024年02月09日
    浏览(40)
  • Hadoop生态圈实战系列:第一篇 Hadoop 集群安装及使用详解

    作者:禅与计算机程序设计艺术 Apache Hadoop 是一款开源的、分布式文件系统和计算平台。它由 Apache 基金会开发,并于 2011 年成为 Apache 顶级项目之一。Hadoop 的主要特性包括: 分布式存储: Hadoop 允许将数据存储在多个服务器上,在同一个集群中,并提供高容错性和可靠性。

    2024年02月08日
    浏览(47)
  • 远程操控其它电脑--详细教程

    前言 平时常使用笔记本,但笔记本没有独显,无法使用cuda训练模型,而家里台式机有独显,那么在外地远程操控家里的台式就很有用了。(尽管可以用vim编辑代码,但在没有跑通的前提下,还是在本地编辑效率高很多) 注意:如果被操控的电脑是windows家庭版,那么就无法远

    2024年02月12日
    浏览(38)
  • sqoop的详细使用文档和使用案例

    Sqoop是一个开源的、用于在Hadoop生态系统和关系型数据库之间传输大量数据的工具。它允许用户将数据从关系型数据库导入到Hadoop中,并将Hadoop中的数据导出到关系型数据库中。Sqoop支持各种关系型数据库,如MySQL、Oracle、PostgreSQL、SQL Server等。 Sqoop Client:用于管理Sqoop作业的

    2024年02月05日
    浏览(39)
  • 安装Hadoop集群(超详细!)

    提示:安装前请准备好三台装有jdk的虚拟机 我这里名为hd01、hd02、hd03 hd01最好有hadoop和zookeeper的压缩包 文章目录 前言 一、准备环境 二、安装Hadoop 总结 前面我写了一篇单机版的Hadoop安装,这里终于要装集群版,装集群版的步骤比较繁琐,需要同学们多加练习,因为我们不可

    2023年04月15日
    浏览(36)
  • zookeeper超详细安装集群部署

    下载地址:https://archive.apache.org/dist/zookeeper/ 找到对应的版本下载 直接使用 yum 命令在线安装 环境变量配置 重新加载配置文件 首先将下载的 apache-zookeeper-3.5.9-bin.tar.gz 上传到服务器 解压安装至 /usr/local/ 目录下 如下图 重命名为 zookeeper 如下图 进入 zookeeper 配置文件 usr/local/z

    2024年02月05日
    浏览(83)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包