[Sqoop 安装配置]-Toy模板网

这篇具有很好参考价值的文章主要介绍了[Sqoop 安装配置]。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

🍗前言:

🍗 下载地址:

🍗首先需要有Java环境,确定是否安装Java和Hadoop

🍗压缩包解压指令:

#重命名sqoop目录[root@hadoop01 local]#mv sqoop-1.4.7 sqoop 修改文件名称

🍗配置环境变量:

🍗刷新生效文件

🍗配置Sqoop

🍗修改sqoop-env.sh配置文件中的参数：

🍗在命令行中输入Sqoop命令进行测试，如：

🍗 Sqoop命令进行测试

🍗查看Sqoop作业状态

🍗Sqoop相关经常使用到的指令:

🍗前言:

端午节要来了,以文化传递知识

🍗 下载地址:

可以从Apache Sqoop的官方网站（http://sqoop.apache.org/）下载最新版本的Sqoop。

🍗首先需要有Java环境,确定是否安装Java和Hadoop

java -version

hadoop version

🍗压缩包解压指令:

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/

#重命名sqoop目录 [root@hadoop01 local]#mv sqoop-1.4.7 sqoop 修改文件名称

🍗配置环境变量:

将Sqoop的bin目录添加到系统的PATH环境变量中，以便在命令行中可以直接使用Sqoop命令。在/etc/profile文件中添加以下命令：

export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

🍗刷新生效文件

source /etc/profile

🍗配置Sqoop

#将用于连接mysql的JDBC驱动包添加到sqoop目录下的lib目录中,以下命令从hive中复制而来
[root@hadoop01 local]#cp hive/lib/mysql-connector-java-5.1.49-bin.jar sqoop/lib/

Sqoop的配置文件为conf/sqoop-env.sh，需要修改其中的相关参数，以便Sqoop能够正常连接到Hadoop集群和数据库。可以使用以下命令备份一份配置文件：

在 Sqoop 安装目录的 conf 子目录下，系统已经提供了一个环境变量文件模板sqoop-env-template.sh，使用 cp 操作复制一个副本，并改名为 sqoop-env.sh，修改sqoop-env.sh (可选，一般安装了Hadoop、HBase、Hive后可不配置此文件）

cp /usr/local/sqoop/conf/sqoop-env-template.sh /usr/local/sqoop/conf/sqoop-env.sh

🍗修改sqoop-env.sh配置文件中的参数：

其中，HADOOP_COMMON_HOME、HADOOP_MAPRED_HOME和HIVE_HOME需要设置为Hadoop和Hive的安装目录，以便Sqoop能够连接到它们。

export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true
export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

🍗在命令行中输入Sqoop命令进行测试，如：

启动的时候，有相关的警告信息，我们可以配置bin/configure-sqoop 文件，先注销对应的相关语句.
建议：使用notpad++进行编辑，使用其列模式：按住Alt键，垂直拖动鼠标即可以列模式编辑。
命令将查询连接到MySQL数据库，并列出其中的所有数据库。

#注释掉对应行号 75~107 行的内容

#注释掉对应行号 129~147 行的内容

#注释掉对应行号 227~228 行的内容

#注释掉对应行号 230~231 行的内容

🍗 Sqoop命令进行测试

sqoop list-databases --connect jdbc:mysql://localhost/test --username root --password 123456

命令将导入MySQL数据库中的users表到Hadoop中的/tmp/users目录中。

sqoop import --connect jdbc:mysql://localhost/test --username root --password 123456 --table users --target-dir /tmp/users

🍗查看Sqoop作业状态

sqoop job --list

🍗Sqoop相关经常使用到的指令:

下载并解压缩sqoop安装包：tar -xzvf sqoop-x.x.x.bin__hadoop-x.x.x.tar.gz
配置环境变量：export SQOOP_HOME=/path/to/sqoop
配置sqoop的配置文件：cp $SQOOP_HOME/conf/sqoop-env-template.sh $SQOOP_HOME/conf/sqoop-env.sh
修改sqoop-env.sh文件中的配置参数，如HADOOP_COMMON_HOME、HADOOP_MAPRED_HOME、HIVE_HOME等
配置MySQL的JDBC驱动：将mysql-connector-java-x.x.x.jar复制到$SQOOP_HOME/lib目录下
启动sqoop服务：$SQOOP_HOME/bin/sqoop server start
停止sqoop服务：$SQOOP_HOME/bin/sqoop server stop
导入数据到HDFS：$SQOOP_HOME/bin/sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password password --table table_name --target-dir /path/to/hdfs/directory
导出数据到MySQL：$SQOOP_HOME/bin/sqoop export --connect jdbc:mysql://localhost:3306/test --username root --password password --table table_name --export-dir /path/to/hdfs/directory

文章来源地址https://www.toymoban.com/news/detail-499913.html

到了这里，关于[Sqoop 安装配置]的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！