【提示】点击每一关参考答案可以快速复制。
目录
第1关：Sqoop数据导出语法学习
任务描述
相关知识
编程要求
测试说明
参考答案
第2关：HDFS数据导出至Mysql内
任务描述
相关知识
编程要求
测试说明
参考答案
第3关：Hive数据导出至MySQL中
任务描述
相关知识
编程要求
测试说明
参考答案
第1关：Sqoop数据导出语法学习
任务描述
本关任务：学习Sqoop 导出( export )的基本语法并配置好环境。
相关知识
为了完成本关任务，你需要掌握： 1、Sqoop 导出( export )的基本参数。 2、配置环境。
Sqoop 导出( export )的基本参数。
Sqoop 能够让 Hadoop 上的 HDFS 和 Hive 跟关系型数据库之间进行数据导入与导出，多亏了import和export这两个工具。本实训主要是针对export(导出)来讲。 数据在Hadoop平台上进行处理后，我们可能需要将结果同步到关系数据库中作为业务的辅助数据，这时候需要将Hadoop平台分析后的数据导出（export）到关系数据库。 我们要学 Sqoop 的导出也必须先知道里面的基本语法。 输入sqoop help export可以查看里面参数含义，导出和导入基本参数都差不多，接下来选取几个常见的参数来分析：
| 选项 | 含义说明 |
|---|---|
--connect <jdbc-uri>
|
指定JDBC连接字符串 |
--driver <class-name>
|
指定要使用的JDBC驱动程序类 |
--hadoop-mapred-home <dir>
|
指定$HADOOP_MAPRED_HOME路径 |
| -P | 从控制台读取输入的密码 |
--username <username>
|
设置认证用户名 |
--password <password>
|
设置认证密码 |
| --verbose | 打印详细的运行信息 |
--columns <col,col,col…>
|
要导出到表格的列 |
| --direct | 使用直接导入模式（优化导入速度 |
--export-dir <dir>
|
用于导出的HDFS源路径 |
--num-mappers <n>(简写：-m) |
使用n个mapper任务并行导出 |
--table <table-name>
|
要填充的表 |
--staging-table <staging-table-name>
|
数据在插入目标表之前将在其中展开的表格。 |
| --clear-staging-table | 表示可以删除登台表中的任何数据 |
| --batch | 使用批量模式导出 |
--fields-terminated-by <char>
|
设置字段分隔符 |
--lines-terminated-by <char>
|
设置行尾字符 |
--optionally-enclosed-by <char>
|
设置字段包含字符 |
配置环境
注意：如果这个环境不配置的话，可能会造成后续关卡不能正常实现。 1、启动Hadoop。
start-all.sh
2、Hive连接 MySQL 初始化。
schematool -dbType mysql -initSchema
编程要求
在右侧命令行进行操作： 1.启动Hadoop服务； 2.Hive 连接 MySQL 初始化。
测试说明
完成操作后点击评测，通关后测试集输出：
Hadoop平台已开启
default参考答案
#命令行
#启动Hadoop
start-all.sh
#Hive连接 MySQL 初始化
schematool -dbType mysql -initSchema
第2关：HDFS数据导出至Mysql内
任务描述
本关任务：利用 Sqoop 工具将 HDFS 中的数据导出至 MySQL 中来。
相关知识
为了完成本关任务，你需要掌握： 1、数据库（ MySQL ）建表。 2、HDFS 数据导出至 MySQL 中。
数据库（ MySQL ）建表
因为这边 Sqoop 不能够帮关系型数据库创建表，所以需要我们自己来创建表。 用命令进入 MySQL 客户端。
mysql -uroot -p123123 -h127.0.0.1
创建数据库hdfsdb(格式默认为utf8)，并在数据库内建立表fruit，其表结构如下：
| 名 | 类 | 状态 |
|---|---|---|
| fru_no | int | 主键 |
| fru_name | varchar(20) | |
| fru_price | int | |
| fru_address | varchar(20) |
HDFS 数据导出至 MySQL 中
将数据放入 HDFS 上 输入vi text.txt，内容如下：
01,apple,6,changsha
02,banana,4,shanghai
03,orange,2,guangzhou将文件上传HDFS
hadoop fs -put text.txt /userHDFS 数据导出至 MySQL中 。
sqoop export --connect jdbc:mysql://127.0.0.1:3306/hdfsdb --username root --password 123123 --table fruit --export-dir /user/text.txt -m 1查看 Mysql 中的表，发现数据已经传输过去了。
编程要求
根据上述，成功用 Sqoop 将 HDFS 上的数据导出 MySQL 成功。
测试说明
点击测评，当你的结果与预期输出一致时，即为通过。文章来源：https://www.toymoban.com/news/detail-764529.html
HDFS存在text.txt文件
传输成功！参考答案
#命令行
#进入MySQL
mysql -uroot -p123123 -h127.0.0.1
#以下为MySQL
#创建数据库hdfsdb
create database `hdfsdb`;
#切换数据库hdfsdb
use `hdfsdb`;
#创建数据表fruit
create table `fruit`(
fru_no int primary key,
fru_name varchar(20),
fru_price int,
fru_address varchar(20)
);
quit;
#命令行
#编辑text文本文件
vi text.txt
#以下为在vi编辑器中需要输入的内容。
#使用提示：【i】键进入插入模式，鼠标滚轮可以快速上下滑动光标，执行对应插入操作，最后【Esc】键退出vi插入模式，输入“:wq”保存并退出vi编辑器。
#使用提示：PageUp（PgUp）、PageDown（PgDn）键快速定位光标到文件开始位置和结束位置，Home、End键快速定位光标到当前行的行首和行末。
01,apple,6,changsha
02,banana,4,shanghai
03,orange,2,guangzhou#命令行
#将文件上传HDFS
hadoop fs -put text.txt /user
#HDFS 数据导出至 MySQL中
sqoop export --connect jdbc:mysql://127.0.0.1:3306/hdfsdb --username root --password 123123 --table fruit --export-dir /user/text.txt -m 1
#查看MySQL数据
mysql -uroot -p123123 -h127.0.0.1#以下为MySQL
#查看 Mysql 中的表，发现数据已经传输过去了
use hdfsdb;
select * from `fruit`;
quit;第3关：Hive数据导出至MySQL中
任务描述
本关任务：利用 Sqoop 工具将 Hive 中的数据导出至 MySQL 中。
相关知识
为了完成本关任务，你需要掌握：Hive 数据导出至 MySQL 中。
Hive 数据导入 MySQL 中
MySQL建表
因为之前已经创建过数据库了，我们直接使用之前的数据库hdfsdb，在数据库中建表project，表结构如下：
| 名 | 类 | 状态 |
|---|---|---|
| pro_no | int | 主键，序号 |
| pro_name | varchar(20) | 课程名 |
| pro_teacher | varchar(20) | 课程老师 |
# 首先进入MySQL
mysql -uroot -p123123 -h127.0.0.1
# 进入MySQL后使用数据库 hdfsdb
use hdfsdb;
# 创建表 project
create table project(pro_no int,pro_name varchar(20),pro_teacher varchar(20), primary key (pro_no));Hive中建表添加数据
新建并编辑文本project.txt，添加以下内容：
01,bigdata,wang
02,javaweb,yang
03,python,xiang输入pwd，获取当前路径。
进入Hive，在Hive内创建表project。
create table project (pro_no int,pro_name string, pro_teacher string) row format delimited fields terminated by ',' stored as textfile;在表中插入刚刚创建的数据，位置为刚刚路径下的project.txt。
load data local inpath './project.txt' into table project;
查看是否添加成功。
Hive 数据导出至 MySQL。
sqoop export --connect jdbc:mysql://127.0.0.1:3306/hdfsdb --username root --password 123123 --table project --export-dir /opt/hive/warehouse/project -m 1 --input-fields-terminated-by ','我们查看 MySQL 中，发现数据已经传输过去了。
编程要求
根据上述，将Hive表中数据导出到mysql中。
测试说明
点击测评，当你的结果与预期输出一致时，即为通过。
hive建表成功
传输成功！参考答案
#命令行
#进入mysql
mysql -uroot -p123123 -h127.0.0.1
#以下为MySQL
#切换数据库
use hdfsdb;
#创建表 project
create table project(pro_no int,pro_name varchar(20),pro_teacher varchar(20), primary key (pro_no));
quit;#命令行
#新建并编辑文本project.txt
vi project.txt
#以下为在vi编辑器中需要输入的内容。
#使用提示：【i】键进入插入模式，鼠标滚轮可以快速上下滑动光标，执行对应插入操作，最后【Esc】键退出vi插入模式，输入“:wq”保存并退出vi编辑器。
#使用提示：PageUp（PgUp）、PageDown（PgDn）键快速定位光标到文件开始位置和结束位置，Home、End键快速定位光标到当前行的行首和行末。
01,bigdata,wang
02,javaweb,yang
03,python,xiang#命令行
#输入pwd，获取当前路径
pwd
#进入Hive，在Hive内创建表project
hive--以下为Hive
--创建表project
create table project (pro_no int,pro_name string, pro_teacher string) row format delimited fields terminated by ',' stored as textfile;
--在表中插入刚刚创建的数据，位置为刚刚路径下的project.txt
load data local inpath './project.txt' into table project;
--查看是否添加成功
select * from project;
quit;#命令行
#Hive 数据导出至 MySQL
sqoop export --connect jdbc:mysql://127.0.0.1:3306/hdfsdb --username root --password 123123 --table project --export-dir /opt/hive/warehouse/project -m 1 --input-fields-terminated-by ','至此，所有内容都完成辣。如果存在任何问题欢迎大佬指教🥰！文章来源地址https://www.toymoban.com/news/detail-764529.html
到了这里，关于【头歌】Sqoop数据导出 - 详解的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
