使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp-Toy模板网

这篇具有很好参考价值的文章主要介绍了使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

如图所示：使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp 仔细查看错误信息会发现有下面一条：

2022-07-10 20:17:39,786 INFO mapreduce.Job: Job job_1657447073157_0042 running in uber mode : false
2022-07-10 20:17:39,787 INFO mapreduce.Job: map 0% reduce 0%
2022-07-10 20:17:47,083 INFO mapreduce.Job: map 25% reduce 0%
2022-07-10 20:17:51,103 INFO mapreduce.Job: map 100% reduce 0%

报错的job Id 就是 Job job_1657447073157_0042

然后我就查找了一下yarn日志：

(1) 使用浏览器打开： http://slave01:8042/logs slave01是我的从节点namenode

使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp
(2)点击 userlogs/

使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp
(3)点击自己job Id

使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp
(4)打开第一个再点击syslog

使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp

可以看到下面信息：

使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp

SQLException：字符串值不正确：“\xE4\xB8\xAD\xE5\x9B\xBD…”对于第1行的“area”列

也就是在MySQL数据库建表的时候area的字符串值不正确，

我的sql语句是area VARCHAR(32) COMMENT '地区'

后来重新建表，更改area VARCHAR(32) COMMENT '地区' 中VARCHAR(32) 的值

重新执行sqoop命令测试了n次还依旧报错。

我开始转变思路查看表的编码是否是UTF8;

结果不是：我开始更改建表的sql命令

这是之前的sql

CREATE TABLE nev.visit_dws (
sid_total INT(11) COMMENT '根据用户ID去重统计',
sessionid_total INT(11) COMMENT '根据sessionid去重统计',
ip_total INT(11) COMMENT '根据IP地址去重统计',
area VARCHAR(32) COMMENT '地区',
origin_channel VARCHAR(32) COMMENT '来源渠道',
from_url VARCHAR(3083) COMMENT '会话来源页面',
grouptype VARCHAR(32) COMMENT '1.地区维度 2.来源渠道维度 3.会话来源维度 4.总访问量维度',
yearinfo VARCHAR(32) COMMENT '年',
monthinfo VARCHAR(32) COMMENT '月'
);

更改后：创建表的时候都必须设置数据编码方式

CREATE TABLE nev.visit_dws (
sid_total INT(11) COMMENT '根据用户ID去重统计',
sessionid_total INT(11) COMMENT '根据sessionid去重统计',
ip_total INT(11) COMMENT '根据IP地址去重统计',
area VARCHAR(32) COMMENT '地区',
origin_channel VARCHAR(32) COMMENT '来源渠道',
from_url VARCHAR(3083) COMMENT '会话来源页面',
grouptype VARCHAR(32) COMMENT '1.地区维度 2.来源渠道维度 3.会话来源维度 4.总访问量维度',
yearinfo VARCHAR(32) COMMENT '年',
monthinfo VARCHAR(32) COMMENT '月'
)
charset utf8 collate utf8_general_ci;

再次执行Sqoop命令：

sqoop export \
--connect "jdbc:mysql://slave01/nev? useUnicode=true&characterEncoding=utf-8" \
--username root \
--password root \
--table visit_dws \
--hcatalog-database itcast_dws \
--hcatalog-table visit_dws

结果如下所示：

使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp 文章来源地址https://www.toymoban.com/news/detail-493523.html

问题得以解决

感兴趣的同学可以+企鹅群：249300637

到了这里，关于使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！