如图所示:仔细查看错误信息会发现有下面一条:
2022-07-10 20:17:39,786 INFO mapreduce.Job: Job job_1657447073157_0042 running in uber mode : false
2022-07-10 20:17:39,787 INFO mapreduce.Job: map 0% reduce 0%
2022-07-10 20:17:47,083 INFO mapreduce.Job: map 25% reduce 0%
2022-07-10 20:17:51,103 INFO mapreduce.Job: map 100% reduce 0%
报错的job Id 就是 Job job_1657447073157_0042
然后我就查找了一下yarn日志:
(1) 使用浏览器打开 : http://slave01:8042/logs slave01是我的从节点namenode
(2)点击 userlogs/
(3)点击自己job Id
(4)打开第一个再点击syslog
可以看到下面信息:
SQLException:字符串值不正确:“\xE4\xB8\xAD\xE5\x9B\xBD…”对于第1行的“area”列
也就是在MySQL数据库建表的时候area的字符串值不正确,
我的sql语句是area VARCHAR(32) COMMENT '地区'
后来重新建表,更改area VARCHAR(32) COMMENT '地区' 中VARCHAR(32) 的值
重新执行sqoop命令测试了n次还依旧报错。
我开始转变思路查看表的编码是否是UTF8;
结果不是:我开始更改建表的sql命令
这是之前的sql
CREATE TABLE nev.visit_dws (
sid_total INT(11) COMMENT '根据用户ID去重统计',
sessionid_total INT(11) COMMENT '根据sessionid去重统计',
ip_total INT(11) COMMENT '根据IP地址去重统计',
area VARCHAR(32) COMMENT '地区',
origin_channel VARCHAR(32) COMMENT '来源渠道',
from_url VARCHAR(3083) COMMENT '会话来源页面',
grouptype VARCHAR(32) COMMENT '1.地区维度 2.来源渠道维度 3.会话来源维度 4.总访问量维度',
yearinfo VARCHAR(32) COMMENT '年',
monthinfo VARCHAR(32) COMMENT '月'
);
更改后:创建表的时候都必须设置数据编码方式
CREATE TABLE nev.visit_dws (
sid_total INT(11) COMMENT '根据用户ID去重统计',
sessionid_total INT(11) COMMENT '根据sessionid去重统计',
ip_total INT(11) COMMENT '根据IP地址去重统计',
area VARCHAR(32) COMMENT '地区',
origin_channel VARCHAR(32) COMMENT '来源渠道',
from_url VARCHAR(3083) COMMENT '会话来源页面',
grouptype VARCHAR(32) COMMENT '1.地区维度 2.来源渠道维度 3.会话来源维度 4.总访问量维度',
yearinfo VARCHAR(32) COMMENT '年',
monthinfo VARCHAR(32) COMMENT '月'
)
charset utf8 collate utf8_general_ci;
再次执行Sqoop命令:
sqoop export \
--connect "jdbc:mysql://slave01/nev? useUnicode=true&characterEncoding=utf-8" \
--username root \
--password root \
--table visit_dws \
--hcatalog-database itcast_dws \
--hcatalog-table visit_dws
结果如下所示:文章来源:https://www.toymoban.com/news/detail-493523.html
文章来源地址https://www.toymoban.com/news/detail-493523.html
问题得以解决
感兴趣的同学可以+企鹅群:249300637
到了这里,关于使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!