使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp

这篇具有很好参考价值的文章主要介绍了使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

如图所示:使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp仔细查看错误信息会发现有下面一条:

2022-07-10 20:17:39,786 INFO mapreduce.Job: Job job_1657447073157_0042 running in uber mode : false
2022-07-10 20:17:39,787 INFO mapreduce.Job:  map 0% reduce 0%
2022-07-10 20:17:47,083 INFO mapreduce.Job:  map 25% reduce 0%
2022-07-10 20:17:51,103 INFO mapreduce.Job:  map 100% reduce 0%

报错的job Id 就是  Job job_1657447073157_0042

然后我就查找了一下yarn日志:

(1) 使用浏览器打开 : http://slave01:8042/logs     slave01是我的从节点namenode

使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp
(2)点击 userlogs/

使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp
(3)点击自己job Id

使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp
(4)打开第一个再点击syslog

使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp

使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp

可以看到下面信息:

使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp

 SQLException:字符串值不正确:“\xE4\xB8\xAD\xE5\x9B\xBD…”对于第1行的“area”列

也就是在MySQL数据库建表的时候area的字符串值不正确,

我的sql语句是area VARCHAR(32) COMMENT '地区'

后来重新建表,更改area VARCHAR(32) COMMENT '地区'  中VARCHAR(32) 的值

重新执行sqoop命令测试了n次还依旧报错。

我开始转变思路查看表的编码是否是UTF8;

结果不是:我开始更改建表的sql命令

这是之前的sql

CREATE TABLE nev.visit_dws (
sid_total INT(11) COMMENT '根据用户ID去重统计',
sessionid_total INT(11) COMMENT '根据sessionid去重统计',
ip_total INT(11) COMMENT '根据IP地址去重统计',
area VARCHAR(32) COMMENT '地区',
origin_channel VARCHAR(32) COMMENT '来源渠道',
from_url VARCHAR(3083) COMMENT '会话来源页面',
grouptype VARCHAR(32) COMMENT '1.地区维度 2.来源渠道维度 3.会话来源维度 4.总访问量维度',
yearinfo VARCHAR(32) COMMENT '年',
monthinfo VARCHAR(32) COMMENT '月'
);

 更改后:创建表的时候都必须设置数据编码方式

CREATE TABLE nev.visit_dws (
sid_total INT(11) COMMENT '根据用户ID去重统计',
sessionid_total INT(11) COMMENT '根据sessionid去重统计',
ip_total INT(11) COMMENT '根据IP地址去重统计',
area VARCHAR(32) COMMENT '地区',
origin_channel VARCHAR(32) COMMENT '来源渠道',
from_url VARCHAR(3083) COMMENT '会话来源页面',
grouptype VARCHAR(32) COMMENT '1.地区维度 2.来源渠道维度 3.会话来源维度 4.总访问量维度',
yearinfo VARCHAR(32) COMMENT '年',
monthinfo VARCHAR(32) COMMENT '月'
)
charset utf8 collate utf8_general_ci;

 再次执行Sqoop命令:

 sqoop export \
--connect "jdbc:mysql://slave01/nev? useUnicode=true&characterEncoding=utf-8" \
--username root \
--password root \
--table visit_dws \
--hcatalog-database itcast_dws \
--hcatalog-table visit_dws 

结果如下所示:

使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp文章来源地址https://www.toymoban.com/news/detail-493523.html

 问题得以解决

感兴趣的同学可以+企鹅群:249300637

到了这里,关于使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • docker使用export/import出现错误:Error response from daemon: No command specified

    之前一个使用save和load操作镜像,有次试着使用 export 和 import 来操作。 1,export导出镜像 执行下面的命令后,文件会保存到当前命令执行的目录下。 使用 docker export 命令根据容器的 ID 将镜像导出形成一个文件如下。 docker export 2af444b9693f container_save.tar 2,导入镜像 使用 docke

    2024年04月10日
    浏览(62)
  • 基于Hadoop的MapReduce网站日志大数据分析(含预处理MapReduce程序、hdfs、flume、sqoop、hive、mysql、hbase组件、echarts)

    需要本项目的可以私信博主!!! 本项目包含:PPT,可视化代码,项目源码,配套Hadoop环境(解压可视化),shell脚本,MapReduce代码,文档以及相关说明教程,大数据集! 本文介绍了一种基于Hadoop的网站日志大数据分析方法。本项目首先将网站日志上传到HDFS分布式文件系统

    2024年02月16日
    浏览(61)
  • 使用Sqoop命令从Oracle同步数据到Hive,修复数据乱码 %0A的问题

    一、创建一张Hive测试表 创建分区字段partition_date,指定分隔符“,” 二、编写Sqoop数据同步命令 我这里使用的是shell脚本的方式: 命令相关属性说明: --connect:连接Oracle数据库的URL,例如jdbc:oracle:thin:@219.216.110.120:1521:orcl。 --username:连接Oracle数据库的用户名,例如TEST1。

    2024年02月04日
    浏览(51)
  • 运行Mapreduce集群时候出现报错:Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 40

    Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : Last 4096 bytes of stderr : 错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster 解决方法: 在主机中运行: 记下返回的结果 添加一个配置: 加入返回的信息: 加入之后如下图: 再次运行

    2024年02月16日
    浏览(30)
  • 解决python 3.11版本在linux ubuntu 23.04上使用pip命令报错:error: externally-managed-environment

    按照提示,需使用虚拟环境方可正常使用pip install相关命令,应该是python版本升级之后在linux环境将这点作为了必选项。

    2024年02月07日
    浏览(42)
  • git使用push命令报错-error: failed to push some refs to ‘https://gitee.com/MFLU/graduation_design.git‘

    当我们使用git操作向远程仓库push代码时,可能会报错: hint: not have locally. This is usually caused by another repository pushing hint: to the same ref. You may want to first integrate the remote changes hint: (e.g., \\\'git pull ...\\\') before pushing again. hint: See the \\\'Note about fast-forwards\\\' in \\\'git push --help\\\' for details. 主要原因

    2024年02月04日
    浏览(45)
  • 【自学Docker 】Docker export命令

    docker export 命令可以用于将 Docker容器 里的文件系统作为一个 tar 归档文件导出到标准输出。docker export 命令后面的 CONTAINER 可以是容器Id,或者是容器名。 docker save 命令用于将 Docker 镜像保存成 tar 包,注意这两者的区别。docker export 命令的相对应的命令为 docker import 。 参数 说

    2024年02月13日
    浏览(36)
  • Linux:导出环境变量命令export

    相关阅读 Linux https://blog.csdn.net/weixin_45791458/category_12234591.html?spm=1001.2014.3001.5482         Linux中的内建命令export命令用于创建一个环境变量,或将一个普通变量导出为环境变量,并且在这个过程中,可以给该环境变量赋值。         下面是该命令的语法。         环境变量(

    2024年03月23日
    浏览(50)
  • sqoop同步命令从mysql同步到hive

    sqoop import --connect jdbc:mysql://192.168.253.142:8066/youfanshop  --username mycat --password 123456 --query \\\'SELECT id,name,age,address,telphone,qq,weixin,email,sex,birthday,account FROM user WHERE $CONDITIONS\\\' --fields-terminated-by \\\'t\\\'  --null-string \\\'**\\\'  --target-dir /user/hive/warehouse/youfanshop.db/user  --hive-table youfanshop.user  --m 1 -

    2024年02月06日
    浏览(33)
  • 解决sqoop连接MySQL出现 ERROR manager.CatalogQueryManager: Failed to list databases

     起因很简单,当初我的MySQL因为启动服务有问题,所以在我的hive中的lib文件里有两个MySQL的驱动做测试,一个是5.1.37 ,一个是5.1.38。最后是用的37的驱动文件,忘记了删掉38的了,导致我配置sqoop的时候,没有将与MySQL相对应的驱动文件放入到sqoop中的lib当中,引起了这个错误

    2024年02月11日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包