解决一个Sqoop抽数慢的问题，yarn的ATSv2嵌入式HBASE崩溃引起

9月前作者：白杨Shayne 分类：Toy博客阅读(29) 违法举报

这篇具有很好参考价值的文章主要介绍了解决一个Sqoop抽数慢的问题，yarn的ATSv2嵌入式HBASE崩溃引起。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

新搭建的一个Hadoop环境，用Sqoop批量抽数的时候发现特别慢，我们正常情况下是一个表一分钟左右，批量抽十几个表，也就是10分钟的样子，结果发现用了2个小时：

解决一个Sqoop抽数慢的问题，yarn的ATSv2嵌入式HBASE崩溃引起,Sqoop,大数据,sqoop,hadoop,hive

查看yarn日志

解决一个Sqoop抽数慢的问题，yarn的ATSv2嵌入式HBASE崩溃引起,Sqoop,大数据,sqoop,hadoop,hive

发现有如下情况：

解决一个Sqoop抽数慢的问题，yarn的ATSv2嵌入式HBASE崩溃引起,Sqoop,大数据,sqoop,hadoop,hive

主要有两个情况：

1.有大量的等待日志：Waiting for AsyncDispatcher to drain.Thread state is :WAITING

2.异常中断：Interrupted while publishing entity

经网上查询得知，这个是因为ATSv2的嵌入式HBASE崩溃，需要重置HBASE数据库

步骤如下

1. 停止yarn

在ambari页面上停止yarn

2. 删除zk上的ATSv2 Znode

rmr /atsv2-hbase-unsecure或rmr /atsv2-hbase-secure

3. 删除HDFS上的Hbase嵌入式数据库

hdfs dfs -mv /atsv2/hbase/tmp/

4. 启动yarn

在ambari页面上重新启动yarn

再次重跑任务，时间已经明显的降低了。文章来源地址https://www.toymoban.com/news/detail-625921.html

到了这里，关于解决一个Sqoop抽数慢的问题，yarn的ATSv2嵌入式HBASE崩溃引起的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

解决 GitHub 访问速度慢的问题

GitHub 访问速度慢的问题 GitHub 项目中的图片显示不出的问题点击获取文件用记事本打开文件将文件中的内容复制，粘贴到本机的 hosts 文件中 Windows 系统的 hosts 文件在 C:WindowsSystem32driversetc 文件夹下保存对本机 hosts 的修改如果未生效，打开 Windows 的 CMD 窗口，输入 ip

2024年02月15日
浏览(51)
解决pip下载速度慢的问题

pip下载速度过慢的原因就是 pip 默认使用的是国外的源，那么我们只要把国外的源换成国内的，下载速度就可以提升很多了可以直接使用以下代码设置 pip 的源，即添加通道地址：（不推荐更改配置文件）： (1)pip config --add channels 通道地址 (2)pip config --remove channels 通道地址

2024年02月01日
浏览(54)
Ubuntu网速巨慢的问题解决

各种下载/浏览速度巨慢，尤其是在刚刚装好ubuntu的时候，第一次使用firefox浏览器，还以为是浏览器的问题，而检查了浏览器的设置-网络设置-配置访问互联网的代理服务器-自动检测此网络的代理设置后，天真的以为就不是代理的问题了。首先，遇到问题百度了各种各样的

2024年04月10日
浏览(76)
解决国内 GitHub 访问慢的问题

经常在github上找一些好玩的学习项目，但是经常出现github页面打开速度很慢甚至无法打开的情况，往往导致计划被打乱，瞬间不想学习了。今天就来总结一下解决github访问慢的方法。 GitHub访问慢或者无法访问一般是由以下问题引起的：本地网络访问慢，科学上网速度很快本

2024年02月11日
浏览(44)
成功解决mingw下载太慢的问题

MinGW-w64 - for 32 and 64 bit Windows - Browse Files at SourceForge.net 1.在此页面下滑找到你要下载的文件 2.点击Problems Downloadings 3.选择一个合适的镜像，我选HK依然很慢，所以就选的TW ４.解决

2024年02月12日
浏览(45)
解决VScode下载太慢的问题记录

VScode官方网站： https://code.visualstudio.com/ 根据个人的需求选择下载，页面加载下载需要等一会，然后就会发现下载太慢：解决办法：复制下载地址，打开浏览器，去新建一个下载，新开页签，修改将下载地址中的 az764295.vo.msecnd.net 更换为 vscode.cdn.azure.cn 使用国内的镜

2024年02月15日
浏览(50)
解决pip下载速度过慢的问题

在做项目的时候，我们会发现单纯的使用 pip 安装插件或模块，下载速度慢的可怜，安装 torch 用了半个多小时，所以就想着去解决这个问题，提升一下效率。 pip下载速度过慢的原因就是 pip 默认使用的是国外的源，那么我们只要把国外的源换成国内的，下载速度就可以提升很

2024年02月11日
浏览(60)
Linux下解决访问github慢的问题

Github打开慢的原因： DNS解析的问题；服务器在国外。解决方案：修改本地host文件，增加配置内容，绕过域名解析，达到加速的目的。输入以下命令修改host文件：在 127.0.0.1 localhost 下面添加：重启 systemd-resolved 服务，刷新DNS：命令执行报错，请搜索自己版本的系统相应的

2024年02月09日
浏览(50)
解决brew install特别慢的问题

运行brew install会先去升级brew，但是用的是国外的repo，所以很慢，要切换到国内的源

2024年02月06日
浏览(39)
解决opencv——python下载过慢的问题

在现在opencv-python是解决下载过慢的问题，网络上的其他方法都已尝试，但是效果不理想。使用清华的下载源可以很快的解决这个问题。 pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple 参考文章：https://blog.csdn.net/qq_55359343/article/details/128189615

2024年02月11日
浏览(44)