hbase崩溃问题

这篇具有很好参考价值的文章主要介绍了hbase崩溃问题。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

最近因为我在搞Flume-kafka-hbase 集成,昨天不知道咋了的突然我的hbase就崩溃了,说是说hbase崩溃了,其实我更崩溃,因为这已经不是第一次这样了,hbase崩溃的第一百个原因


2022/3/24 7:58 PM

先放一放我得先抢个明天图书馆位置,每晚八点抢,这个疫情真烦。然后我八点钟有个直播课到九点,差不多就该回去了,明天我买的新手机也到了,明天会有个好心情来整理这hbase崩溃到修复好的心路历程,心很累,因为一出问题真的就是很痛苦去看文章,看着一篇篇logs纠错。


2022/3/25 9:18 AM

早上起来,发现又是大下雨天,我今天实在不想淋雨去图书馆了,每次这么下雨去,回来都被淋湿,有时候想想在学校里有台车就好了,至少能遮风挡雨,去图书馆能说走就走不怕被淋湿。昨天抢的位置就让给别人去吧,我等晴天再去。开始回顾我的hbase崩溃记。


第一次崩溃

        记得我第一次hbase崩溃是在什么时候,好像是在flume-hbase 集成的时候,因为hbase当时的版本安装的是2.4.9 ,和flume apache-flume-1.8.0似乎不太匹配,数据无法打入hbase,报错如下。(大概意思就是为了hbase-sink就是和该版本flume集成,hbase的版本必须小于2)

HBase major version number must be less than 2 for hbase-sink

        我上网搜索相关bug的解决办法,有一种办法看起来还挺靠谱的,参考以下文章: 

解决 HBase major version number must be less than 2 for hbase-sink_Hugh__Hu的博客-CSDN博客在flume采集数据sink到hbase的时候, 启动脚本遇到HBase major version number must be less than 2 for hbase-sink版本问题,尝试之后发现解决方法如下:将  $HIVE_HOME/lib 下的以 hbase开头的 jar 包拷贝到 $FLUME_HOME/lib 文件夹下cp   $HIVE_HOME/lib/hbase*   $...https://blog.csdn.net/Hugh__Hu/article/details/80945904        根据他的说法,就是hbase的版本过高了,有一些jar包被剔除了,但是这些包在hive中还是有的,所以我就根据他的做法,把hive/lib中hbase打头的jar包给cp过来了,然后就开始运行,结果又出错了,具体什么错我给忘了应该是jar包冲突的问题,就是我的jar包刚刚移进来启动就和hadoop中的冲突了,只能作罢。  

        那没有办法了这flume版本最高好像也才1.9(印象中),而且视频中hbase也是低版本,那我就换一个hbase版本呗。于是我去下面链接下载了hbase1.7.1,1版本中最高版本,再高就是2.0.1了,我想现在应该就可以了吧。

        把hbase软连接删了,把hbase-env.sh,hbase-sit.xml,backupmasters,regionserver,都给改了,然后再把hdfs的那边的hdfs-site.xml,core-site.xml都给搬过来,一切配置完毕,软连接到新的hbase上,再分发到各个节点。

~/app/hadoop/bin/stop-dfs.sh
~/app/zookeeper/bin/zkServer.sh stop
#可以正常关闭hbase
~/app/hbase/bin/stop-hbase.sh  /
#无法正常关闭hbase,用上面的命令就一直点点点,就ctrl+c 取消掉,用下面的代码。
#这说明你的hbase有问题,有可能和我一样因为hbase在运行的过程中,没有结束服务,直接更换版本,导致出现问题,我后面的问题大部分就和异常关闭hbase,未关闭hbase就更换版本有着莫大的联系。
~/app/hbase/bin/hbase-daemon.sh stop regionserver
~/app/hbase/bin/hbase-deamon.sh stop master

        重启一下(一定要把所有服务给关了再重启)

        重启完就开始启动zk,再启动hdfs,再启动hbase(一定是按照这样的顺序,关闭的顺序就是反过来,这样才能保证hbase的正常运行,不出差错,我已经被这个东西搞怕了一定要有顺序,人容易出错)

        jps查看进程,发现都在,HMaster,Hregionserver都在,进去bin/hbase shell 去看看,list /

结果可以显示table,🆗。


第二次崩溃

        前天我的hbase又崩溃了,因为一些版本问题我又更改了我的hbase版本,换成了更低版本的1.2.0,但是因为我这次的操作不当导致了后面的很多问题。不知道是我前一天管虚拟机的时候怎么了,正确没有关hbase服务还是咋了,前天反正就是在bin/hbase shell  中进行list命令时就是会报错具体参考下面链接和代码:

hbase(main):001:0> list
TABLE                                                                                                                                                                                                            
2018-06-16 10:20:02,641 WARN  [ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
 
ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
    at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:100)
    at org.apache.hadoop.hbase.ipc.FifoRpcScheduler$1.run(FifoRpcScheduler.java:74)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

最关键的一句话(服务器没有运行也就是hbase没有运行起来) 

ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet

但是我退出去看我的进程jps,都在啊,Hmaster,Hregionserver,当我想stop-habse 去查看情况时,又停不掉了,只能bin/hbase-daemon.sh stop +server   去停。说明hbase又出问题了,我想了想可能是因为我的不正确关闭导致的,上网去搜,果然有相似问题,参考下面文章:

ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet_a大数据yyds的博客-CSDN博客Hbase报错:ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet报错原因:这种情况是由于不正常的关闭hadoop,从而导致hadoop进入了安全模式产生的原因。解决方案:让hadoop退出安全模式进入hadoop下的binhdfs dfsadmin -s...https://blog.csdn.net/qq_45765882/article/details/103528901就是不正确关闭hadoop导致Hadoop进入安全模式,需要退出安全模式。

一定是在Hadoop启动的情况下,当然zk也已经启动,按照顺序。

进入hadoop下的bin

hdfs dfsadmin -safemode leave

然后关闭Hadoop,关闭zk,重启zk,重启hadoop。再去启动hbase,进行hbase shell 操作,确实可以用了,只不过之前创建的table都存在,都能看到用list,用scan却scan不了,创建相同名字的表也不报错,看似存在其实已经不在了。只能重新创建表,数据丢失了。(虽然还没什么数据)


第三次崩溃

这次又是这样子,和第二次报的错误是一样的,但是我去和上次一样操作退出安全模式也无法奏效,查了很多资料说这种时候只能重装hbase了,把zk上的hbase删了然后重启hbase,我只能把zkCli.sh上的hbase数据给删了,然后还是不行。后来无意间在查看hbase/bin目录的时候我看到了一个shell脚本,我感觉有可能有用,就是hbase-cleanup.sh文件,vim 进去看具体文件用法。

# cleans hbase related data from zookeeper and hdfs if no hbase process is alive.
# 如果没有hbase进程处于活动状态,则从zookeeper和hdfs中清除hbase相关数据
usage="Usage: hbase-cleanup.sh (--cleanZk|--cleanHdfs|--cleanAll|--cleanAcls)"

我只清理了hbase在zk上的数据,没有删除在hdfs上的数据,所以我kill了hbase进程,

--cleanHdfs   --cleanZk 都试了一遍,重新启动之后终于🆗了我的hbase又回来了,不过又得重新建表。我人麻了,加油。文章来源地址https://www.toymoban.com/news/detail-410673.html

到了这里,关于hbase崩溃问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 电脑崩溃蓝屏问题如何重装系统

    电脑是我们日常生活和工作中必不可少的工具,但在使用过程中,难免会遇到各种问题,例如系统崩溃、蓝屏、病毒感染等,这些问题会严重影响我们的使用体验和工作效率。而小白一键重装系统可以帮助我们快速解决这些问题,本文将介绍如何使用小白一键重装系统解决电

    2024年02月09日
    浏览(46)
  • 记一次应用程序池崩溃问题分析

    IIS部署的asp.net core服务,前端进行一些操作后,经常需要重新登陆系统。 根据日志,可以看到服务重新进行了初始化,服务重启应该与IIS应用程序池回收有关,查看IIS相关日志,在windows的事件查看器=Windows日志=系统,来源为WAS的日志(参考博客)。 根据IIS日志与服务日志对比

    2024年02月04日
    浏览(48)
  • Xcode 15 运行<iOS 14, 启动崩溃问题

    如题. Xcode 15 启动 iOS 14(没具体验证过, 我的问题设备是iOS 13.7)真机设备 出现启动崩溃 解决方案:

    2024年02月08日
    浏览(59)
  • 【解决】Unity 工程无法正常打开而崩溃问题

    开发平台:Unity 2022.3.17f1c1     访问 Unity 工程等待 Open Projet(busy for 时间) ,出现崩溃、闪退等情况,导致无法正常进入Unity编辑页面。   笔者在 URP 渲染管线下处理 Obi Fluid 流体插件 DLLNOTFOUNDEXCEPTION 问题时,遭遇此类工程无法正常访问情况。   方法一:保留工程目录

    2024年03月18日
    浏览(72)
  • 解决win10相机无法使用,相机崩溃问题

    win10系统可能因很多原因无法使用,例如权限设置,或者win10系统本身问题,此教程教大家如何解决 1、进入电脑系统设置,在里面找到”隐私“,并点击进入 2、进入隐私设置界面后,向下滑动找到”相机“,并点击进入相机设置 3、在相机设置界面将“此设备的相机访问权限

    2024年02月04日
    浏览(50)
  • Curl多线程https访问,崩溃问题修复

    Curl: ��: SSL and multithread crash on windows, how to use mutex on windows? SSL and multithread crash on windows, how to use mutex on windows? From: mao mao lmjrd_at_hotmail.com Date: Fri, 25 Nov 2016 09:50:48 +0000 Thankyou Thomas and Johan both to Johan: how to use these two functions openssl_crypto_locking_callback openssl_crypto_init_locks when star

    2024年02月03日
    浏览(42)
  • Android问题笔记四十三:JNI 开发如何快速定位崩溃问题

    Unity3D特效百例 案例项目实战源码 Android-Unity实战问题汇总 游戏脚本-辅助自动化 Android控件全解手册 再战Android系列 Scratch编程案例 软考全系列 Unity3D学习专栏 蓝桥系列 ChatGPT和AIGC 专注于 Android/Unity 和各种游戏开发技巧,以及 各种资源分享 (网站、工具、素材、源码、游戏等

    2024年02月05日
    浏览(51)
  • 10个方法教你解决虚幻4运行崩溃问题

    “多年来我一直在我的电脑上使用不同版本的虚幻引擎 4,但最近它突然在启动时崩溃。我最初认为这是一个项目相关的问题,但后来注意到即使是从桌面图标或 Epic Games Launcher执行Unreal Engine 4,也是闪了几秒就直接闪退了。这个问题真是让我很头疼,因为我之前从来没有对系

    2024年02月02日
    浏览(64)
  • 访问0xdddddddd内存地址引发软件崩溃的问题排查

    目录 1、问题描述 2、访问空指针或者野指针 3、常见的异常值

    2024年02月10日
    浏览(49)
  • ASR项目实战-交付过程中遇到的内核崩溃问题

    当前参与交付的语音识别产品服务,算法模块基于经典的Kaldi,算法中的一部分运行在GPU之上。 算法团队采用的是声学模型+语言模型的1-pass方案。这个方案的特点在于,语言模型数据文件(HCLG文件)的大小,和训练语料的丰富程度正相关,即语言文本的语料越多,经过训练

    2024年02月03日
    浏览(71)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包