HBase学习五:运维排障之宕机恢复

这篇具有很好参考价值的文章主要介绍了HBase学习五:运维排障之宕机恢复。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1 简介

HBase系统中主要有两类服务进程:Master进程以及RegionServer进程。Master主要负责集群管理调度,在实际生产线上并没有非常大的压力,因此发生软件层面故障的概率非常低。RegionServer主要负责用户的读写服务,进程中包含很多缓存组件以及与HDFS交互的组件,实际生产线上往往会有非常大的压力,进而造成的软件层面故障会比较多。文章来源地址https://www.toymoban.com/news/detail-822814.html

  • Full GC异常:长时间的Full GC是导致RegionServer宕机的最主要原因,据不完全统计,80%以上的宕机原因都和JVM Full GC有关。导致JVM发生Full GC的原因有很多:HBase对于Java堆内内存管理的不完善,HBase未合理使用堆外内存,JVM启动参数设置不合理,业务写入或读取吞吐量太大,写入读取字段太大,等等。其中部分原因要归结于HBase系统本身,另一部分原因和用户业务以及HBase相关配置有关。
  • HDFS异常:RegionServer写入读取数据都是直接操作HDFS的,如果HDFS发生异常会导致RegionServer直接宕机。
  • 机器宕机:物理节点直接宕机也是导致RegionServer进程挂掉的一个重要原因。通常情况下,物理机直接宕机的情况相对比较少,但虚拟云主机发生宕机的频率比较高。很多公司会将HBase系统部署在虚拟云环境,因为种种原因发生机器宕机的情况相对就会多一些。网络环境不稳定其实也可以归属于这类。
  • HBase Bug :生产线上因为HBase系统本身bug导致RegionServer宕机的情况很少,比如之前版本存在:RegionServer经常会因为耗尽了机器的端口资源而自行宕机,这个bug的表现是,随着时间的推移,处于close_wait状

到了这里,关于HBase学习五:运维排障之宕机恢复的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • HBase的数据库备份与恢复策略

    HBase是一个分布式、可扩展、高性能的列式存储系统,基于Google的Bigtable设计。它是Hadoop生态系统的一部分,可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase具有高可用性、高可扩展性和高性能等优势,适用于大规模数据存储和实时数据处理。 在实际应用中,数据备份和恢复是

    2024年02月19日
    浏览(56)
  • HBase的数据高可用与自动故障恢复

    HBase是一个分布式、可扩展、高性能的列式存储系统,基于Google的Bigtable设计。它是Hadoop生态系统的一部分,可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase具有高可用性、高性能和自动故障恢复等特点,适用于大规模数据存储和实时数据处理。 在现代互联网应用中,数据高可

    2024年02月21日
    浏览(31)
  • Hbase2 基于hdfs恢复数据及迁移

    故障描述 某客户因为数据表数量过多,导致HBase Master无法初始化完成。根据日志判断为Meta错误。 故障分析 客户频繁操作HBase Master导致混乱,加载失败。 处理过程        1.判断客户hdfs数据正常,基于Hbase2特性,可以基于hdfs进行数据恢复        2.停用hbase服务;        

    2024年02月16日
    浏览(69)
  • 数据库运维——备份恢复

    数据库备份,数据库为school,素材如下 1.创建student和score表 CREATE  TABLE  student ( id  INT(10)  NOT NULL  UNIQUE  PRIMARY KEY  , name  VARCHAR(20)  NOT NULL , sex  VARCHAR(4)  , birth  YEAR, department  VARCHAR(20) , address  VARCHAR(50)  ); 创建score表。SQL代码如下: CREATE  TABLE  score ( id  INT(10)  NOT NU

    2024年02月16日
    浏览(62)
  • 对HBase集群进行持续备份和恢复的策略 Continuous Backup & Restore Strategy for Apache HBase

    作者:禅与计算机程序设计艺术 2019年初,Apache HBase项目启动了9个年头。从最初仅仅是Hadoop生态圈中的一个组件,逐渐演变成越来越多的大数据存储解决方案的一部分。在快速发展的同时,也带来了许多技术上的挑战,如一致性、性能等方面的问题。而在这样的背景下,HBa

    2024年02月09日
    浏览(38)
  • 运维36讲第17课:磁盘数据恢复:rm -rf 误删数据,如何进行数据恢复

    我们继续学习典型故障问题,主要是以“磁盘数据恢复”为主题的学习。 在工作中,我们知道一些操作命令危险性很高,如: rm -rf,它会造成数据的误删除。如果万一出现这样情况导致数据误删除时,我们应该如何对数据进行恢复呢? 删除数据的两种场景 通常有两种数据删

    2024年02月15日
    浏览(39)
  • MySQL运维:从全备sql文件中提取指定表的数据并恢复

    目录 一、运行环境 二、需求说明 三、思路分析 五、具体方案 六、恢复表数据 一、运行环境 系统:CentOS7.3 数据库:MySQL 8.0.21 二、需求说明 线上有个表的数据被误操作了很多,无法通过bin-log进行具体的恢复。所以当前我们需要从全库备份文件(mysqldump导出的64GB文件)中恢复

    2024年02月15日
    浏览(43)
  • apache排障

    文章 1 中介绍了如何在mac下搭建apache服务器.由于mac自带的apache版本和macOS的版本有关,升级之后可能配置项就改变了 如macOS12以上的版本中.conf文件中有一行 其实macOS12以上就不用配置php7了 apache配置文件语法检测 apache错误日志 Mac下搭建HTTP访问的apache服务器 ↩︎

    2024年01月16日
    浏览(28)
  • 比ping还好用的排障命令

    遇到网络故障的时候,你一般会最先使用哪条命令进行排障? 除了Ping,还有Traceroute、Show、Telnet又或是Clear、Debug等等。 今天安排的,是 Traceroute 排障命令详解,给你分享2个经典排障案例哈 。 Traceroute是为了探测源节点到目的节点之间数据报文所经过的路径。 利用IP报文的

    2024年02月12日
    浏览(33)
  • K8s CrashLoopBackOff 如何排障?

    整理 CrashLoopBackOff 排故相关笔记分享给小伙伴。 博文内容涉及: 什么是 CrashLoopBackOff ? 如何对 CrashLoopBackOff 排故? 理解不足小伙伴帮忙指正 中秋明月,豪门有,贫家也有。极慰人心。 ——烽火戏诸侯《剑来》 CrashLoopBackOff 是在 k8s 中较常见的一种 Pod 异常状态,最直接的表

    2023年04月26日
    浏览(30)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包