Elasticsearch磁盘空间爆满及 java_pid*.hprof 处理

这篇具有很好参考价值的文章主要介绍了Elasticsearch磁盘空间爆满及 java_pid*.hprof 处理。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、问题描述

今天Elasticsearch
服务突然出现问题,发现服务器的磁盘空间满了。同时在es的data目录下发现了大量的java_pid*.hprof 文件占用很大的磁盘空间。

二、问题排查

在服务器上检查发现elasticsearch/data目录下产生类似如下文件:

[es@elastic-master elasticsearch]$ cd data
[es@elastic-master data]$ ls -lh
total 318G
-rw-------. 1 es es 3.9G Nov 10 20:06 java_pid10017.hprof
-rw-------. 1 es es 4.0G Aug 17  2022 java_pid12411.hprof
-rw-------. 1 es es 1.9G Feb 15 13:45 java_pid12598.hprof
-rw-------. 1 es es 3.9G Aug 30 17:04 java_pid12607.hprof
-rw-------. 1 es es 4.0G Dec 19 22:00 java_pid1270.hprof
-rw-------. 1 es es 3.9G Dec 15  2021 java_pid12811.hprof
-rw-------. 1 es es 5.1M Feb 17 15:49 java_pid13116.hprof
-rw-------. 1 es es 3.9G Oct  9  2021 java_pid1347.hprof
-rw-------. 1 es es 3.9G Sep 30 16:00 java_pid13911.hprof
-rw-------. 1 es es 3.9G Nov 24 10:21 java_pid14061.hprof
-rw-------. 1 es es 4.0G Jun 30  2022 java_pid14193.hprof
-rw-------. 1 es es 3.9G Apr  1  2022 java_pid14643.hprof
-rw-------. 1 es es 3.9G Dec  9  2021 java_pid15058.hprof
-rw-------. 1 es es 4.0G Jan 12  2022 java_pid15155.hprof
-rw-------. 1 es es 4.0G Aug 19  2022 java_pid15331.hprof
-rw-------. 1 es es 3.9G Dec 23 15:14 java_pid15822.hprof
-rw-------. 1 es es  54M Feb 21 18:57 java_pid1615.hprof
-rw-------. 1 es es 2.1G Sep  5 13:41 java_pid16539.hprof
-rw-------. 1 es es 3.9G Jul 22  2022 java_pid16754.hprof
-rw-------. 1 es es 8.1M Feb 20 10:10 java_pid17264.hprof
-rw-------. 1 es es 4.0G Jun 23  2022 java_pid17592.hprof
-rw-------. 1 es es 3.9G Nov 16 15:27 java_pid18394.hprof
-rw-------. 1 es es 3.9G Dec  7 10:46 java_pid18482.hprof
-rw-------. 1 es es 4.0G Dec 31  2021 java_pid18666.hprof
-rw-------. 1 es es 4.0G Feb 15 10:05 java_pid1868.hprof
-rw-------. 1 es es 3.9G Jul  5  2022 java_pid18761.hprof
-rw-------. 1 es es 3.9G Feb  4 15:35 java_pid1888.hprof
-rw-------. 1 es es 3.9G Jan 30 15:22 java_pid19434.hprof
-rw-------. 1 es es 3.9G Feb  6 10:03 java_pid19650.hprof
-rw-------. 1 es es 4.0G Dec 15 17:15 java_pid2013.hprof
-rw-------. 1 es es 3.9G Jan 24  2022 java_pid20173.hprof
-rw-------. 1 es es 4.0G Nov 29 22:12 java_pid20249.hprof
-rw-------. 1 es es 4.0G Dec 13  2021 java_pid20582.hprof
-rw-------. 1 es es 3.9G Oct 17 14:49 java_pid20638.hprof
-rw-------. 1 es es 3.9G Jul  6  2022 java_pid21832.hprof
-rw-------. 1 es es 3.9G Aug 19  2022 java_pid22318.hprof
-rw-------. 1 es es 4.0G Jan 20 15:02 java_pid2324.hprof
-rw-------. 1 es es 3.9G Aug  1  2022 java_pid23394.hprof
-rw-------. 1 es es 3.9G Aug 20  2022 java_pid23524.hprof
-rw-------. 1 es es 3.9G Oct 14 15:23 java_pid24154.hprof
-rw-------. 1 es es 4.0G Jun 10  2022 java_pid24265.hprof
-rw-------. 1 es es 3.9G Aug 15  2022 java_pid24483.hprof
-rw-------. 1 es es 3.9G Feb  7 10:23 java_pid24621.hprof
-rw-------. 1 es es 3.9G Mar 29  2022 java_pid24899.hprof
-rw-------. 1 es es 4.0G Jul 12  2022 java_pid24945.hprof
-rw-------. 1 es es 3.9G Oct  8 13:59 java_pid25223.hprof
-rw-------. 1 es es 4.0G Nov 22 19:17 java_pid25385.hprof
-rw-------. 1 es es 4.0G Jul  5  2022 java_pid25422.hprof
-rw-------. 1 es es 3.9G Apr 29  2022 java_pid25820.hprof
-rw-------. 1 es es 3.9G Oct 14 18:44 java_pid26020.hprof
-rw-------. 1 es es 3.7G Apr 20  2022 java_pid26216.hprof
-rw-------. 1 es es 4.0G Jan 20  2022 java_pid26618.hprof
-rw-------. 1 es es 4.0G Feb  7 18:22 java_pid27124.hprof
-rw-------. 1 es es 3.9G Aug 25  2022 java_pid27695.hprof
-rw-------. 1 es es 3.9G Jan 18 11:11 java_pid27752.hprof
-rw-------. 1 es es 3.8G Jan 13  2022 java_pid27831.hprof
-rw-------. 1 es es 3.9G Feb  9 11:59 java_pid28103.hprof
-rw-------. 1 es es 3.9G Jan 19 18:16 java_pid28145.hprof
-rw-------. 1 es es 3.9G Sep  6 15:34 java_pid28562.hprof
-rw-------. 1 es es 3.8G Jun  8  2022 java_pid29431.hprof
-rw-------. 1 es es 3.9G Nov  3 11:33 java_pid29869.hprof
-rw-------. 1 es es 4.0G Jan  2 13:58 java_pid30481.hprof
-rw-------. 1 es es 4.0G Dec 17  2021 java_pid30717.hprof
-rw-------. 1 es es 3.9G Dec  2  2021 java_pid3095.hprof
-rw-------. 1 es es 3.8G Jun  9  2022 java_pid31005.hprof
-rw-------. 1 es es 3.9G Aug 31 17:41 java_pid31053.hprof
-rw-------. 1 es es 3.9G Oct 21 12:39 java_pid31236.hprof
-rw-------. 1 es es 3.8G Dec 14  2021 java_pid31468.hprof
-rw-------. 1 es es 3.9G Feb 10 09:54 java_pid31967.hprof
-rw-------. 1 es es 4.0G Jan  4 14:34 java_pid32297.hprof
-rw-------. 1 es es 3.9G Feb  3  2022 java_pid32318.hprof
-rw-------. 1 es es 3.9G Feb 14  2022 java_pid32713.hprof
-rw-------. 1 es es 3.8G Jul 13  2022 java_pid3394.hprof
-rw-------. 1 es es 4.0G Nov 14 22:17 java_pid4066.hprof
-rw-------. 1 es es 3.9G Sep  7 11:16 java_pid5163.hprof
-rw-------. 1 es es 3.9G Jan 25 14:42 java_pid5494.hprof
-rw-------. 1 es es 3.8G Oct 31 17:14 java_pid5735.hprof
-rw-------. 1 es es 4.0G Sep  7 14:18 java_pid6559.hprof
-rw-------. 1 es es 3.9G Oct  9 23:55 java_pid6784.hprof
-rw-------. 1 es es 3.9G Aug 16  2022 java_pid6824.hprof
-rw-------. 1 es es 3.8G Jun 20  2022 java_pid7281.hprof
-rw-------. 1 es es 4.0G Apr  5  2022 java_pid7315.hprof
-rw-------. 1 es es 3.9G Dec 30  2021 java_pid7649.hprof
-rw-------. 1 es es 4.0G Jan 18 10:45 java_pid7655.hprof
-rw-------. 1 es es 3.9G Dec  2 16:19 java_pid8121.hprof
-rw-------. 1 es es 3.9G Nov  3 15:35 java_pid8212.hprof
-rw-------. 1 es es  11M Jun 29  2022 java_pid8948.hprof
drwxrwxr--. 3 es es   15 Sep 15  2021 nodes
[es@elastic-master data]$ 

查阅资料发现产生类似如下文件的原因是:内存溢出的典型特征。hprof文件是java进程的内存镜像文件,里面包含了内存堆泄露的详细使用信息。该文件是日志文件,是可以删除的。

三、解决问题

将hprof文件删除文件然后重启该服务,Elasticsearch随即恢复正常。


# 查询elastic进程

ps aux |grep elastic

# 强制结束

kill -9 6059

# 删掉溢出错误文件

rm -rf java_pid*

# 启动elastic服务

/home/elasticsearch/bin/elasticsearch -d

到此结束!文章来源地址https://www.toymoban.com/news/detail-506898.html

到了这里,关于Elasticsearch磁盘空间爆满及 java_pid*.hprof 处理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • linux系统删除文件之后服务器磁盘空间未释放处理

    一、通过rm 删除文件之后磁盘空间未释放,这是有进程仍在占用被删除的文件,要想真正的删除,只需要停止或重启进程,就会自动释放磁盘空间 二、应用进程很重要不能重启或停止,可以使用以下方法: 1.查看占用删除文件的进程号 使用lsof命令 lsof命令不存在,安装命令

    2024年02月06日
    浏览(63)
  • 记录一次服务器磁盘爆满问题

    事发突然,我在给博客的图片新增的时候,发现上传文件和下载文件一直报错。因为我用的是 1Panel 面板去管理服务器,话不多说看图: 一开始我还不知道发生了什么,一直以为是这个面板出了问题,然后我就一直刷新,强制刷新。发现并无卵用。 然后我就去控制台敲命令,

    2024年02月06日
    浏览(638)
  • ubuntu20.04 server 安装后磁盘空间只有一半的处理

    这里扩展:/dev/mapper/ubuntu–vg-ubuntu–lv

    2024年02月11日
    浏览(53)
  • 系统运维之docker磁盘爆满-搭配解决方法

    问题描述:日常巡检发现本地registry仓库磁盘爆满,如何解决?  解决步骤分析: 确定哪个文件或者目录爆满? 什么原因引起的爆满? 确认此目录或者文件作用? 确认解决方式? 配置预防手段 直接上图,查看哪里满了? 此处看出为/var/lib/docker/overlay2目录爆满 看到这里应该

    2024年01月16日
    浏览(40)
  • centos磁盘爆满可以清理mysql-bin.000011吗

    `mysql-bin.000011` 是 MySQL 的二进制日志文件,用于记录数据库中的更改操作。删除该文件可能会导致数据库恢复、备份和复制等功能的中断或数据丢失。因此,在删除任何 MySQL 的二进制日志文件之前,请确保您了解其潜在影响并采取适当的备份措施。 在执行删除操作之前,可以

    2024年02月13日
    浏览(50)
  • Centos系统磁盘占用:/dev/vda1占用100%空间不足处理与解决思路(实战docker占用空间太大)

    服务器Centos操作系统,空间不足的问题处理了三次了,决定把它的解决思路和处理过程记录下来。服务器空间不足是一个经常会遇到的问题,尤其是在大型应用程序和网站上。当服务器空间不足时,应该采取一些步骤来处理和解决这个问题。以下记录最近这次的解决方案和思

    2024年02月08日
    浏览(51)
  • docker磁盘爆满,linux docker /var/lib/docker/overlay2占用磁盘原因分析

    提示:这里描述项目中遇到的问题: 某天发现自己的博客网站挂掉了。上腾讯云发现是 磁盘已经满了 。 一般原因有下列几种情况,逐步分析即可 1.docker镜像占用磁盘 2.docker日志 3./var/lib/docker/overlay2下的容器文件(主要) 这种情况先使用 docker images 对象查看有哪些镜像,可

    2024年02月08日
    浏览(49)
  • 记录/var/lib/docker/overlay2/ 磁盘爆满的解决过程

      今天售后同事匆匆忙忙跑过来说:“客户那边的机器人挂掉了,app都运行不起来,可硬件都是正常的,我也不知道什么问题”,我心想:“我们机器人系统已经开发迭代好多年了,还会出现这种问题?”,没方法,还是借助我们开发好的远程工具排查吧,排查当然得从机器人

    2023年04月14日
    浏览(41)
  • 快速清理_卸载docker_找到不用的进程_centos磁盘爆满_清理磁盘---Linux工作笔记071

    查看大文件,并且按照大小排名  cd / | du -h |sort -hr|head -30 可以看到根据不用的结果进行删除 可以看到在/data/dict目录很大,里面的都可以删除 然后再去卸载docker,要不然,没有磁盘是卸载不了的 systemctl stop docker systemctl stop docker.socket yum remove docker-ce 来卸载docker 然后再来看使用

    2024年02月22日
    浏览(41)
  • (六)关于Linux中服务器磁盘爆满问题的几个解决思路

    在监控服务器性能的时候,发现服务器的磁盘占用很大,几乎快要爆满,具体的表现可能如下: 1、应用服务访问卡顿甚至失败; 2、数据库访问失败; 3、文件上传失败 等等 通过命令 df -h 查看磁盘占用情况,发现如下: 这里的占用是清除过的,所以并不算特别高。 这种现

    2024年02月04日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包