解决Hadoop审计日志hdfs-audit.log过大的问题

这篇具有很好参考价值的文章主要介绍了解决Hadoop审计日志hdfs-audit.log过大的问题。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

【背景】

新搭建的Hadoop环境没怎么用,就一个环境天天空跑,结果今天运维告诉我说有一台服务器磁盘超过80%了,真是太奇怪了,平台上就跑了几个spark测试程序,哪来的数据呢?

【问题调查】

既然是磁盘写满了,那首先就要找到具体是什么数据写满的磁盘。

用df查看,是根目录,还不是数据盘;

df -h

于是用du命令再挨个检查目录,看看具体是什么文件这么大

du -h --maxx-depth=1 . 

终于发现在Hadoop的日志目录下,有一堆hdfs-audit.log日志,并且每个都有好几百M,删除之后,跟目录瞬间从81%减低到了42%;

问题是暂时解决了,可这样不是长久之计,审计日志还在写,过几天还得来删除。

【解决办法】

从Ambari页面上查看hdfs的配置,搜索关键字“audit”

解决Hadoop审计日志hdfs-audit.log过大的问题,大数据,hadoop,hdfs,大数据

接着往下拉,发现审计日志配置的是INFO级别:

解决Hadoop审计日志hdfs-audit.log过大的问题,大数据,hadoop,hdfs,大数据 

于是改为WARN级别,保存后重启hdfs相关组件。

解决Hadoop审计日志hdfs-audit.log过大的问题,大数据,hadoop,hdfs,大数据

 

过了几天后,再检查服务器,发现磁盘根目录使用率没有明显增大,问题完美解决了~ 文章来源地址https://www.toymoban.com/news/detail-623511.html

到了这里,关于解决Hadoop审计日志hdfs-audit.log过大的问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【Linux】安全审计-audit

    参考文章: 1、安全-linux audit审计使用入门 2、audit详细使用配置 3、Linux-有哪些常见的System Call? 写在前面: 1.写博客,做日常工作记录,好记性不如烂笔头嘛; 2.内容非原创,参考的文章已上文列出; 3.如有错误,欢迎指正。 audit是Linux内核提供的一种审计机制,由于audit是

    2024年02月04日
    浏览(23)
  • RabbitMQ log 文件过大 解决方案

    C:UsersAdministratorAppDataRoamingRabbitMQlograbbit@localhost.log rabbit@localhost.log MQ启动、连接日志 rabbit@localhost-sasl.log saal用来记录Erlang相关的信息,例如查看Erlang崩溃的报告 Logging — RabbitMQ Log level Verbosity Severity debug most verbose lowest severity info warning error critical highest severity none least v

    2024年02月16日
    浏览(33)
  • 【安全】linux audit审计使用入门

    1 audit简介 audit是Linux内核提供的一种审计机制,由于audit是内核提供的,因此,在使用audit的过程中就包含内核空间和用户空间部分: rules:审计规则,其中配置了审计系统需要审计的操作 auditctl:用户态程序,用于审计规则配置和配置变更 kaudit:内核空间程序,根据配置好

    2024年02月06日
    浏览(28)
  • Code-Audit(代码审计)习题记录

    介绍: 自己懒得搭建靶场了,靶场地址是 GitHub - CHYbeta/Code-Audit-Challenges: Code-Audit-Challenges为了方便在公网练习,可以随地访问,本文所有的题目均来源于网站HSCSEC-Code Audit 1、习题一  题目内容如下:   查看题目,发现是对$flag 参数进行了一系列加密,得到字符1wMDEyY2U2YTY0M2

    2024年02月22日
    浏览(31)
  • 【Oracle】设置FGA(Fine-Grained Audit)细粒度审计

    【声明】文章仅供学习交流,观点代表个人,与任何公司无关。 编辑|SQL和数据库技术(ID:SQLplusDB) 收集Oracle数据库内存相关的信息 【Oracle】ORA-32017和ORA-00384错误处理 FGA(Fine-Grained Audit)细粒度审计是Oracle提供的一种数据库审计方法,用于创建定制的审计设置。 可以通过调用Or

    2024年01月24日
    浏览(28)
  • 安全审计——等级保护日志审计要求的一种解决方案

        在网络安全等级保护中,对日志有着一系列的要求,通常以部署日志审计系统来满足等保的要求,此处我们选择syslog来实现日志的集中收集,统一管理。     在这里我们主要目标是满足安全区域边界、安全管理中心里的下面两条的要求。其中安全管理中心的日志

    2024年02月16日
    浏览(38)
  • SQL Server 事务日志文件过大 解决方案

    事务日志文件(Transaction Log File)是用来记录数据库更新情况的文件,扩展名为ldf。当出现以下情况时,就会报“ 事务日志已满 ”的错误: 日志文件没有设置了自动增长,当记录超过初始大小; 日志文件设置了自动增长,“最大文件大小”设置了具体的大小(如2000M),当

    2024年02月10日
    浏览(37)
  • Hadoop HDFS:海量数据的存储解决方案

    在大数据时代,数据的存储与处理成为了业界面临的一大挑战。Hadoop的分布式文件系统(Hadoop Distributed File System,简称HDFS)作为一个高可靠性、高扩展性的文件系统,提供了处理海量数据的有效解决方案。本文将深入探讨HDFS的设计原理、架构组成、核心功能以及实际应用场

    2024年04月23日
    浏览(29)
  • 基于Hadoop的MapReduce网站日志大数据分析(含预处理MapReduce程序、hdfs、flume、sqoop、hive、mysql、hbase组件、echarts)

    需要本项目的可以私信博主!!! 本项目包含:PPT,可视化代码,项目源码,配套Hadoop环境(解压可视化),shell脚本,MapReduce代码,文档以及相关说明教程,大数据集! 本文介绍了一种基于Hadoop的网站日志大数据分析方法。本项目首先将网站日志上传到HDFS分布式文件系统

    2024年02月16日
    浏览(42)
  • 华为手机Log.d无法打印日志的解决

    最近又遇到华为手机无法打印日志的问题,网上查资料说是华为手机默认Log调试开关是没有打开的,那么我们就可以通过以下方法来打开Log开关: 1.进入拨号界面输入(***是系统自带的拨号界面,在本人的手机上其他拨号软件竟然没反应…也 是醉了…) 2.依次选择ProjectMenu—后

    2024年02月09日
    浏览(27)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包