阿里云logtail采集容器内日志到sls导致容器内存增加

这篇具有很好参考价值的文章主要介绍了阿里云logtail采集容器内日志到sls导致容器内存增加。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

现象

nginx容器接入logtail后,因为服务请求量较大导致日志量快速增加,很快就触发了内存告警,甚至触发容器伸缩
查看内存使用如图所示(单位:GB,统计参数:container_memory_working_set_bytes)
阿里云logtail采集容器内日志到sls导致容器内存增加,solve,阿里云,云计算,nginx,kubernetes

排查过程

略去一大波nginx参数配置的苦逼历程...
最终排查后发现nginx使用内存并不多,而大部分内存是被pagecache占用。因为logtail会读文件,文件会占用pagecache,这时候系统释放是比较慵懒的,所以pagecache越用越多,这部分内存随时都可以释放,但是在容器里,这是不合理的

随后进行了一些操作测试对内存占用的影响

  1. 清理容器内日志
  2. 宿主机上清理pagecache

内存清理情况如下图
阿里云logtail采集容器内日志到sls导致容器内存增加,solve,阿里云,云计算,nginx,kubernetes

解决

虽然在宿主机增加定时脚本清理pagecache最省力,但是影响范围过大,不是很合理。最终采用容器内增加定时清理日志脚本解决,效果如下图
阿里云logtail采集容器内日志到sls导致容器内存增加,solve,阿里云,云计算,nginx,kubernetes文章来源地址https://www.toymoban.com/news/detail-570089.html

到了这里,关于阿里云logtail采集容器内日志到sls导致容器内存增加的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • springboot增加logback日志记录ip

    1、增加logback配置文件: 2、增加获取ip工具类: 3、增加logbackxml配置  完整xml:

    2024年02月11日
    浏览(49)
  • FPGA错误导致SMC接口数据采集异常

    FPGA错误导致SMC接口数据采集异常 在进行系统开发和硬件设计的过程中,我们经常会遇到各种各样的问题。其中,FPGA(现场可编程门阵列)作为一种重要的硬件设备,扮演着关键的角色。然而,在使用SMC(System Management Controller)接口采集数据时,有时会出现FPGA错误,从而导

    2024年02月08日
    浏览(59)
  • Linux服务器增加虚拟交换内存

    使用dd命令创建名为swapfile 的swap交换文件(文件名和目录任意): dev/zero是Linux的一种特殊字符设备(输入设备),可以用来创建一个指定长度用于初始化的空文件,如临时交换文件,该设备无穷尽地提供0,可以提供任何你需要的数目。 bs=1024 :单位数据块(block)同时读入/输出

    2024年02月15日
    浏览(53)
  • Docker实战07|Docker增加容器资源限制

    上一篇文章中,讲解了Docker run的具体流程以及Docker是如何改变PID为1的底层原理。 具体文章可见《Docker就应该这么学-06》 有需要的小伙伴可以回顾一下。 接下来本文会详细介绍一下Docker 是如何增加容器的资源限制 获取代码 上一节中,已经可以通过命令行  docker run -ti 的方

    2024年02月02日
    浏览(43)
  • 解决pytorch训练的过程中内存一直增加的问题

    代码中存在累加loss,但每步的loss没加item() 以上代码会导致内存占用越来越大,解决的方法是:train_l oss[\\\'loss\\\'] += loss.item() 以及 eval_loss[\\\'loss\\\'] += loss.item()。值得注意的是,要复现内存越来越大的问题,模型中需要切换model.train() 和 model.eval(),train_loss以及eval_loss的作用是保存模

    2024年02月04日
    浏览(51)
  • 对已有的docker容器增加新的端口映射

    在运行容器时指定映射端口运行后,如果想要添加新的端口映射,使用两种方式都可以,需要的朋友可以参考下 一般在运行容器时,我们都会通过参数 -p(使用大写的-P参数则会随机选择宿主机的一个端口进行映射)来指定宿主机和容器端口的映射,例如 这里是将容器内的

    2024年02月02日
    浏览(38)
  • 1、电商数仓(用户行为采集平台)数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume

    数据仓库( Data Warehouse ),是为企业制定决策,提供数据支持的。可以帮助企业,改进业务流程、提高产品质量等。 数据仓库的输入数据通常包括:业务数据、用户行为数据和爬虫数据等。 业务数据:就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、

    2024年02月12日
    浏览(45)
  • Qt C++ 在windows上三目运算不断增加内存

    今天在做摄像头项目的时候,运行程序很卡 打开任务管理器发现程序内存一直在增加 函数内部无任何的 new 和 malloc操作 最后在nv12转rgb像素转换函数发现是因为三目运算导致内存不断增长 最后替换了if 解决了这个问题 由于平时测试的摄像头分辨率都比较低,所以这个问题不

    2024年02月14日
    浏览(89)
  • 内存越界是否一定会导致程序崩溃吗?详解内存越界

    目录   1、什么是内存越界? 1.1、对数组的读越界  1.2、执行strcpy时的写越界 

    2024年02月03日
    浏览(47)
  • 【element-ui】el-form-item使用v-if导致的问题 , 增加Key

    问题:v-if在操作dom时 在根节点上进行的删减 导致 rules 判断的时候 无法取到 v-if 添加进来的prop值 解决:在 el-form-item 中添加一个属性key,key的值是唯一的(一般key和prop写一样的内容即可,因为rules里面的东西不能重复定义,所以肯定是唯一的。) 参考: 给el-form-item,添加

    2024年01月22日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包