K8S node磁盘清理

这篇具有很好参考价值的文章主要介绍了K8S node磁盘清理。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

K8S磁盘清理

K8S的部署形式相比传统非容器部署,会消耗更多的磁盘,在运行时可能会把磁盘占满。
这里以使用containerd运行时的K8S node为例,说明磁盘会用到那里了和如何清理磁盘

通用处理

磁盘清理:

du -h --max-depth=6  /  2>/dev/null | sort -h | tail -n 200

查看是什么占用磁盘多

另外也可以采用Node exporter去持续收集节点的磁盘使用信息,但针对非PV效果一般

Node目录

在ssh登录到node上
在笔者的实践中,可能特别大的目录如下

K8S container Runtime

11G /run/containerd/io.containerd.runtime.v2.task/k8s.io

/run/containerd/io.containerd.runtime.v2.task/k8s.io 目录包含了K8S容器运行时的可读写层数据。当发现此目录占用过多磁盘空间时,可以首先定位占用空间最多的Pod,通过以下命令找出并进一步排查原因:

根因是容器往容器的rootfs里(也就是运行时的文件目录)写数据,如在容器中不挂载日志PV的情况下直接在容器写日志

查看是什么pod用得多,这里的码是容器的id

cd /run/containerd/io.containerd.runtime.v2.task/k8s.io
du -sh *|sort -h
400M    d69bae349b1ff1f9fd904d470eb257c40d8c2bca84c752f1c1b19687d4214836
470M    445155da8c81dbe5d99a295f70943516a8604793350166b60fbe13d79af55d69
895M    20cb3cad45f400d93d6865065510378e8e5445107606c63fd3c606e002da7a56
2.1G    32317ff26babc88a567c8824cc272d46d782b6c4fbf1d6136788baaabe857c49
2.1G    4689c5537759fcd97666718f6209364c736cfa4fe9bee04b1cb16702cbe9c807
2.1G    e298b8fc01463587c116ae5878828ed126a06b77973e0d502eee95eacca570f0

找排名前几位给查一下(不要粘贴完整的,因为默认的crictl ps不显示全部的,像最后一条完整的是e298b8fc01463587c116ae5878828ed126a06b77973e0d502eee95eacca570f0,如下的crictl ps只是显示到e298b8fc01463)
看到是rancher,没办法确实大,后续再处理

crictl ps|grep  e298b8fc0
#看到是rancher,没办法确实大
e298b8fc01463       cb636b91766c4       8 days ago          Running             rancher                                          0                   6b9c18fb0436d       rancher-64cf6ddd96-6d9v5
解决办法1,容器层面删除

尝试删除容器

crictl rm -f e298b8fc0
e298b8fc0
e298b8fc0

后续deployment等会重新将pod和容器拉起

解决办法2 kubectl删除pod
kubectl delete pod -n cattle-system rancher-64cf6ddd96-6d9v5

后续等待replica set重新拉起pod

节点级别删除所有pod使其重建,清理runtime

只是删除pod重建

kubectl get pods -o wide  -A | awk '/Running/{print $1,$2}'   | xargs -r -n2 kubectl delete pod --force -n

这个命令不能覆盖所有的pod状态,后续可以尝试修改,但这个命令也可以批量删除一些其他的异常pod,通过变更状态

更推荐下面的做法

节点级别的处理

cordon 停止调度
影响最小,只会将node调为SchedulingDisabled
之后再发创建pod,不会被调度到该节点
旧有的pod不会受到影响,仍正常对外提供服务

恢复调度

kubectl uncordon node_name

drain 驱逐节点
首先,驱逐node上的pod,其他节点重新创建
接着,将节点调为SchedulingDisabled

恢复调度
kubectl uncordon node_name

  1. 封锁节点,先让节点变的不可调度

    kubectl cordon

  2. 对节点执行维护操作之前(例如:内核升级,硬件维护等),您可以使用 kubectl drain 安全驱逐节点上面所有的 pod。

安全驱逐的方式将会允许 pod 里面的容器遵循指定的 PodDisruptionBudgets 执行优雅的中止
注: 默认情况下,kubectl drain 会忽略那些不能杀死的系统类型的 pod,如果您想了解更多详细的内容,请参考kubectl drain

kubectl drain 返回成功表明所有的 pod (除了前面排除的那些)已经被安全驱逐(遵循期望优雅的中止期,并且没有违反任何应用程序级别的中断预算)。

然后,通过对物理机断电或者在云平台上删除节点所在的虚拟机,都能安全的将节点移除。

根因解决

原因是容器在没有PV的挂载也写入的文件,如业务容器,rocketMQ容器,MySQL容器等往文件路径写入大量日志或者其他东西(如rancher的helm charts),考虑把日志的目录从pod里挂载出来,或者干脆直接阻止这个行为让容器只能在标准流输出日志

容器镜像

10G     /var/lib/containerd/io.containerd.snapshotter.v1.overlayfs   

K8S的镜像
清理办法

nerdctr -n k8s.io images prune -a

清理没有在用的镜像,但镜像在用的就清不了,在生产上,如果出现大量的持续集成的镜像更换,考虑定时执行清理无用镜像的cronjob

PV(persistent volume持久化存储)

hostpath
  1. HostPath 类型 PV 存储容量过大

    在某些Kubernetes集群配置中,可能使用了hostPath类型的持久化卷插件,比如Rancher提供的hostPath StorageClass。在这种情况下,会在宿主机上指定一个目录作为持久化存储的位置,例如 /opt/local-path-provisioner。当这个目录下的数据量持续增长,可能会导致存储空间占用过大。

    处理方法:文章来源地址https://www.toymoban.com/news/detail-851273.html

    1. 确认已分配的PersistentVolumeClaims (PVC)
      • 首先,通过 kubectl get pvc 查看所有已创建的PersistentVolumeClaim,并找到那些关联到hostPath类型PV的PVC。确认它们是否仍然被正在运行的Pod所使用。
    2. 检查Pod与PVC的关系
      • 使用 kubectl get pods --show-labels 查找具有对应PVC标签的Pod,确定哪些Pod正在使用过大的PV。
    3. 数据迁移或清理
      • 如果该存储空间内有重要数据,需要先将其备份或迁移至其他存储位置。
      • 若数据不再需要,则可以直接在宿主机上安全地删除数据。
    4. 解除Pod与PVC的绑定
      • 先删除引用该PVC的Pod,让Pod停止运行并释放PVC。
      • 或者,如果Pod可以动态调整存储,可尝试缩小PVC的存储请求。
    5. 清理PersistentVolumeClaim (PVC)
      • 删除不再需要的PVC,执行 kubectl delete pvc <pvc-name>
    6. 清理PersistentVolume (PV)
      • 当PVC被删除后,Kubernetes会根据回收策略自动清理关联的PV。对于hostPath类型的PV,这意味着宿主机上的指定目录将会空置出来,但有时仍需手动清理残留文件。(对应PVC的删除策略,Retain,Delete,默认是delete)
      • 如果PV未被自动清理,可通过查看PV状态 (kubectl get pv) 并手动删除对应的PV (kubectl delete pv <pv-name>),然后清理宿主机上的实际存储路径。
分布式存储如longhorn
  1. 副本数量调整
    - 默认3副本,所以PV可能比原来大3倍(但是可以压缩部分)。
    - 使用Longhorn,可以通过其UI或YAML配置来更改卷的副本数量。调整前务必确保有足够的空间进行重新同步和数据迁移,以及评估对性能的影响。
  2. 清理未使用资源
    - 列出所有的PersistentVolumeClaim(PVC)和相关的PersistentVolumes(PV),识别并清理那些已经不再被任何Pod使用的PVC。一旦PVC被删除,Longhorn会自动根据其回收策略回收对应的PV,从而释放存储空间。
    - 登录到Longhorn管理界面,检查所有卷的状态,找出闲置或已废弃的卷,并采取相应的清理措施。
  3. 扩容或缩容存储卷
    - 如果有正在使用的卷接近满载,但未来还需要保留数据,可以考虑扩容这些卷,前提是底层存储允许。
    - 若卷内数据不再需要长期保存,也可以选择缩小其大小,前提是数据已经被妥善备份或迁移。
  4. Snapshot 和 Backup 管理
    - 验证是否有过多的快照或备份占用额外的存储空间。Longhorn支持周期性备份策略,确保只有包含新数据的备份才会被创建,并且无效的快照会被自动清理。
    - 通过Longhorn UI,可以手动删除不再需要的备份和快照,从而回收空间。
  5. 监控与告警
    - 设置和配置Longhorn的监控功能,以便及时获取存储空间使用率的警告信息,从而能够在存储空间即将耗尽之前采取行动。
  6. 资源优化与规划
    - 根据业务需求和集群资源情况,合理规划存储资源分配,确保资源的有效利用,例如采用适当的QoS策略限制过度消耗存储资源的应用程序。

到了这里,关于K8S node磁盘清理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • k8s+containerd安装

    准备两台服务器节点,如果需要安装虚拟机,可以参考《wmware和centos安装过程》 机器名 IP 角色 CPU 内存 centos01 192.168.109.130 master 4核 2G centos02 192.168.109.131 node 4核 2G 设置主机名,所有节点都执行 关闭防火墙,所有节点都执行 关闭swap内存,所有节点都执行 配置网桥,所有节点

    2024年02月15日
    浏览(42)
  • Containerd+Kubernetes搭建k8s集群

    视频教程地址:https://space.bilibili.com/3461573834180825/channel/seriesdetail?sid=3316691 之前写了一篇基于docker安装kubernetes的文章,这篇文档我们来使用containerd来安装kubernetes,相较于docker,containerd运行容器的时候效率更高,并且可以兼容docker镜像。基于docker安装kubernetes的文章地址:ht

    2024年02月07日
    浏览(46)
  • 第5关 K8S的新宠Containerd

    ------ 课程视频同步分享在今日头条和B站 大家好,我是博哥爱运维。这节课给大家讲下K8S新版本默认支持的容器运行时(CRI)Containerd 。 时至今日,docker原本的一手好牌被打得稀烂,Google的k8s在1.20明确说明后期将不再支持docker作为容器运行时(后面简称CRI),明面上说kubel

    2024年01月16日
    浏览(34)
  • Ansible+Shell+Containerd部署k8s

    目录 一.可联网正常使用的虚拟机四台 二.main主机部署ansible实现统一管理 1.下载ansible 2.主机清单和配置文件 3.下发密钥进行管理 三.node部署k8s基础准备 1.完善hosts文件,关闭firewalld,disabled掉selinux 2.时间同步、禁用交换分区、配置内核和ipvs 四.部署k8s 1.此处用到的文件 2.具体

    2024年02月21日
    浏览(41)
  • K8S单Master集群安装(Containerd)

    原创文档编写不易,未经许可请勿转载。文档中有疑问的可以邮件联系我。 邮箱:yinwanit@163.com 文章基于CentOS 7.8系统使用Containerdr作为容器运行时通过kubeadm指导搭建k8s单机master集群,使用calico作为k8s集群的网络插件。K8S官方在1.24版本彻底弃用docker。 需要服务器可以联网。

    2024年02月05日
    浏览(42)
  • K8S Containerd导入Docker image镜像

    Kubernetes在v1.20 版本宣布弃用 Dockershim (在v1.24正式移除),改用CRI接口去操作更为基础的containerd或CRI-O。 K8S在创建容器时,或多或少有些镜像无法正常拉取(网络等原因)。 还在使用 Docker Engine 时我们能方便的pull第三方同步的镜像,然后tag成需要的标签版本,让K8S从本地获

    2024年02月11日
    浏览(44)
  • K8s基础2——部署单Master节点K8s集群、切换containerd容器运行时、基本命令

    两种部署方式: kubeadm工具部署 。Kubeadm 是一个K8s 部署工具,提供 kubeadm init 和kubeadm join,用于快速部署 Kubernetes集群。 kubeadm 工具功能: kubeadm init:初始化一个 Master 节点。 kubeadm join:将工作节点加入集群。 kubeadm upgrade:升级 K8s 版本。 kubeadm token:管理 kubeadm join 使用的令

    2024年02月12日
    浏览(54)
  • k8s单节点部署,容器运行时使用containerd

    环境 系统 : entOS Linux release 7.9.2009 (Core IP:192.168.44.177 硬件要求:控制平面最少需要 2c2g 安装前环境准备 如果是集群部署还需要配置时间同步 关闭防火墙 关闭selinux 关闭swap分区 如果没有开启swap分区可以跳过这步 删除掉 /etc/fstab 有关swap分区的信息 设置主机名 开始安装容器

    2024年04月12日
    浏览(55)
  • jenkins发布Kubernetes(K8s)集群(基于containerd)

    上一篇文章 Jenkins入门与安装 1、k8s环境 版本 v1.26.5 ,容器为containerd 二进制安装Kubernetes(K8s)集群(基于containerd)—从零安装教程(带证书) 主机名 IP 系统版本 安装服务 master01 10.10.10.21 rhel7.5 nginx、etcd、api-server、scheduler、controller-manager、kubelet、proxy master02 10.10.10.22 rhel7.5 ngin

    2024年02月09日
    浏览(95)
  • 使用containerd从0搭建k8s(kubernetes)集群

    准备两台服务器节点,如果需要安装虚拟机,可以参考《wmware和centos安装过程》 机器名 IP 角色 CPU 内存 centos01 192.168.109.130 master 4核 2G centos02 192.168.109.131 node 4核 2G 设置主机名,所有节点都执行 关闭防火墙,所有节点都执行 关闭swap内存,所有节点都执行 配置网桥,所有节点

    2024年02月08日
    浏览(67)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包