[docker] Docker资源管理

这篇具有很好参考价值的文章主要介绍了[docker] Docker资源管理。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、docker资源控制

Docker通过Cgroup 来控制容器使用的资源配额,包括CPU、内存、磁盘三大方面,基本覆盖了常见的资源配额和使用量控制。Caroup 是ControlGroups的缩写,是Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如 cpu、内存、磁盘,io等等)的机制,被LXC、docker等很多项目用于实现进程资源控制。Cgroup本身是提供将进程进行分组化管理的功能和接口的基础结构,I/O或内存的分配控制等具体的资源管理是通过该功能来实现的。

  • 资源限制:可以对任务使用的资源总额进行限制。
  • 优先级分配:通过分配的cpu时间片数量以及磁盘IO带宽大小,实际上相当于控制了任务运行优先级。
  • 资源统计:可以统计系统的资源使用量,如cpu时长,内存用量等。
  • 任务控制: cgroup可以对任务 执行挂起、恢复等操作。

二、docker占用宿主机cpu的限制

2.1 cpu的使用率上限 

 Linux通过CFS (Completely Fair Scheduler,完全公平调度器)来调度各个进程对ceu的使用。CFS默认的调度周期是100ms 。我们可以设置每个容器进程的调度周期,以及在这个周期内各个容器最多能使用多少CPU时间。

使用--cpu-period 即可设置调度周期,使用--cpu-quota即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。CFS周期的有效范围是 1ms~1s,对应的--cpu-period 的数值范围是1000~1000000。而容器的CPU配额必须不小于1ms,即--cpu-quota的值必须>= 1000。而容器的CPU配额必须不小于1ms,即--cpu-quota的值必须>= 1000。

docker run -itd --name test5 centos:7 /bin/bash

docker ps -a

cd/sys/fs/cgroup/cpu/docker/9d415515c01e61a335bdc841e19b60a1ce54dd3cbaefeab7844fdcf785cd5aa4/

cd /sys/fs/cgroup/cpu/docker/
-1
cat cpu.cfs_period_us 
100000

#cpu.cfs_period_us:cpu分配的周期(微秒,所以文件名中用 us 表示),默认为100000。
#cpu.cfs_quota_us:表示该cgroups限制占用的时间(微秒),默认为-1,表示不限制。 如果设为50000,表示占用50000/100000=50%的CPU。

[docker] Docker资源管理,docker,docker,容器,运维

[docker] Docker资源管理,docker,docker,容器,运维

进行CPU压力测试 
docker exec -it test5 bash
vi /cpu.sh
#!/bin/bash
i=0
while true
do
let i++
done

chmod +x /cpu.sh
./cpu.sh

top					#可以看到这个脚本占了很多的cpu资源

[docker] Docker资源管理,docker,docker,容器,运维

[docker] Docker资源管理,docker,docker,容器,运维

设置50%的比例分配CPU使用时间上限 
docker run -itd --name test6 --cpu-quota 50000 centos:7 /bin/bash	#可以重新创建一个容器并设置限额
或者
cd/sys/fs/cgroup/cpu/docker/9d415515c01e61a335bdc841e19b60a1ce54dd3cbaefeab7844fdcf785cd5aa4/
echo 50000 > cpu.cfs_quota_us
docker exec -it 3ed82355f811 /bin/bash
./cpu.sh

top					#可以看到cpu占用率接近50%,cgroups对cpu的控制起了效果

#在多核情况下,如果允许容器进程完全占用两个 CPU, 则可以将 cpu-period 设置为 100000( 即 0.1 秒), cpu-quota设置为 200000(0.2 秒)。

[docker] Docker资源管理,docker,docker,容器,运维[docker] Docker资源管理,docker,docker,容器,运维

[docker] Docker资源管理,docker,docker,容器,运维 [docker] Docker资源管理,docker,docker,容器,运维

[docker] Docker资源管理,docker,docker,容器,运维

2.2 设置CPU资源占用比(设置多个容器时才有效) 

注意:该方式需要设置多个容器时才会生效 

 创建容器时可以使用选项  --cpu-shares  数值(该数值要为1024的倍数,1024代表一份,当个容器占用cpu的份额由自身分配的份数除于所有容器占用cpu的份数,就为该容器所占用cpu资源的百分比)

[root@localhost ~]#docker run -id --name b1 --cpu-shares 2048 centos:7
 
[root@localhost ~]#docker run -id --name b2 --cpu-shares 1024 centos:7
 
[root@localhost ~]#docker run -id --name b3 --cpu-shares 1024 centos:7
 
创建三个容器为 b1 和 b2 和 b3,设置容器的权重,使得b1和b2和b3的CPU资源占比为1/2和1/4和1/4。

[docker] Docker资源管理,docker,docker,容器,运维 开启三个终端,启动容器压测:

#三个容器均为以下压测操作
#下载压测工具依赖环境
yum install -y epel-release
#下载压测工具
yum install -y stress
#进行四个线程压测
stress -c 2
 
 
#再开启一个终端查看测试结果
docker stats

[docker] Docker资源管理,docker,docker,容器,运维

查看容器运行状态(动态更新) 

[docker] Docker资源管理,docker,docker,容器,运维

由测试结果, 可以看到在cPU进行时间片分配的时候,容器b1比容器b2和b3多一倍的机会获得cpu的时间片。但分配的结果取决于当时主机和其他容器的运行状态,实际上也无法保证容器 b2和b3一定能获得cpu时间片

比如容器b2和b3的进程一直是空闲的,那么容器b1是可以获取比容器b2和b3更多的cpu时间片的。极端情况下,例如主机上只运行了一个容器,即使它的cpu份额只有50,它也可以独占整个主机的cpu资源。

 Cgroups 只在容器分配的资源紧缺时,即在需要对容器使用的资源进行限制时,才会生效。因此,无法单纯根据某个容器的cpu 份额来确定有多少cpu资源分配给它,资源分配结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。

2.3 设置容器绑定指定的cpu 

查看主机中的cpu编号 
top   
按数字“1”

[docker] Docker资源管理,docker,docker,容器,运维

进行绑核创建容器  
[root@localhost ~]#docker run -id --name b4 --cpuset-cpus 1 centos:7

[docker] Docker资源管理,docker,docker,容器,运维 压力测试:

yum install -y epel-release
yum install -y stress
 
stress -c 1

[docker] Docker资源管理,docker,docker,容器,运维

三、内存使用的限制

 3.1 限制容器可以使用的最大内存

 m (或--memory=)选项用于限制容器可以使用的最大内存 

docker run -itd --name d1 -m 512m centos:7 /bin/bash
docker  stats

[docker] Docker资源管理,docker,docker,容器,运维

[docker] Docker资源管理,docker,docker,容器,运维

3.2 限制容器可用的swap 大小  

#限制可用的swap 大小,--memory-swap  

●强调一下, --memory-swap是必须要与 --memory(或-m)一起使用的。

●正常情况下, --memory-swap 的值包含容器可用内存和可用swap 。

●所以 -m 300m --memory-swap=1g 的含义为:容器可以使用300M 的物理内存,并且可以使用700M (1G - 300M)的swap。  ​  设置为0或者不设置,则容器可以使用的 swap 大小为 -m 值的两倍。  如果 --memory-swap 的值和 -m 值相同,则容器不能使用swap。  如果 --memory-swap 值为 -1,它表示容器程序使用的内存受限,而可以使用的swap空间使用不受限制(宿主机有多少swap 容器就可以使用多少)。

 #--memory-swap 的值包含容器可用内存和可用swap,减去-m的值才是可用swap的值。
 #表示容器可以使用512M的物理内存,并且可以使用512M的swap。因为1g减去512m的物理内存,剩余值才是可用swap。
 docker run -itd --name d2 -m 512m --memory-swap=1g centos:7 bash
 ​
 ​
 #--memoryswap值和 -m 的值相同,表示容器无法使用swap
 docker run -itd --name d3 -m 512m --memory-swap=512m centos:7 bash
 ​
 ​
 # --memory-swap 的值设置为0或者不设置,则容器可以使用的 swap 大小为 -m 值的两倍。
 docker run -itd --name d4 -m 512m centos:7 bash
 ​
 ​
 # --memory-swap 值为 -1,它表示容器程序使用的内存受限,但可以使用的swap空间使用不受限制(宿主机有多少swap 容器就可以使用多少)。
 docker run -itd --name d5 -m 512m --memory-swap=-1 centos:7 bash
 

四、对磁盘IO的配置控制(blkio)的限制  

-device-read-bps:限制某个设备上的读速度bps ( 数据量),单位可以是kb、mb (M)或者gb。

--device-write-bps : 限制某个设备上的写速度bps ( 数据量),单位可以是kb、mb (M)或者gb。

该速度是指每秒钟进行读写操作1M,1G或者是1kb 

--device-read-iops :限制读某个设备的iops (次数)

--device-write-iops :限制写入某个设备的iops ( 次数)

4.1 默认情况下容器的写速度 

[root@localhost ~]#docker run -id --name e1  centos:7
[root@localhost ~]#docker exec -it e1 bash
[root@8657384cb483 /]# dd if=dev/zero of=/mnt/test.txt bs=10M count=10 oflag=direct
## oflag=direct 规避文件读写系统中所带来的缓存,避免影响测试结果

[docker] Docker资源管理,docker,docker,容器,运维

4.2 进行写速度限制的容器创建  

docker run -it --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash

dd if=dev/zero of=/mnt/test.txt bs=10M count=10 oflag=direct

[docker] Docker资源管理,docker,docker,容器,运维

五、清除docker占用的磁盘空间 

docker system prune -a 可用于清理磁盘,删除关闭的容器、无用的数据卷和网络。 

docker system prune -a 

[docker] Docker资源管理,docker,docker,容器,运维 [docker] Docker资源管理,docker,docker,容器,运维文章来源地址https://www.toymoban.com/news/detail-823677.html

总结 

对cpu的限制参数

设置单个容器进程能够使用的CPU使用率上限
针对新建的容器:
docker run --cpu-period 单个CPU调度周期时间(1000~1000000)  --cpu-quota 容器进程能够使用的最大CPU时间(>=1000)

针对已存在的容器:
修改 /sys/fs/cgroup/cpu/docker/容器ID/ 目录下的 cpu.cfs_period_us(单个CPU调度周期时间)  cpu.cfs_quota_us(容器进程能够使用的最大CPU时间)  文件的值


设置多个容器的CPU占用份额(只能在多个容器同时运行且CPU资源紧张时生效)
docker run --cpu-shares 容器进程最大占用CPU的份额(值为1024的倍数)

设置容器绑定指定的CPU
docker run --cpuset-cpus CPUID1[,CPUID2,....]

对内存的限制 

设置容器能够使用的内存和swap的值
docker run -m 内存值  --memory-swap 内存和swap的总值
                                    设置 0 或 不设置,表示swap为内存的2倍
									设置 -1,表示不限制swap的值,宿主机有多少容器即可使用多少
									设置 与 -m 一样的值,表示不使用swap

对磁盘IO的限制 

docker run --device-read-bps    磁盘设备文件路径:速率                  #限制容器在某个磁盘上读的速度
           --device-write-bps   磁盘设备文件路径:速率                  #限制容器在某个磁盘上写的速度
		   --device-read-iops   磁盘设备文件路径:次数                  #限制容器在某个磁盘上读的次数
           --device-write-iops  磁盘设备文件路径:次数                  #限制容器在某个磁盘上写的速度

到了这里,关于[docker] Docker资源管理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【云原生】Docker Cgroups资源控制管理

    目录 一、cgroups简介 cgroups有四大功能: 二、cpu时间片的概念 三、对CPU使用的限制 3.1 设置CPU使用率上限 (1)查看容器的默认CPU使用限制 (2)进行压力测试 (3)创建容器时设置CPU使用时间限制 (4)对已存在的容器进行CPU限制 3.2 设置CPU资源占用比(设置多个容器时才有效

    2024年02月12日
    浏览(40)
  • Linux Cgroups进程资源限制管理 之 资源子系统限制/控制、Docker资源隔离与限制原理解读

    Linux cgroups(控制组)最初由Google工程师Paul Menage在2006年提出,并在Linux内核的2.6.24版本中首次引入。自那时以来,cgroups一直是Linux内核的一部分,并在容器化技术等领域中发挥着至关重要的作用。随着时间的推移,cgroups功能不断得到改进和扩展,以满足对资源管理和隔离性能

    2024年02月21日
    浏览(41)
  • 05. 容器资源管理

    目录 1、前言 2、CGroup 2.1、是否开启CGroup 2.2、Linux CGroup限制资源能使用 2.2.1、创建一个demo 2.2.2、CGroup限制CPU使用 2.3、Linux CGroup限制内存使用 2.4、Linux CGroup限制IO 3、Docker对资源的管理 3.1、Docker对CPU的限制 3.1.1、构建一个镜像 3.1.2、构建两个容器 3.1.3、查看CPU使用率 3.2、Doc

    2024年02月15日
    浏览(47)
  • 【基于容器的部署、扩展和管理】3.7 资源调度和优化

    往期回顾: 第一章:【云原生概念和技术】 第二章:【容器化应用程序设计和开发】 第三章:【3.1 容器编排系统和Kubernetes集群的构建】 第三章:【3.2 基于容器的应用程序部署和升级】 第三章:【3.3 自动化扩展和负载均衡】 第三章:【3.4 灰度发布和A/B测试】 第三章:【

    2024年02月08日
    浏览(46)
  • 【运维知识大神篇】运维人必学的Docker教程1(Docker安装部署+Docker镜像管理+容器管理常用命令+搭建docker的本地yum源+windows系统安装docker环境)

    本篇文章开始给大家介绍Docker,这个是我非常喜欢的一个服务,介绍给大家,希望大家也能喜欢! 目录 何为容器 Docker环境安装部署 一、yum安装(CentOS7.9) 二、rpm包安装(CentOS) 三、卸载docker环境 四、安装指定的docker版本 五、Ubuntu安装docker环境 六、使用deb安装docker 七、

    2024年01月18日
    浏览(104)
  • CNStack 虚拟化服务:实现虚拟机和容器资源的共池管理

    容器无疑已经成为新的云计算基础设施,企业私有云平台的建设重心,正在从虚拟化的计算、存储、网络的建设,转向构建以容器、微服务等为核心的云原生平台。不过值得注意的是,企业 IT 系统在进行容器化改造的过程中,由于历史遗留系统、技术债务、内核依赖等原因,

    2024年01月25日
    浏览(99)
  • DAY02_Spring—第三方资源配置管理&Spring容器&Spring注解开发&Spring整合Mybatis和Junit

    说明:以管理DataSource连接池对象为例讲解第三方资源配置管理 问题导入 配置数据库连接参数时,注入驱动类名是用driverClassName还是driver? 1.1 管理Druid连接池 数据库准备 【第一步】添加Druid连接池依赖 注意:除了添加以上两个依赖之外,别忘了添加spring-context依赖。 【第二

    2024年02月13日
    浏览(82)
  • DAY02_Spring第三方资源配置管理&Spring容器&Spring注解开发&Spring整合Mybatis和Junit

    说明:以管理DataSource连接池对象为例讲解第三方资源配置管理 问题导入 配置数据库连接参数时,注入驱动类名是用driverClassName还是driver? 1.1 管理Druid连接池 数据库准备 【第一步】添加Druid连接池依赖 注意:除了添加以上两个依赖之外,别忘了添加spring-context依赖。 【第二

    2024年02月14日
    浏览(57)
  • Docker实战07|Docker增加容器资源限制

    上一篇文章中,讲解了Docker run的具体流程以及Docker是如何改变PID为1的底层原理。 具体文章可见《Docker就应该这么学-06》 有需要的小伙伴可以回顾一下。 接下来本文会详细介绍一下Docker 是如何增加容器的资源限制 获取代码 上一节中,已经可以通过命令行  docker run -ti 的方

    2024年02月02日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包