Docker的资源控制

• Docker的资源控制
  • CPU资源控制
  • cgroups四大功能
    • 设置cpu使用率上线
      • 示例：
        • 压力测试
        • 创建容器并进行限制
        • 对已存在的容器进行限制
          • 示例：
      • 设置cpu资源占用比（设置多个容器时才有效）
      • 设置容器绑定指定的CPU
    • 对内存使用的限制
      • 限制容器可以使用的最大内存
      • 限制可用的swap大小
    • 对磁盘Io配额控制（blkio）的限制
      • 创建容器，并限制写速度
      • 清除docker占用的磁盘空间
  • 总结
    • 对cpu的限制参数
    • 对内存的限制
    • 对磁盘IO的限制

CPU资源控制

• cgroups，是一个非常强大的1inux内核工具，他不仅可以限制被namespace隔离起来的资源，还可以为资源设置权、计算使用量、操控进程启停等等。所以cgroups（Control groups）实现了对资源的配额和度量。

cgroups四大功能

• 资源限制：可以对任务使用的资源总额进行限制
• 优先级分配：通过分配的cpu时间片数量以及磁盘IO带宽大小，实际上相当于控制了任务运行优先级
• 资源统计：可以统计系统的资源使用量，如cpu时长，内存用量等
• 任务控制：cgroup可以对任务执行挂起、恢复等操作

设置cpu使用率上线

• Linux通过crs（Completely Fair scheduler，完全公平调度器）来调度各个进程对CpU的使用。crs默认的调度周期是100ms。
• 我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少CPU时间。
• 使用--cpu-period 即可设置调度周期，使用--cpu-quota即可设置在每个周期内容器能使用的cPU时间。两者可以配合使用。
  CFS周期的有效范围是1ms～1s，对应的--cpu-period 的数值范围是1000~1000000。
• 而容器的CPU配额必须不小于1ms，即--cpu-quota的值必须>=1000。

示例：

docker run -itd --name c1 nginx:latest bash    #创建容器

cd /sys/fs/cgroup/cpu/docker/05973674f25c4d6a908e713547dfda6a58f02022e6d0e5f79bf17f62be013db1/ #切换目录到容器相关配置目录
cat cpu.cfs_quota_us   
-1                     
cat cpu.cfs_period_us  
100000

#cpu.cfs_period_us:cpu分配的周期（微秒，所以文件名中用us表示），默认为100000
#cpu.cfs quota us：表示该cgroups限制占用的时间（微秒），默认为-1，表示不限制。如果设为50000，表示占用50000/100000=50%的CPU。

压力测试

docker exec -it c1 bash  #登录容器
#写个死循环并运行
vi /cpu.sh
#!/bin/bash
i=0
while true
do
 let i++
done
chmod +x cpu.sh  #给脚本权限
./cpu.sh         #运行脚本
 top             #查看cpu使用率

创建容器并进行限制

docker run -itd --name c2 --cpu-quota 50000 centos:7

cd /sys/fs/cgroup/cpu/docker/b738328ca26c8fc29e14618d016ae61d36d4e39e3ba1a508d3bb6329eb0d7db0/
cat cpu.cfs_quota_us
50000

docker exec -it c2 bash  #登录容器
#写个死循环并运行
vi /cpu.sh
#!/bin/bash
i=0
while true
do
 let i++
done
chmod +x cpu.sh  #给脚本权限
./cpu.sh         #运行脚本
 top             #查看cpu使用率

对已存在的容器进行限制

直接修改/sys/fs/cgroup/cpu/docker/容器id/cpu.cfs_quota_us文件即可

示例：

cd /sys/fs/cgroup/cpu/docker/05973674f25c4d6a908e713547dfda6a58f02022e6d0e5f79bf17f62be013db1/
echo "33000" >cpu.cfs_quota_us
cat cpu.cfs_quota_us
33000

#此时在进去容器执行之前创建好的脚本
docker exec -it c1 bash
./cpu.sh

top #查看

设置cpu资源占用比（设置多个容器时才有效）

• Docker 通过--cpu-shares指定CPU份额，默认值为1024，值为1024的倍数（可以是0.5倍）。

#创建两个容器为c1和c2，若只有这两个容器，设置容器的权重，使得c1和c2的CPU资源占比为1/3和2/3。
docker run -itd --name c1 --cpu-shares 512 centos:7
docker run -itd --name c2 --cpu-shares 1024 centos：7

#分别进入容器，进行压力测试
yum install -y epel-release   #安装在线源
yum install -y stress         #安装检测软件
stress -c4   #产生四个进程，每个进程都反复不停的计算随机数的平方根

#查看容器运行状态（动态更新）
docker stats

设置容器绑定指定的CPU

#先分配虚拟机4个CPU核数
docker run -itd --name c3 --cpuset-cpus 1,3 centos:7 /bin/bash
#--cpuset-cpus：指定绑定核数可以是多个
#注意这里的核号是从0开始也就是说我指定的1，3代表第二个核和第四个核

#进入容器，进行压力测试
yum install -y epel-release
yum install stress -y 
stress -c 4

#执行top命令再按1查看cPU使用情况。

对内存使用的限制

限制容器可以使用的最大内存

-m（--memory=）：用于限制容器可以使用的最大内存

docker run -itd --name c4 -m 512m centos:7 /bin/bash

docker stats

限制可用的swap大小

--memory-swap :限制可用的swap大小

#强调一下，--memory-swap是必须要与--memory一起使用的。
#正常情况下，--memory-swap的值包含容器可用内存和可用swap。
#所以-m 300m --memory-swap=1g的含义为：容器可以使用300M的物理内存，并且可以使用700M（1G-300）的swap。
#如果--memory-swap 设置为0或者不设置，则容器可以使用的swap大小为-m值的两倍。
#如果--memory-swap 的值和-m值相同，则容器不能使用swap。
#如果--memory-swap值为-1，它表示容器程序使用的内存受限，而可以使用的swap空间使用不受限制（宿主机有多少swap容器就可以使用多少）。

对磁盘Io配额控制（blkio）的限制

--device-read-bps：限制某个设备上的读速度bps（数据量），单位可以是kb、mb（M）或者gb。

例：
docker run -itd --name test6 --device-read-bps /dev/sda:1mb centos:7 /bin/bash

--device-write-bps：限制某个设备上的写速度bps（数据量），单位可以是kb、mb（M）或者gb。

例：
docker run -itd --name c6 --device-write-bps /dev/sda:1mb centos:7 /bin/bash

--device-read-iops：限制读某个设备的iops（次数）
--device-write-iops：限制写入某个设备的iops（次数）

创建容器，并限制写速度

docker run -itd --name c6 --device-write-bps /dev/sda:1mb centos:7 /bin/bash
docker exec -it c6 bash
#通过dd命令来验证写的速度
dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct
5+0 records in
5+0 records out
52428800 bytes (52 MB) copied, 50.0015 s, 1.0 MB/s

清除docker占用的磁盘空间

docker system prune -a   #可用于清理磁盘，删除关闭的容器、无用的数据卷和网络

总结

对cpu的限制参数

docker run -cpu-period #设置调度周期时间1000~1000000
-cpu-quota              #设置容器进程的CPU占用时间，要与调度周期时间成比例
--cpu-shares            #设置多个容器之间的CPU资源占用比
--cpuset-cpus           #绑核（第一个CPU从0开始）

对内存的限制

-m 物理内存 [--memory-swap=总值]

对磁盘IO的限制

--device-read-bps 设备文件:1mb/1M   #读速度
--device-write-bps                 #写速度
--device-read-iops                 #读次数
--device-write-iops                #写次数
docker system prune -a             #释放无用的资源