SpeedyCloud在使用Docker构建云平台中遇到的一些问题以及如何解决这些问题的一些思路，包括： 如何改进Docker网络？如何与OpenVSwitch整合？如何对Container资源实施更精细化的QoS限制？Container的资源使用如何监控？本演讲由 SpeedyCloud 首席架构师李雨来提供，希望以此帮助观望中的朋友，让大家通过非侵入式的方式改造Docker，以便符合自身的业务特点，更快地在业务上使用Docker。了解更多，欢迎访问：http://www.speedycloud.cn.

2. 深入 Docker 的资源管理
李雨来

3. Docker
• 资源的隔离
– Linux Namespaces
• 资源使用的限制（ QoS ）
– cgroups
• 资源使用的监控
– cgroups

4. Docker 资源的隔离

5. Docker 的资源隔离
• Linux Namespaces
– CLONE_NEWNS (2.4.19)
– CLONE_NEWUTS (2.6.19)
– CLONE_NEWIPC (2.6.19)
– CLONE_NEWPID (2.6.24)
– CLONE_NEWNET (2.6.24)
– CLONE_NEWUSER (3.8)

6. Docker 的资源隔离
• /proc/$PID/ns/
– ipc
– mnt
– net
– pid
– user
– uts

7. Docker 的资源隔离
• Namespaces 相关系统调用
– clone
– unshare
– setns
• Namespaces 相关命令行工具
– ip netns
– unshare

8. Docker 的资源隔离
• 通过对 clone 系统调用，在一组新的
Namespace 下运行的进程

9. 通过 Namespaces 可以干点什么
？

10. Docker 网络的改造
• 为 Docker 容器添加网卡
• 用法： network.sh docker-test veth0 192.168.1.10/24

11. Docker 网络的改造
• Linux Net Namespace: /proc/$PID/ns/net
• ip link add 命令创建 veth 网卡
• ip netns 命令通过检测 /var/run/netns 路径
调整 netns 的配置
• 使用 ovs-vsctl （或者 brctl ）来设置新网卡
的网络

12. Docker 网络的改造

13. Docker 网络的改造

14. Docker 资源的 QoS

15. Docker 的资源的 QoS
• Linux cgroups
• Docker 的 cgroups 模型
– libcontainer ： /sys/fs/cgroup/<subsystem>/docker/<cont
ainerID>
– Linux Container:
/sys/fs/cgroup/<subsystem>/lxc/<containerID>
• Kernel 启动参数
– cgroup_enable=memory swapaccount=1

16. Docker 的资源 QoS
• CPU 的 QoS
– cpuset.cpus
– cpu.shares
• 内存的 QoS
– memory.memsw.limit_in_bytes
– memory.limit_in_bytes
swap = memory.memsw.limit_in_bytes – memory.limit_in_bytes

17. 内存， Swap 和 OOM 的纠葛

18. 内存， Swap 和 OOM 的纠葛
• 内存， Swap 和 OOM 的触发
– 当内存不够用时， Kernel 会换出内存的 page 到
swap
– 如果 swap 和内存都满了，触发 OOM
• OOM 怎么工作
– 寻找占用内存最大的进程（子进程的内存占用
量会累计到父进程的内存占用量）
– 杀掉内存占用最多的进程

19. 内存， Swap 和 OOM 的纠葛
• 想想看，如果你跑得是 php-fpm 如果 OOM 了…

20. 内存， Swap 和 OOM 的纠葛
• 如果你不想死得很快，请保证你的
Container 中给 swap 留足空间！

21. Docker 的资源 QoS
• 磁盘 IO 的 QoS
– blkio.throttle.read_bps_device
– blkio.throttle.write_bps_device
– blkio.throttle.read_iops_device
– blkio.throttle.write_iops_device
• echo "<major>:<minor> <limit>" > throttle.write_iops_device

22. Docker 的资源 QoS
• 关于磁盘的 major 和 minor 号
– cat /proc/partitions
– ls –l /dev/
• 使用设备的 major 和 minor ，不是分区的
major 和 minor

23. Docker 的资源 QoS
• 网络带宽的 QoS
– OpenVSwitch
– Linux Bridge
• OpenVSwitch
– ovs-vsctl set interface veth1 ingress_policing_rate=1000
• ebtables + tc
– ebtables -A FORWARD -i veth1 -j mark --mark-set 0x1 --mark-target
ACCEPT
– qdics, class, filter
– tc filter add dev eth0 parent 1:0 protocol ip handle 1 fw flowid 1:1

24. Docker 的资源 QoS
• 磁盘容量的限制
– LVM 创建卷，挂载之后通过 --volume 参数让
Container 访问
– 使用 btrfs ，并设置 quota
• btrfs qgroup limit –e 100G
/var/lib/docker/btrfs/subvolumes/CONTAINER_ID

25. Docker 资源的监控

26. Docker 的监控
• CPU ： cpuacct.usage
• 内存：
– memory.usage_in_bytes
– memory.memsw.usage_in_bytes
• 磁盘 IO ：
– blkio.throttle.io_serviced
– blkio.throttle.io_service_bytes
• 带宽：
– /sys/class/net/<ethname>/statistics/

27. Out of Docker

28. Out of Docker
• Bocker
– https://github.com/p8952/bocker
• Dockerlite
– https://github.com/docker/dockerlite