介绍美团数据库运维自动化的发展历程，包括系统搭建之初的考虑、系统的整体架构、运维需求的一一应对、系统所涉及到的开源工具的使用以及注意事项。

1. 美团数据库运维自动化系统构建之路
翁宁龙 2016.08

2. 自我介绍
Ø 我是谁？
- 翁宁龙
- 2012年毕业参加⼯工作成为⼀一名DBA
- 2015年加⼊入美团，负责美团数据库运维自动化系统的建设⼯工作
Ø 联系⽅方式
- 邮箱：446978574@qq.com
- 微信：

3. 目 录
Ø 构建前的苦恼
- 数据库运维的多、杂、烦
Ø 构建中的坎坷和思考
- 第⼀一次吃螃蟹：1.0版系统
- 吃螃蟹之后的反思
- 2.0版系统的架构设计 & 典型功能实现案例（三个）
Ø 构建后的效果 & 后期计划
Ø Q & A

4. 目 录
Ø 构建前的苦恼
- 数据库运维的多、杂、烦
Ø 构建中的坎坷和思考
- 第⼀一次吃螃蟹：1.0版系统
- 吃螃蟹之后的反思
- 2.0版系统的架构设计 & 典型功能实现案例（三个）
Ø 构建后的效果 & 后期计划
Ø Q & A

5. 构建前的苦恼 - ⼀一线运维DBA
⼀一线运维DBA-小团
新集群申请
变更
MySQL
RD
……
虚IP
DNS扩容、拆分
SQL审核 &上线
升级
备份 账号 & 安全
数据⼀一致性
问题排查 & 报警处理
RD

6. 构建前的苦恼 - ⼿手动运维的烦恼
ü 两层或三层数据库架构
写DNS
LVS
主库
读DNS
LVS
从库 从库
搭建、扩容、拆分、切换 ……
ü 多 & 重复、没有成长
ü 杂 & 经常被打断
ü 烦 & RD经常不按照规范做事
报警处理、RD问题 ……
⼤大SQL、慢查询、程序重试、误操作 ……
主库
切换、从库流量操作造成业务报错……

7. 目 录
Ø 构建前的苦恼
- 数据库运维的多、杂、烦
Ø 构建中的坎坷和思考
- 第⼀一次吃螃蟹：1.0版系统
- 吃螃蟹之后的反思
- 2.0版系统的架构设计 & 典型功能实现案例（三个）
Ø 构建后的效果 & 后期计划
Ø Q & A

8. 构建中的坎坷和思考 - 1.0版系统设计之初的考虑
ü CMDB（基⽯石）
在线DDL、数据库账号申请、慢查询
ü 可自动化、自助化的运维操作
ü 开发⼈人员和成本
ü 开发形式
共用运维平台资源
“前后端分离”
⽅方便的信息操作、合理精准的业务描述

9. 构建中的坎坷和思考 - 1.0版系统架构设计&使用情况
前端模块
（django+MVC）
用 户
DB
任务扫描&处理
（python+shell）
ü 日均变更1800次（DDL）
ü 使用⼈人数约600⼈人

10. 构建中的坎坷和思考 - 1.0版的反思
ü 前端模块杂⽽而重
ü 没有接⼝口化，RD不能⽅方便接⼊入
ü 开发周期长，成本⾼高
ü 需求调整复杂
开发⼈人员多⽽而杂、依赖库重&可移植性差
ü ⾼高并发性、⾼高可用性差，不易扩展
ü 图像化展示做得不好
ü 任务的不可⼲干预（暂停、回滚、杀死）

11. 构建中的坎坷和思考 - 2.0版架构设计
标准化
⾃自助化
⾃自动化
- 接⼝口标准
- 数据标准
- 流程标准
- 操作自助
- 问题定位自助
- ⾼高可用
- 报警处理

12. 构建中的坎坷和思考 - 2.0版架构设计
ü RabbitMQ
消息队列（MQ）是⼀一种应用程序对应用程序的通信⽅方法。应用程序通过读写出⼊入队列的
消息（针对应用程序的数据）来通信，⽽而⽆无需专用连接来链接它们。

13. 构建中的坎坷和思考 - 2.0版架构设计
ü Celery
Celery ﾊ（芹菜）是基于Python开发的分布式任务队列。它支持使用任务队列的⽅方式在分布的
机器／进程／线程上执⾏行任务调度。 Celery的架构由三部分组成，消息中间件（message
broker），任务执⾏行单元（worker）和任务执⾏行结果存储（task result store）组成。

14. 构建中的坎坷和思考 - 2.0版架构设计
CMDB
任务执⾏行者
API层
业务模块
任务管理模块
/queue/alter /queue/switch
⽗父进程 ⼦子进程
用 户
前端Web celery
rabbitmq
TaskControl celery

15. 构建中的坎坷和思考 - 2.0版架构设计
TaskControl
fork
⼦子进程1 ⼦子进程2
fork
任务操作信息注册
init
任务执⾏行单元exit

16. 构建中的坎坷和思考 - 2.0版架构设计
CMDB
任务执⾏行者
API层
业务模块
任务管理模块
/queue/alter /queue/switch
⽗父进程 ⼦子进程
用 户
前端Web celery
rabbitmq
TaskControl celery
⽗父进程 ⼦子进程……

17. 构建中的坎坷和思考 - 2.0版功能实现案例⼀一：集群搭建
业务层
数据库⼊入⼝口
虚IP层
中间层
数据库层
DNS
IP:PORT IP:PORT
ATLAS ATLAS
Master
Slave Slave

18. 构建中的坎坷和思考 - 2.0版功能实现案例⼀一：集群搭建

19. 构建中的坎坷和思考 - 2.0版功能实现案例⼀一：集群搭建

20. 构建中的坎坷和思考 - 2.0版功能实现案例⼀一：集群搭建

21. 构建中的坎坷和思考 - 2.0版功能实现案例⼀一：集群搭建

22. 构建中的坎坷和思考 - 2.0版功能实现案例⼀一：集群搭建

23. 构建中的坎坷和思考 - 2.0版功能实现案例⼀一：集群搭建

24. 构建中的坎坷和思考 - 2.0版功能实现案例⼀一：集群搭建

25. 构建中的坎坷和思考 - 2.0版功能实现案例⼀一：集群搭建

26. 构建中的坎坷和思考 - 2.0版功能实现案例⼆二：在线表变更
批量的DDL或者DML语句
（1）测试库
（2）sqlparser
（1）命名规范
（2）字符集
（3）引擎
（4）索引
（5）执⾏行计划
……
pt-online-schema-change
API层
语法检查
语义检查
提交任务
任务提交者

27. 构建中的坎坷和思考 - 2.0版功能实现案例⼆二：在线表变更

28. 构建中的坎坷和思考 - 2.0版功能实现案例⼆二：在线表变更

29. 构建中的坎坷和思考 - 2.0版功能实现案例⼆二：在线表变更

30. 构建中的坎坷和思考 - 2.0版功能实现案例⼆二：在线表变更

31. 构建中的坎坷和思考 - 2.0版功能实现案例三：⾼高可用解决⽅方案（MHA）
数据库⼊入⼝口
DNS
IP:PORT IP:PORT
ATLAS ATLAS
Master
Slave Slave
CMDB
API
hookscheckerwrapper
1
1.21.3
2
3.1
3
3.2
4
5
6

32. 目 录
Ø 构建前的苦恼
- 数据库运维的多、杂、烦
Ø 构建中的坎坷和思考
- 第⼀一次吃螃蟹：1.0版系统
- 吃螃蟹之后的反思
- 2.0版系统的架构设计 & 典型功能实现案例（三个）
Ø 构建后的效果 & 后期计划
Ø Q & A

33. 构建之后的效果和后期计划 - 构建之后的效果

34. 构建之后的效果和后期计划 - 后期计划
CMDB
任务执⾏行者
API层
业务模块
任务管理模块
用 户
前端Web

35. 构建之后的效果和后期计划 - 后期计划
CMDB 任务执⾏行者
API层
业务模块
任务管理模块
用 户
前端Web
核⼼心组件库
核⼼心功能库
任务执⾏行平台
初始化
扩容
在线表变更
单点切换
上下线
拆分
报警自动处理
SQL审核
升级
……

36. Q & A