美团配送自15年开始发展到现在一年多时间，订单从0到几百万单；这个高速发展的速度，对技术提出了高并发、高可用、高性能等很多的挑战，特别是O2O行业的即时性，使上面的挑战相较于一般的交易系统更加突出。本次分享将为大家介绍美团配送履约团队应对上面的挑战整个架构升级的优化历程。

1. 1
美团配送：从零到千万量级的实
时物流平台架构实践
@郑跃强

2. 2
个⼈人简介
16/9/23
2011年中科大 研究生毕业
2011.3 2013.7 2014.11 现在
阿里巴巴 人人网 新美大
基础架构部
1：评论中心架构研发
2：广告平台架构研发
3：数据库中间件研发与
维护
新美⼤大餐饮平台—配送事业部
物流事业部
1：物流平台建设
2：淘宝物流整合
打通
配送事业部
1：外卖订单中心架构研
发
2：配送平台架构研发

3. 3
目录
16/9/23
• 配送业务发展历程 
• 技术架构演进介绍 
• 系统稳定性面临的挑战 
• 我们的解决之道 

4. 4
配送业务概述
16/9/23
⽤用户 商家
骑⼿手
平台
• 四方利益 
• 三条业务线 
ü 自营 
ü 加盟 
ü 众包 

5. 5
配送业务发展历程
16/9/23
2015.112015.4 2016.3 2016.6 2016.8 ?
30W
100W
200W
300W
1000W
配送MVP 
众包崛起 
城市扩张 
增加供给 

6. 6
目录
16/9/23
• 配送业务发展历程 
• 技术架构演进介绍 
• 系统稳定性面临的挑战 
• 我们的解决之道 

7. 7
配送业务流程下的技术应用概览
16/9/23
商家展示  下单  接单  下运单  派单  确认  取餐/送达 
平均配送时长 
动态定价 
送达时间预测 
动态定价 
爆单 
动态配送费 
运单中心 
运力调配 
调度控制台 
调度引擎 
结算记账 
风控策略 
实时轨迹跟踪 
路径规划 
C
B
R
数据收集平
台 
离线/在线数据计算
挖掘平台 
特征抽取与机器学
习模型训练 
特征数据服务 

8. 8 
业务驱动架构升级
16/9/23
MVP 
阶段 
快速发 
展阶段 
做精做 
深阶段 
需求逐步积累，系统复杂度增加 
团队扩张 
稳定性要求提升 
业务发展： 

架构升级指导原则： 
按照业务发展阶段选择合适的架
构设计 
制定长期的架构升级路线，逐步
实施，小步迭代 

9. 9
配送架构演进-MVP阶段
16/9/23
• 业务复杂度低，快
速验证业务 
• 团队人员较少 
• 需求稳定性差 
业务特点： 
• 系统层面解决有无
问题 
• 快速搭建验证业务
的最小系统 
架构设计： 

10. 10
配送架构演进-配送1.0
16/9/23
存
储
层 
开放平台  API 
外卖商家  站长/运营 
运单服务  人员服务  资金服务 
服
务
层 
接
入
层 
管理Web 
DB   Tair 
骑手APP 
• 简单分层 
• 2周内搭建出可用版本 

11. 11
配送架构演进-快速发展阶段
16/9/23
• 需求迭代速度快，业务越来越
复杂 
• 团队扩张，细分小团队 
      
• 对系统稳定性要求越来越高 
业务特点： 
• 拆分：按业务拆分模块 
• 复用：抽取公共模块、业务
服务和基础服务分离、组件
化 
• 解耦：消息中间件等 
• 容量相关架构升级 
架构设计： 
• 一个模块功能越来越多，越来越难维护 
• 多个团队在一个模块上面开发影响效率 
• 业务规模变大，对系统稳定性要求变高 
• 缓存 
• DB等 

12. 12
配送架构演进-演进2.0
16/9/23
存
储
层 
开放平台 
外卖商家 
服
务
层 
接
入
层 
 
骑手APP 
API 
站长/运营 
调
度
管
理
人
员
管
理
结
算
管
理
数
据
管
理
…
交易
服务 
运
单
服
务
人
员
服
务
结
算
服
务
调
度
引
擎
商
家
服
务
…
运
单
服
务
人
员
服
务
结
算
服
务
商
家
服
务
…管理
服务 
分布式
缓存 
DB    ES 
人员组织信
息缓存集群 
LBS缓存集
群 
资金缓存集
群 
运单库  资金库  … 
基础
服务 
LBS服务  消息服务  天气服务  延迟队列  … 

• 业务垂直拆分 
• 交易服务和管理服务拆开 
• 公共基础服务抽取 

• 分布式缓存：按业务拆分 
• DB：按业务拆分 
• 搜索引擎 
运单集群 

13. 13
配送架构演进-做精做深阶段
16/9/23
• 按业务域粒度划分服务越来越
臃肿 
• 某些功能有平台化需求 
      
• 对稳定性要求更高 
业务特点： 
• 大系统小做 
• 业务模块分层 
• 自动化运维 
• 容量相关架构升级 
架构设计： 
• 数据资源 
• 计算资源 
• 高频、核心模块拆分独立服务 
• 业务服务层  +  基础业务服务层 
• 配送服务应急平台 

14. 配送架构演进-演进3.0
16/9/23
存
储
层 
外卖商家 
业务服
务层 
接入层 
 
骑手APP  站长/运营 
分布式
缓存 
DB 
  ES 
人员组织信
息缓存集群 
LBS缓存集
群 
资金缓存集
群 
资金库 
基础服务 
运单集群 
运单组合
服务 
人员组合
服务 
天平系统  定价服务 
基础业
务服务 
运单基础
服务 
骑手基础
服务 
… 
运单库 
归
档 
Track库 
… 
• 服务层拆分：  基础业务服务层、业务服务层 
• 大系统小做：  高频、核心模块单独成服务 
                              单一服务职责 
• DB：散库散表  /  归档 
• 计算瓶颈：分布式计算服务 
分布式计算服务  特征数据服务 

15. 配送架构演进-演进3.0之散库散表
16/9/23
背景： 





目标：为了支撑更高的单量(500w) 

解决方法：分库分表 
• 日运单：150W+ 
• 主库写QPS：1.1K+ 
• 主库读QPS：10K+ 
• 单表规模：1.5亿+ 

16. 难点分析： 

• 查询场景多且复杂 
• 众包和专送两种配送业务模式 
• 管理端存在复合及关联查询 
• 数据一致性问题 
配送架构演进-演进3.0之散库散表
拆表原则： 

• 维度越少越好 
• 支撑各个场景查询 



17. 商家  5 2
34
1
骑手 
站点  区域 
主键 
配送架构演进-演进3.0之散库散表
维度选择？ 

18. 如何划分维度？ 
bm_package
hash 路由表
分表1 
分表2 
分表3 
…
分表1 
分表2 
分表3 
…
bm_waybill
hash
路由表 
分表1 
分表2 
分表3 
…
分表1 
分表2 
分表3 
…
id city id
专送or众包 
众包表 
专送  众包 
配送架构演进-演进3.0之散库散表

19. 路由表如果解决数据均匀问题？ 
• 热点城市单独一张表 
• 非热点数据通过订单分布数据手动指定 
配送架构演进-演进3.0之散库散表

20. 如何解决多个维度数据一致性问题？ 
主维度
从维度
写请求
成功、失败都返回成功
成功
失败发送补偿消息
监听消息
使用主维
度数据覆
盖从维度
数据 
queue 
配送架构演进-演进3.0之散库散表

21. 如何解决管理端复杂查询？ 
分表数据源 
Databus 
binlog binlog binlog binlog
汇总数据源  Elasticsearch
配送架构演进-演进3.0之散库散表
数据异构： 
• 索引异构 
• 数据异构 

22. 22
架构设计总结-设计原则
16/9/23
设计原则 
指导原则  拆分原则 
实现原则  部署原则 
• 一切以稳定为中心 
• 不过度设计 
• 架构尽可能简单、清晰 
• 按业务域拆分系统 
• 按功能场景拆分系统 
• 根据非功能需求拆分系统 
• 服务抽象化 
• 低耦合 
• 服务可治理 
• 服务可回滚 
• 集群容错，避免单点 
• 多机房部署 

23. 23
目录
16/9/23
• 配送业务发展历程 
• 技术架构演进介绍 
• 系统稳定性面临的挑战 
• 我们的解决之道 

24. 24
挑战
16/9/23
• 业务产品迭代快 
• 业务发展迅猛 
• 业务尖峰明细 
• 业务时效性强 
• 系统复杂性高 
39个APP版本,  平均两个礼拜一个版本 
一秒内派出200单 

25. 25
目录
16/9/23
• 配送业务发展历程 
• 技术架构演进介绍 
• 系统稳定性面临的挑战 
• 我们的解决之道 

26. 26
解决之道
16/9/23
1.架构设计 
2.容量规划 
3.核心链路梳理 
1.监控体系建设  1.回滚 
2.流控 
3.降级 
1.casestudy 
2.完善sop 
3.完善监控报警 
4.完善工具 
主动防范 
事前预警 
事中处理 
事后总结  稳定性 

27. 27
主动防范-容量规划
16/9/23
• 静态容量预估  • 监控容量指标 
• 为扩容、降级
提供依据 
• 分析依赖关系 
• SLA制定 
• 选取容量指标 
• 压测 
容量
评测 
SLA 
趋势
预测 
容量
管理 

28. 28
主动防范-核⼼心链路梳理
16/9/23
核心链路梳理
关键点 
Ø 区分核心流程和非核心流程 
Ø 依赖关系梳理 
• 跨业务域调用尽量异步 
• 同步调用要设置超时时间 
• 异步调用要设置队列长度 
• 非核心功能尽量异步、可降级 
• 非核心流程可降级 

29. 29
事前预警-监控体系建设
16/9/23
一、全面性 
       4层监控体系建设 
业务 
服务监控 
基础组件监控 
硬件监控 
业务指标监控：运单环比情况监控 

服务监控：业务服务接口性能、JVM等 

基础组件监控：DB、缓存、消息中间件等 

硬件监控：CPU、网络、链接、IO等 

30. 30
事前预警-监控体系建设
16/9/23
二、准确性 
       (1)个性化OVS设置 

        
        
        (2)业务监控 
            根据统计值来预测阈值 

三、及时性 
         按不同报警等级选择不同的报警通道：短信  -->  大象  -->  邮件 

                
• cpu.busy  60% 
• net.bytes.in  40M 
…

31. 31
事中处理
16/9/23
Ø 回滚 
       线上问题90%是因为上线导致，所以首先要判断回滚是否可以解决问题 

安全隐藏 
安全隐藏 

32. 32
事中处理
16/9/23
Ø 降级 
       
使系统临时承担更大的流量压力 
具体策略： 
     
• 关闭影响性能非关键业务功能 
• 屏蔽非关键业务的入口 
• 页面静态化 
• 使用缓存数据牺牲数据一致性 
• 放弃后端的补偿机制以减少调用链时间等 

33. 33
事中处理
16/9/23
Ø 流控 
       人工流控 
配送平台 
外卖平台  骑手 
按业务线降级  骑手限流 
• 按类型 
• 按城市 
• 按区域 
• 按骑手尾号 

34. 34
事中处理
16/9/23
Ø 流控 
       自动流控  –  智能爆单 
天气 
运力 
时段 
爆
单
引
擎 
外
卖
商
家 
提高起送价 
商家下活动 
商家置修 

35. 35
事后总结
16/9/23
Ø CaseStudy 
5W2H(What、Who、Where、When、Why、How、How  much) 
Ø 完善SOP 
标准化操作流程，缩短故障时间 
      标准化上线流程，避免故障发生 
Ø 完善工具 
工欲善其事，必先利其器 

36. 36
谢谢聆听！