1.
美团下一代分布式存储
李凯
likai09@meituan.com

2.
自我介绍
• 美团云高级技术专家
✤ 美团云存储团队TechLeader
✤ 阿里巴巴OceanBase团队UpdateServer模块TechLeader
✤ 百度Pyramid
✤ 北京邮电大学
✤ 研究方向：分布式存储、高可用、数据库

3.
目录
• 美团云存储现状
• 新一代系统架构
• 新一代技术亮点
• 技术展望

4.
美团云存储现状
• 集群规模
• PB级数据量，数亿个对象
• 日均新增数据量数TB
• 服务近百个业务线

5.
对象存储
图片处理 视频编辑回源鉴权
CDNCDN
SDK / Rest API
美团云存储生态

6.
美团云存储现状
• OpenStack-Swift

7.
美团云存储现状
•

8.
美团云存储现状
dispatcher
mysql client
swift
proxy
inner
destroyer
client
client
swift
obj
inner
destroyer
node
swift
obj
inner
destroyer
swift
obj
inner
destroyer
node
node
node
swift
proxy
inner
destroyer
node
……
……
1
4
4
3
2
2
outer
destroyer
5
•

9.
美团云存储现状
• Swift的发展瓶颈
• 无中心化设计
• 一致性Hash
• 最终一致性模型
• 没有将对象聚合存储
• Python项目性能和可维护性

10.
目录
• 美团云存储现状
• 新一代系统架构
• 新一代技术亮点
• 技术展望

11.
新一代系统架构
• 新一代存储系统架构亮点
• 跨机房强一致与高可用
• 集中化元数据存储
• 高并发网络框架
• 纠删码存储与在线恢复
• 多版本存储
• 数据去重
• 备份级别控制

12.
新一代系统架构
• S3对象存储系统特点
• 用户指定对象名字（Key）
• 一次写入多次读取
• 对象元数据修改
• 小对象与大对象并存
• Http协议接口
• AWS已成为事实标准

13.
新一代系统架构
• 技术选型
• 定制机型：带缓存Raid卡、SMR硬盘、单路CPU、万兆网卡
• 集中化元数据管理与调度，OceanBase：海量、高可用、ACID事务、MySQL兼容
• GoLang开发代理与调度节点
• C开发存储节点
• 基于libev的并发网络框架
• 基于多数派应答的跨机房强一致同步

14.
新一代系统架构
• 数据存储与元数据模型

15.
目录
• 美团云存储现状
• 新一代系统架构
• 新一代技术亮点
• 技术展望

16.
新一代技术亮点
• 存储节点设计
• 物理存储单位：Partition
• 对象存储单位：Record
• Group Commit
• Record索引
• 数据只追加不修改
• EC实时恢复

17.
新一代技术亮点
• 元数据设计
• Name表与ID表分离，元数据分布式缓存
• Bucket与Object多版本管理
• Object去重与引用计数
• Sharding表设计
• EC与碎片整理
• SchedServer选主
• 对象Meta存储

18.
新一代技术亮点
• OceanBase设计
• 基线数据与修改增量分离存储
• Raft一致性日志同步
• 去中心化选主
• 多版本并发
• 30w TPS处理能力
)
(

19.
新一代技术亮点
• 并发网络框架
• 借鉴阿里libeasy设计思路
• 多epoll_wait线程
• 跨语言序列化协议

20.
新一代技术亮点
• 跨机房高可用设计
• 本地写优化
• 多数派投票
• 冻结与恢复

21.
目录
• 美团云存储现状
• 新一代系统架构
• 新一代技术亮点
• 技术展望

22.
技术展望
• 更全面的AWS-S3接口兼容
• GoLang并发网络框架
• 冷存储成本控制
• 定制硬件、冗余度更低的EC、冷数据关机...
• 多Region与跨Region备份
• …

23.
QQ
https://mos.meituan.com
@ http://weibo.com/mtmos
“meituanyun”
400 0015 335
谢谢