Suche senden
Hochladen
Oceanbase-淘宝云存储实践
•
6 gefällt mir
•
1,616 views
M
mysqlops
Folgen
oceanbase.淘宝.云存储,实践,nosql,数据库,存储
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 18
Empfohlen
淘宝Ocean base云存储实践 2011架构师大会
淘宝Ocean base云存储实践 2011架构师大会
knuthocean
Ocean base --千亿级海量数据库-lamper_日照
Ocean base --千亿级海量数据库-lamper_日照
knuthocean
Ocean base 千亿级海量数据库-日照
Ocean base 千亿级海量数据库-日照
Shaoning Pan
淘宝分布式数据处理实践
淘宝分布式数据处理实践
isnull
um-talk
um-talk
Yan Zhang
Cassandra Technical and history overview
Cassandra Technical and history overview
Xu Wang
张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析
Leechael
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
Chao Zhu
Empfohlen
淘宝Ocean base云存储实践 2011架构师大会
淘宝Ocean base云存储实践 2011架构师大会
knuthocean
Ocean base --千亿级海量数据库-lamper_日照
Ocean base --千亿级海量数据库-lamper_日照
knuthocean
Ocean base 千亿级海量数据库-日照
Ocean base 千亿级海量数据库-日照
Shaoning Pan
淘宝分布式数据处理实践
淘宝分布式数据处理实践
isnull
um-talk
um-talk
Yan Zhang
Cassandra Technical and history overview
Cassandra Technical and history overview
Xu Wang
张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析
Leechael
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
Chao Zhu
現代資料庫
現代資料庫
Jasper Chen
05 杨志丰
05 杨志丰
锐 张
Big Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDB
Monster Supreme
大数据时代feed架构 (ArchSummit Beijing 2014)
大数据时代feed架构 (ArchSummit Beijing 2014)
Tim Y
新浪微博Feed服务架构
新浪微博Feed服务架构
XiaoJun Hong
淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践
Min Zhou
浅析分布式存储架构—设计自己的存储- 58同城徐振华
浅析分布式存储架构—设计自己的存储- 58同城徐振华
zhuozhe
数据架构方面的一些探讨
数据架构方面的一些探讨
Chao Zhu
No sql@vip new
No sql@vip new
Chao Zhu
基于MySQL开放复制协议的同步扩展
基于MySQL开放复制协议的同步扩展
Sky Jian
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
knuthocean
Mesos-based Data Infrastructure @ Douban
Mesos-based Data Infrastructure @ Douban
Zhong Bo Tian
大型电商的数据服务的要点和难点
大型电商的数据服务的要点和难点
Chao Zhu
自助工具助Dba提升效率
自助工具助Dba提升效率
Chao Zhu
4 罗成对 docker与数据库的应用结合 罗成对-注解
4 罗成对 docker与数据库的应用结合 罗成对-注解
Jiang Shang
SMACK Dev Experience
SMACK Dev Experience
Chih-Hsuan Hsu
Feed服务架构-新浪微博新员工培训议题
Feed服务架构-新浪微博新员工培训议题
XiaoJun Hong
刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术
hdhappy001
Distributed Data Analytics at Taobao
Distributed Data Analytics at Taobao
Min Zhou
Percona Live 2012PPT: MySQL Cluster And NDB Cluster
Percona Live 2012PPT: MySQL Cluster And NDB Cluster
mysqlops
Percona Live 2012PPT:mysql-security-privileges-and-user-management
Percona Live 2012PPT:mysql-security-privileges-and-user-management
mysqlops
从运维系统的开发谈安全架构设计
从运维系统的开发谈安全架构设计
mysqlops
Weitere ähnliche Inhalte
Was ist angesagt?
現代資料庫
現代資料庫
Jasper Chen
05 杨志丰
05 杨志丰
锐 张
Big Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDB
Monster Supreme
大数据时代feed架构 (ArchSummit Beijing 2014)
大数据时代feed架构 (ArchSummit Beijing 2014)
Tim Y
新浪微博Feed服务架构
新浪微博Feed服务架构
XiaoJun Hong
淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践
Min Zhou
浅析分布式存储架构—设计自己的存储- 58同城徐振华
浅析分布式存储架构—设计自己的存储- 58同城徐振华
zhuozhe
数据架构方面的一些探讨
数据架构方面的一些探讨
Chao Zhu
No sql@vip new
No sql@vip new
Chao Zhu
基于MySQL开放复制协议的同步扩展
基于MySQL开放复制协议的同步扩展
Sky Jian
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
knuthocean
Mesos-based Data Infrastructure @ Douban
Mesos-based Data Infrastructure @ Douban
Zhong Bo Tian
大型电商的数据服务的要点和难点
大型电商的数据服务的要点和难点
Chao Zhu
自助工具助Dba提升效率
自助工具助Dba提升效率
Chao Zhu
4 罗成对 docker与数据库的应用结合 罗成对-注解
4 罗成对 docker与数据库的应用结合 罗成对-注解
Jiang Shang
SMACK Dev Experience
SMACK Dev Experience
Chih-Hsuan Hsu
Feed服务架构-新浪微博新员工培训议题
Feed服务架构-新浪微博新员工培训议题
XiaoJun Hong
刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术
hdhappy001
Distributed Data Analytics at Taobao
Distributed Data Analytics at Taobao
Min Zhou
Was ist angesagt?
(19)
現代資料庫
現代資料庫
05 杨志丰
05 杨志丰
Big Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDB
大数据时代feed架构 (ArchSummit Beijing 2014)
大数据时代feed架构 (ArchSummit Beijing 2014)
新浪微博Feed服务架构
新浪微博Feed服务架构
淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践
浅析分布式存储架构—设计自己的存储- 58同城徐振华
浅析分布式存储架构—设计自己的存储- 58同城徐振华
数据架构方面的一些探讨
数据架构方面的一些探讨
No sql@vip new
No sql@vip new
基于MySQL开放复制协议的同步扩展
基于MySQL开放复制协议的同步扩展
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
Mesos-based Data Infrastructure @ Douban
Mesos-based Data Infrastructure @ Douban
大型电商的数据服务的要点和难点
大型电商的数据服务的要点和难点
自助工具助Dba提升效率
自助工具助Dba提升效率
4 罗成对 docker与数据库的应用结合 罗成对-注解
4 罗成对 docker与数据库的应用结合 罗成对-注解
SMACK Dev Experience
SMACK Dev Experience
Feed服务架构-新浪微博新员工培训议题
Feed服务架构-新浪微博新员工培训议题
刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术
Distributed Data Analytics at Taobao
Distributed Data Analytics at Taobao
Andere mochten auch
Percona Live 2012PPT: MySQL Cluster And NDB Cluster
Percona Live 2012PPT: MySQL Cluster And NDB Cluster
mysqlops
Percona Live 2012PPT:mysql-security-privileges-and-user-management
Percona Live 2012PPT:mysql-security-privileges-and-user-management
mysqlops
从运维系统的开发谈安全架构设计
从运维系统的开发谈安全架构设计
mysqlops
大规模在线服务的高可用性保障
大规模在线服务的高可用性保障
mysqlops
淘宝搜索负责人谈淘宝搜索排序算法
淘宝搜索负责人谈淘宝搜索排序算法
mysqlops
如何写有效的Bug报告
如何写有效的Bug报告
mysqlops
MySQL Explain输出详解
MySQL Explain输出详解
mysqlops
很详细的搜索引擎优化培训教材
很详细的搜索引擎优化培训教材
mysqlops
腾讯产品运营之产品经理的视角
腾讯产品运营之产品经理的视角
mysqlops
阿里巴巴运维团队的无状态运维思路
阿里巴巴运维团队的无状态运维思路
mysqlops
Cbo100053
Cbo100053
mysqlops
淘宝主备数据库自动切换
淘宝主备数据库自动切换
mysqlops
阿里巴巴运维自动化的探索与规划
阿里巴巴运维自动化的探索与规划
mysqlops
分布式存储与TDDL
分布式存储与TDDL
mysqlops
大规模社区构建 百度贴吧的实践
大规模社区构建 百度贴吧的实践
mysqlops
对MySQL DBA的一些思考
对MySQL DBA的一些思考
mysqlops
基于用户行为的数据分析
基于用户行为的数据分析
mysqlops
怎样成为优秀软件模型设计者
怎样成为优秀软件模型设计者
mysqlops
构建高性能Html5网页游戏
构建高性能Html5网页游戏
mysqlops
MongoDB使用技巧
MongoDB使用技巧
mysqlops
Andere mochten auch
(20)
Percona Live 2012PPT: MySQL Cluster And NDB Cluster
Percona Live 2012PPT: MySQL Cluster And NDB Cluster
Percona Live 2012PPT:mysql-security-privileges-and-user-management
Percona Live 2012PPT:mysql-security-privileges-and-user-management
从运维系统的开发谈安全架构设计
从运维系统的开发谈安全架构设计
大规模在线服务的高可用性保障
大规模在线服务的高可用性保障
淘宝搜索负责人谈淘宝搜索排序算法
淘宝搜索负责人谈淘宝搜索排序算法
如何写有效的Bug报告
如何写有效的Bug报告
MySQL Explain输出详解
MySQL Explain输出详解
很详细的搜索引擎优化培训教材
很详细的搜索引擎优化培训教材
腾讯产品运营之产品经理的视角
腾讯产品运营之产品经理的视角
阿里巴巴运维团队的无状态运维思路
阿里巴巴运维团队的无状态运维思路
Cbo100053
Cbo100053
淘宝主备数据库自动切换
淘宝主备数据库自动切换
阿里巴巴运维自动化的探索与规划
阿里巴巴运维自动化的探索与规划
分布式存储与TDDL
分布式存储与TDDL
大规模社区构建 百度贴吧的实践
大规模社区构建 百度贴吧的实践
对MySQL DBA的一些思考
对MySQL DBA的一些思考
基于用户行为的数据分析
基于用户行为的数据分析
怎样成为优秀软件模型设计者
怎样成为优秀软件模型设计者
构建高性能Html5网页游戏
构建高性能Html5网页游戏
MongoDB使用技巧
MongoDB使用技巧
Ähnlich wie Oceanbase-淘宝云存储实践
查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统
hdhappy001
110412 kningsoft-mongo db-intro-usage-in-mercury
110412 kningsoft-mongo db-intro-usage-in-mercury
Zoom Quiet
Nosql三步曲
Nosql三步曲
84zhu
No sql带来了什么 孙立
No sql带来了什么 孙立
Shaoning Pan
百度系统部分布式系统介绍 马如悦 Sacc2010
百度系统部分布式系统介绍 马如悦 Sacc2010
Chuanying Du
大型网站架构的发展
大型网站架构的发展
drewz lin
大型网站架构的发展
大型网站架构的发展
Hesey
Qcon2013 罗李 - hadoop在阿里
Qcon2013 罗李 - hadoop在阿里
li luo
大规模数据处理
大规模数据处理
Kay Yan
大规模数据处理
大规模数据处理
airsex
分布式Key Value Store漫谈
分布式Key Value Store漫谈
Tim Y
分布式Key-value漫谈
分布式Key-value漫谈
lovingprince58
王龙:百度数据库架构演变与设计
王龙:百度数据库架构演变与设计
YANGL *
网站存储经验谈pdf
网站存储经验谈pdf
Yu Lin
网站存储经验谈-pdf
网站存储经验谈-pdf
Yu Lin
20141128(刘胜)UTC2014分布式和云服务的思考与实践——支付清算行业分布式架构的探索
20141128(刘胜)UTC2014分布式和云服务的思考与实践——支付清算行业分布式架构的探索
liu sheng
美团点评技术沙龙010-点评RDS系统介绍
美团点评技术沙龙010-点评RDS系统介绍
美团点评技术团队
Tup2 人人网张铁安
Tup2 人人网张铁安
yongboy
人人网技术经理张铁安 Feed系统结构浅析
人人网技术经理张铁安 Feed系统结构浅析
isnull
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
Xuefeng Zhang
Ähnlich wie Oceanbase-淘宝云存储实践
(20)
查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统
110412 kningsoft-mongo db-intro-usage-in-mercury
110412 kningsoft-mongo db-intro-usage-in-mercury
Nosql三步曲
Nosql三步曲
No sql带来了什么 孙立
No sql带来了什么 孙立
百度系统部分布式系统介绍 马如悦 Sacc2010
百度系统部分布式系统介绍 马如悦 Sacc2010
大型网站架构的发展
大型网站架构的发展
大型网站架构的发展
大型网站架构的发展
Qcon2013 罗李 - hadoop在阿里
Qcon2013 罗李 - hadoop在阿里
大规模数据处理
大规模数据处理
大规模数据处理
大规模数据处理
分布式Key Value Store漫谈
分布式Key Value Store漫谈
分布式Key-value漫谈
分布式Key-value漫谈
王龙:百度数据库架构演变与设计
王龙:百度数据库架构演变与设计
网站存储经验谈pdf
网站存储经验谈pdf
网站存储经验谈-pdf
网站存储经验谈-pdf
20141128(刘胜)UTC2014分布式和云服务的思考与实践——支付清算行业分布式架构的探索
20141128(刘胜)UTC2014分布式和云服务的思考与实践——支付清算行业分布式架构的探索
美团点评技术沙龙010-点评RDS系统介绍
美团点评技术沙龙010-点评RDS系统介绍
Tup2 人人网张铁安
Tup2 人人网张铁安
人人网技术经理张铁安 Feed系统结构浅析
人人网技术经理张铁安 Feed系统结构浅析
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
Mehr von mysqlops
The simplethebeautiful
The simplethebeautiful
mysqlops
Oracle数据库分析函数详解
Oracle数据库分析函数详解
mysqlops
Percona Live 2012PPT: introduction-to-mysql-replication
Percona Live 2012PPT: introduction-to-mysql-replication
mysqlops
Percona Live 2012PPT: MySQL Query optimization
Percona Live 2012PPT: MySQL Query optimization
mysqlops
Pldc2012 innodb architecture and internals
Pldc2012 innodb architecture and internals
mysqlops
DBA新人的述职报告
DBA新人的述职报告
mysqlops
分布式爬虫
分布式爬虫
mysqlops
MySQL应用优化实践
MySQL应用优化实践
mysqlops
eBay EDW元数据管理及应用
eBay EDW元数据管理及应用
mysqlops
基于协程的网络开发框架的设计与实现
基于协程的网络开发框架的设计与实现
mysqlops
eBay基于Hadoop平台的用户邮件数据分析
eBay基于Hadoop平台的用户邮件数据分析
mysqlops
QQ聊天系统后台架构的演化与启示
QQ聊天系统后台架构的演化与启示
mysqlops
腾讯即时聊天IM1.4亿在线背后的故事
腾讯即时聊天IM1.4亿在线背后的故事
mysqlops
MySQL数据库生产环境维护
MySQL数据库生产环境维护
mysqlops
Memcached
Memcached
mysqlops
DevOPS
DevOPS
mysqlops
MySQL数据库开发的三十六条军规
MySQL数据库开发的三十六条军规
mysqlops
Web请求异步处理和海量数据即时分析在淘宝开放平台的实践
Web请求异步处理和海量数据即时分析在淘宝开放平台的实践
mysqlops
新浪微博开放平台Redis实战
新浪微博开放平台Redis实战
mysqlops
MySQL Explain输出详解
MySQL Explain输出详解
mysqlops
Mehr von mysqlops
(20)
The simplethebeautiful
The simplethebeautiful
Oracle数据库分析函数详解
Oracle数据库分析函数详解
Percona Live 2012PPT: introduction-to-mysql-replication
Percona Live 2012PPT: introduction-to-mysql-replication
Percona Live 2012PPT: MySQL Query optimization
Percona Live 2012PPT: MySQL Query optimization
Pldc2012 innodb architecture and internals
Pldc2012 innodb architecture and internals
DBA新人的述职报告
DBA新人的述职报告
分布式爬虫
分布式爬虫
MySQL应用优化实践
MySQL应用优化实践
eBay EDW元数据管理及应用
eBay EDW元数据管理及应用
基于协程的网络开发框架的设计与实现
基于协程的网络开发框架的设计与实现
eBay基于Hadoop平台的用户邮件数据分析
eBay基于Hadoop平台的用户邮件数据分析
QQ聊天系统后台架构的演化与启示
QQ聊天系统后台架构的演化与启示
腾讯即时聊天IM1.4亿在线背后的故事
腾讯即时聊天IM1.4亿在线背后的故事
MySQL数据库生产环境维护
MySQL数据库生产环境维护
Memcached
Memcached
DevOPS
DevOPS
MySQL数据库开发的三十六条军规
MySQL数据库开发的三十六条军规
Web请求异步处理和海量数据即时分析在淘宝开放平台的实践
Web请求异步处理和海量数据即时分析在淘宝开放平台的实践
新浪微博开放平台Redis实战
新浪微博开放平台Redis实战
MySQL Explain输出详解
MySQL Explain输出详解
Oceanbase-淘宝云存储实践
1.
OceanBase---淘宝云存储实践 1
2.
3.
时效性:秒级,有时可折衷到分钟级
4.
性能高
5.
OLTP:几十万QPS,几万TPS
6.
OLAP:支持千万行记录实时计算
7.
易用性:支持类SQL使用方式2
8.
9.
分布式方案
10.
类Dynamo方案(Cassandra):弱一致性,关注度越来越低
11.
类Bigtable方案(HBase)
12.
功能支持弱,缺乏事务,跨机房,宕机恢复等各种问题;
13.
线下增量计算及分析型应用
14.
NOSQL与SQL融合方案(Google Megastore):不开源
15.
“拿来主义”不能完全满足真实需求3
16.
17.
海量数据的事务;
18.
大表Join问题;
19.
更好的大数据量OLTP解决方案
20.
低成本,高性能
21.
可扩展,舍弃无用的SQL功能;
22.
支持千万级海量数据的实时OLAP分析
23.
存储服务化4
24.
25.
将机器分成group,每个group内的机器存放的数据完全相同
26.
问题:数据迁移量太大,group内部增加副本做不到自动化;
27.
假设服务数据量1TB,内部传输带宽限制20MB/s,增加副本的时间为1TB / 20MB/s
= 50000s,大约10几个小时;
28.
迁移过程中机器再次出现故障怎么办?5
29.
30.
在线存储特点:数据量大但最近一段时间修改数据量不大
31.
静态数据和动态数据分离
32.
动态数据不断地合并到静态数据
33.
静态数据:数据量大,一般采用SAS存储;
34.
动态数据:数据量小,一般采用内存或者SSD服务;6
35.
36.
动态数据服务器UpdateServer:主+备,实时修改(内存+SSD)
37.
静态数据服务器ChunkServer:多台,B+树数据节点(磁盘或SSD)
38.
查询合并服务器MergeServer:多台,静态动态数据合并…7
39.
40.
数据模型类似关系型数据库
41.
强一致性
42.
支持跨行跨表事务
43.
高效Join
44.
可扩展性:支持动态增减机器,无需分库分表;
45.
可靠性高,机器宕机秒级恢复;
46.
自动负载均衡;
47.
采用Copy-on-write技术,单写多读不加锁,性能好;
48.
支持Online schema change;8
49.
50.
收藏表保存收藏信息条目,40亿+
51.
商品表保存收藏的宝贝详细信息,4亿+
52.
收藏夹展示:收藏表和商品表两张大表join
53.
收藏夹挑战
54.
一个用户可以收藏数千商品
55.
一件商品可被数十万用户收藏
56.
商品的属性实时变化
57.
单次查询响应时间<50ms
58.
实验效果
59.
Mysql 16 *
2减少为Oceanbase 12 + 2
60.
Load值更低,短期无扩容需求;
61.
平均响应时间 <50ms9
62.
63.
随机读性能好 (Intel SSD:3~4万IOPS
vs SAS磁盘:180 IOPS)
64.
顺序写性较很好(~100MB/s),随机写性能差
65.
SSD ¥20/GB
vs SAS ¥3/GB
66.
67.
多线程收发包
68.
千兆网卡:50万/s
69.
万兆网卡:500万/s,780MB/s10
70.
71.
主机房写节点将操作日志同步到备机房
72.
客户端配置多个机房地址,发生切换后自动轮询
73.
机房内自动切换,跨机房人工脚本切换
74.
暂不依赖类Paxos锁服务
75.
二期方案
76.
支持按比例将流量切分到多个机房11
77.
78.
MongoDB => Oceanbase
79.
5个集群,单UPS一天写入500G
80.
逐步上线中,目前单UPS写入接近200GB;
81.
量子统计:千万条数据的实时统计
82.
统计三个月数据,最大用户每天数据量10~20W条
83.
OLAP分布式统计功能开发中,预计年底部分上线
84.
SNS feed index:Cassandra
=> Oceanbase
85.
店铺装修
86.
TODO。。。12
87.
88.
如何支持动态创建/删除分布式索引?
89.
查询操作如何智能地选择索引?
90.
SQL支持
91.
支持where, having, group
by, order by, limit, offset
92.
支持IF语句;
93.
支持IN, 比较运算,四则运算
94.
不支持嵌套查询,外键约束等;13
95.
96.
每天几百GB到TB写数据量,总数据量百TB级别
97.
单UPS,支持跨行跨表事务
98.
UPS单机性能持续优化,探索更好的UPS硬件
99.
更多SQL功能支持,支持简单的SQL优化
100.
相当于廉价的Oracle + 小型机
+ EMC共享存储方案
101.
存储服务化:支持多UPS
102.
将数据划分为多个entity group,entity group内部强一致性,entity
group之间最终一致性14
103.
104.
105.
支持按列存储;(Done)
106.
压缩算法研究;
107.
OLAP算法优化探索,如top N,distinct近似算法15
108.
109.
只有心态开放,才能发展得更好
110.
原版,无删减
111.
系统发展中,很简陋但将持续改进
112.
开源地址:http://code.taobao.org/project/view/587/16
113.
114.
平台需求来源于业务需求提取
115.
避免过度设计
116.
重视测试
117.
测试资源严重不足
118.
单元测试 + 代码Review
119.
开发执行模块级压力测试,测试执行系统级测试
120.
开发编写并执行测试用例,测试专注测试工具自动化
121.
成败在于细节
122.
数据拷贝:Direct IO,权衡接口模块化与性能
123.
内存分配:内存池,线程缓存
124.
锁:线程缓存,减少Cache锁冲突,copy-on-write数据结构
125.
上下文切换:替换传统的任务队列模型17
126.
杨传辉(日照) 新浪微博:淘宝日照 18
谢谢