Suche senden
Hochladen
09系统架构师大会数据库技术-淘宝篇
•
10 gefällt mir
•
953 views
Dehua Yang
Folgen
介绍了淘宝网数据库使用历史,相信对于每一位DBA都有参考价值
Weniger lesen
Mehr lesen
Technologie
Bildung
Melden
Teilen
Melden
Teilen
1 von 20
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
State and Capital Game
State and Capital Game
orange_pizza
Future of Entertainment, According to @BettyDraper
Future of Entertainment, According to @BettyDraper
Helen Klein Ross
A Christmas Story2
A Christmas Story2
BibliotecaRoque
What's Next? Chatham-Siler City Advanced Manufacturing Site
What's Next? Chatham-Siler City Advanced Manufacturing Site
Chatham Economic Development Corporation
Why Fashion Matters
Why Fashion Matters
Naoko Kawachi
Visual Dictionary-curing
Visual Dictionary-curing
curing
利用Init connect做mysql clients stat 用户审计
利用Init connect做mysql clients stat 用户审计
Dehua Yang
Kelas menulis Wikipedia I
Kelas menulis Wikipedia I
Wikimedia Indonesia
Empfohlen
State and Capital Game
State and Capital Game
orange_pizza
Future of Entertainment, According to @BettyDraper
Future of Entertainment, According to @BettyDraper
Helen Klein Ross
A Christmas Story2
A Christmas Story2
BibliotecaRoque
What's Next? Chatham-Siler City Advanced Manufacturing Site
What's Next? Chatham-Siler City Advanced Manufacturing Site
Chatham Economic Development Corporation
Why Fashion Matters
Why Fashion Matters
Naoko Kawachi
Visual Dictionary-curing
Visual Dictionary-curing
curing
利用Init connect做mysql clients stat 用户审计
利用Init connect做mysql clients stat 用户审计
Dehua Yang
Kelas menulis Wikipedia I
Kelas menulis Wikipedia I
Wikimedia Indonesia
How to become a design Rockstar
How to become a design Rockstar
Syukran
Cisco training
Cisco training
Convinsys
tecno internet xavi oriol
tecno internet xavi oriol
xavioriol
Hak cipta dan fair use
Hak cipta dan fair use
Wikimedia Indonesia
Ese Neno Da Rua
Ese Neno Da Rua
rosal0453
QUESTION 7
QUESTION 7
TomWallace1301
Viva La Revolution: Why Universal Banking is under siege and what needs to be...
Viva La Revolution: Why Universal Banking is under siege and what needs to be...
Aman Narain
Theme 1 Night of the Twister and Blizzard vocabulary
Theme 1 Night of the Twister and Blizzard vocabulary
PEDH
Wiki Sabanda - Cara Membuat Artikel
Wiki Sabanda - Cara Membuat Artikel
Wikimedia Indonesia
Stockholm Presentation To Wsp Council On Results Of Iys 19 August09
Stockholm Presentation To Wsp Council On Results Of Iys 19 August09
Yehude Simon Valcárcel
Open Content in Kalimantan: Wikipedia and Open Street Map for Transparency Re...
Open Content in Kalimantan: Wikipedia and Open Street Map for Transparency Re...
Wikimedia Indonesia
Tall tales postcards
Tall tales postcards
PEDH
Lesson16vocab
Lesson16vocab
PEDH
1 opening-jeff-storagesummit-347340-zhs
1 opening-jeff-storagesummit-347340-zhs
ITband
赵泽欣 - 淘宝网前端应用与发展
赵泽欣 - 淘宝网前端应用与发展
d0nn9n
拥抱新的时代 数据可视化及用户界面杂谈 2011
拥抱新的时代 数据可视化及用户界面杂谈 2011
Gavin Wang
运营商去O浅析 公开版-王晓征
运营商去O浅析 公开版-王晓征
Cheng Feng
My sql overview 2012 04-25 by scott chen - 30min - tw-1
My sql overview 2012 04-25 by scott chen - 30min - tw-1
Ivan Tu
201101德律與國際領導品牌之巔峰交戰經驗
201101德律與國際領導品牌之巔峰交戰經驗
CHENHuiMei
Severless 雲端架構拆解,新創商業模式的雲端演化史 - 天氣即時預報 on AWS.pdf
Severless 雲端架構拆解,新創商業模式的雲端演化史 - 天氣即時預報 on AWS.pdf
Eric Ruan
虎扑网架构升级之路
虎扑网架构升级之路
Scourgen Hong
ChinaNetCloud - Aliyun Joint Event on Cloud Operations
ChinaNetCloud - Aliyun Joint Event on Cloud Operations
ChinaNetCloud
Weitere ähnliche Inhalte
Andere mochten auch
How to become a design Rockstar
How to become a design Rockstar
Syukran
Cisco training
Cisco training
Convinsys
tecno internet xavi oriol
tecno internet xavi oriol
xavioriol
Hak cipta dan fair use
Hak cipta dan fair use
Wikimedia Indonesia
Ese Neno Da Rua
Ese Neno Da Rua
rosal0453
QUESTION 7
QUESTION 7
TomWallace1301
Viva La Revolution: Why Universal Banking is under siege and what needs to be...
Viva La Revolution: Why Universal Banking is under siege and what needs to be...
Aman Narain
Theme 1 Night of the Twister and Blizzard vocabulary
Theme 1 Night of the Twister and Blizzard vocabulary
PEDH
Wiki Sabanda - Cara Membuat Artikel
Wiki Sabanda - Cara Membuat Artikel
Wikimedia Indonesia
Stockholm Presentation To Wsp Council On Results Of Iys 19 August09
Stockholm Presentation To Wsp Council On Results Of Iys 19 August09
Yehude Simon Valcárcel
Open Content in Kalimantan: Wikipedia and Open Street Map for Transparency Re...
Open Content in Kalimantan: Wikipedia and Open Street Map for Transparency Re...
Wikimedia Indonesia
Tall tales postcards
Tall tales postcards
PEDH
Lesson16vocab
Lesson16vocab
PEDH
Andere mochten auch
(13)
How to become a design Rockstar
How to become a design Rockstar
Cisco training
Cisco training
tecno internet xavi oriol
tecno internet xavi oriol
Hak cipta dan fair use
Hak cipta dan fair use
Ese Neno Da Rua
Ese Neno Da Rua
QUESTION 7
QUESTION 7
Viva La Revolution: Why Universal Banking is under siege and what needs to be...
Viva La Revolution: Why Universal Banking is under siege and what needs to be...
Theme 1 Night of the Twister and Blizzard vocabulary
Theme 1 Night of the Twister and Blizzard vocabulary
Wiki Sabanda - Cara Membuat Artikel
Wiki Sabanda - Cara Membuat Artikel
Stockholm Presentation To Wsp Council On Results Of Iys 19 August09
Stockholm Presentation To Wsp Council On Results Of Iys 19 August09
Open Content in Kalimantan: Wikipedia and Open Street Map for Transparency Re...
Open Content in Kalimantan: Wikipedia and Open Street Map for Transparency Re...
Tall tales postcards
Tall tales postcards
Lesson16vocab
Lesson16vocab
Ähnlich wie 09系统架构师大会数据库技术-淘宝篇
1 opening-jeff-storagesummit-347340-zhs
1 opening-jeff-storagesummit-347340-zhs
ITband
赵泽欣 - 淘宝网前端应用与发展
赵泽欣 - 淘宝网前端应用与发展
d0nn9n
拥抱新的时代 数据可视化及用户界面杂谈 2011
拥抱新的时代 数据可视化及用户界面杂谈 2011
Gavin Wang
运营商去O浅析 公开版-王晓征
运营商去O浅析 公开版-王晓征
Cheng Feng
My sql overview 2012 04-25 by scott chen - 30min - tw-1
My sql overview 2012 04-25 by scott chen - 30min - tw-1
Ivan Tu
201101德律與國際領導品牌之巔峰交戰經驗
201101德律與國際領導品牌之巔峰交戰經驗
CHENHuiMei
Severless 雲端架構拆解,新創商業模式的雲端演化史 - 天氣即時預報 on AWS.pdf
Severless 雲端架構拆解,新創商業模式的雲端演化史 - 天氣即時預報 on AWS.pdf
Eric Ruan
虎扑网架构升级之路
虎扑网架构升级之路
Scourgen Hong
ChinaNetCloud - Aliyun Joint Event on Cloud Operations
ChinaNetCloud - Aliyun Joint Event on Cloud Operations
ChinaNetCloud
Nginx深度開發與客制化
Nginx深度開發與客制化
Joshua Zhu
海通证券数据库备份恢复云平台实践(OTN Tour Shanghai 2017)
海通证券数据库备份恢复云平台实践(OTN Tour Shanghai 2017)
Zhaoyang Wang
企业应用与互联网的融合
企业应用与互联网的融合
Jacky Chi
台中青商微講堂 2015 雲端工具活用術 by Lala
台中青商微講堂 2015 雲端工具活用術 by Lala
LaLa Mai
Oracle saa s paas overview
Oracle saa s paas overview
Chris Lee
Oracle雲端服務介紹 taiwan
Oracle雲端服務介紹 taiwan
Chieh-An Yu
腾讯大讲堂57 超级qq的千万之路
腾讯大讲堂57 超级qq的千万之路
George Ang
美团点评技术沙龙07 - 外卖后端端技术架构
美团点评技术沙龙07 - 外卖后端端技术架构
美团点评技术团队
NoSQL@VIP — 唯品会NoSQL平台⾃动化发展及运维经验分享
NoSQL@VIP — 唯品会NoSQL平台⾃动化发展及运维经验分享
Leo Zhou
Arduino Yún使用Temboo服務
Arduino Yún使用Temboo服務
吳錫修 (ShyiShiou Wu)
去哪儿平台技术
去哪儿平台技术
d0nn9n
Ähnlich wie 09系统架构师大会数据库技术-淘宝篇
(20)
1 opening-jeff-storagesummit-347340-zhs
1 opening-jeff-storagesummit-347340-zhs
赵泽欣 - 淘宝网前端应用与发展
赵泽欣 - 淘宝网前端应用与发展
拥抱新的时代 数据可视化及用户界面杂谈 2011
拥抱新的时代 数据可视化及用户界面杂谈 2011
运营商去O浅析 公开版-王晓征
运营商去O浅析 公开版-王晓征
My sql overview 2012 04-25 by scott chen - 30min - tw-1
My sql overview 2012 04-25 by scott chen - 30min - tw-1
201101德律與國際領導品牌之巔峰交戰經驗
201101德律與國際領導品牌之巔峰交戰經驗
Severless 雲端架構拆解,新創商業模式的雲端演化史 - 天氣即時預報 on AWS.pdf
Severless 雲端架構拆解,新創商業模式的雲端演化史 - 天氣即時預報 on AWS.pdf
虎扑网架构升级之路
虎扑网架构升级之路
ChinaNetCloud - Aliyun Joint Event on Cloud Operations
ChinaNetCloud - Aliyun Joint Event on Cloud Operations
Nginx深度開發與客制化
Nginx深度開發與客制化
海通证券数据库备份恢复云平台实践(OTN Tour Shanghai 2017)
海通证券数据库备份恢复云平台实践(OTN Tour Shanghai 2017)
企业应用与互联网的融合
企业应用与互联网的融合
台中青商微講堂 2015 雲端工具活用術 by Lala
台中青商微講堂 2015 雲端工具活用術 by Lala
Oracle saa s paas overview
Oracle saa s paas overview
Oracle雲端服務介紹 taiwan
Oracle雲端服務介紹 taiwan
腾讯大讲堂57 超级qq的千万之路
腾讯大讲堂57 超级qq的千万之路
美团点评技术沙龙07 - 外卖后端端技术架构
美团点评技术沙龙07 - 外卖后端端技术架构
NoSQL@VIP — 唯品会NoSQL平台⾃动化发展及运维经验分享
NoSQL@VIP — 唯品会NoSQL平台⾃动化发展及运维经验分享
Arduino Yún使用Temboo服務
Arduino Yún使用Temboo服務
去哪儿平台技术
去哪儿平台技术
09系统架构师大会数据库技术-淘宝篇
1.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 陈吉平 Oracle ACE Director 《构建oracle高可用环境》一书作者 2009年7月 高可用分布式数据库系统 架构实践
2.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 内容介绍 • 淘宝网站发展历程 • 淘宝数据库的发展历程 • 分布式数据库体系架构案例 • 总结
3.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 淘宝网站发展历程 2000片/天 9000片/天 2W片/天 3.8W片/天 8W片尿片/天 0 500 1000 1500 2000 2500 2003 2004 2005 2006 2007 2008 2009 PV 全网成交 2008年: 交易额999.6亿 注册用户9800万 卖出1.4亿件服饰 卖出1366万部手机 卖出3130万张充值卡
4.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 V1.0:最早的淘宝网 • 2003年非典时期 • 使用LAMP架构(Linux, Apache, MySql, Php) – 业界流行的免费开源组合 • 使用Mysql数据库 – 很少的表,少量的数据 – 用户,交易,商品,其他 简单的结构,但符合当时需求
5.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 V2.0:持续发展 • 集中的数据库 – IBM小型机+EMC存储 – Oracle数据库 – Scale up扩展方式 • 宝贵的数据库资源 • 单点,不方便扩展 Oracle数据库 太多的应用机器 有限的链接池 集中的数据库,简单快速 集中的数据库
6.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 • 分布式存储(TFS) – 解决海量,非结构化数据的 存储 – Key-Value数据,如图片 • 分布式Cache(Tair) – Cache才是王道 使用PC Server做存储媒介 其它数据存储技术的发展
7.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 高可用之双机房构架 • Data Guard + Redo Mirror
8.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 V3.0:垂直扩展 • 基于服务的构架体系 – 用户中心,商品中心等 – 每个业务有独立的应用与 数据库环境 – 可单独部署与扩展 • 非核心数据从Oracle迁 移MySQL – E.g.,收藏夹 – 节省费用 松耦合,服务导向的架构
9.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 V4.0:水平扩展-读写分离 • 水平扩展构架体系 – Scale out的解决方案 – 缓解主库的压力 – 独特的消息中间件同 步方式(Notify) • 读库可以是Oracle或 者是Mysql。 – 读库可扩展 – 坏掉任何一个读库, 不影响业务 从Scale up 到Scale out的转变
10.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 V4.0:水平扩展-水平拆分 • 水平扩展构架体系 – Scale out的解决方案 – 对业务基本透明 – 可动态扩展 • 支持任何数据库 • 未来支持多主结构 – 坏掉任何一个主库,不 影响业务 • 未来支持压力动态均衡 – 数据可以动态分布 – 可以方便的扩展/减少数 据库主机 解决单库天花板问题
11.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 数据平台
12.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 未来:多数据中心分布 分布式多数据中心的支持
13.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 未来:云计算与平台服务 • 平台服务 – 如Amazon的S3,Ec2,Simple Db,存储服务和标准的开放 – 持久层不一定需要数据库
14.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 Case 1:读写分离 • 2009年实现 – Oracle到Mysql – 主库集中,读库水平分割 (主库的1/N) – 写操作与部分重要的读操 作回主库,其它的读操作 回读库 – 读库故障可回主库 • 收到的成效 – 缓解主库的压力瓶颈 – 读节点可扩展 – 性能提升 主 表 1 2 3 4 5 6 7 8 1,2 3,4 5,6 7,8 复制 读/写 读
15.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 读写分离体系结构 1/N 1/N 1/N 1/N 1/N 1/N 1/N Application TDDL … Read Write & Read Replication data(自主技术) 主数据库
16.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 Case 2:水平分割 • 2009年实现 – Mysql解决方案 – 水平分割 – 规划16个数据库, 1024张表 – 分拆之前,单表16亿条 记录 • 收到的成效 – 成本节省 – 速度更快 – 扩展性提高
17.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 Write & Read M S M S M S M S M S M S M S … Application TDDL TDDL 水平分割体系结构图 Read
18.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 分布需要好的监控体系 • 好的系统,需要好的监控
19.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 总结 • 数据库技术发展的取决于业务与数据的规模 – 没有最好的,只有最合适的 • 数据库技术需要结合整体构架一起考虑 – 不是所有的东西都要用数据库 – 配套的系统构架很重要 • 分布式环境中监控与工具的重要性 – 工具&自动化,节省人力资源 – 报警,了解最新状况 – 标准化,减少错误的发生
20.
© 2003-2009 Taobao.com
All Rights Reserved. 淘宝网 版权所有 谢谢! Q&A
Jetzt herunterladen