Suche senden
Hochladen
基于MySQL的分布式数据库实践
•
27 gefällt mir
•
2,622 views
jackbillow
Folgen
基于MySQL的分布式数据库实践
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 38
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
HE ART MUSEUM.pptx
HE ART MUSEUM.pptx
AninditaDas933576
Capital IQ Company Screening
Capital IQ Company Screening
Jiaxin Low
Bashundhara city shopping mall
Bashundhara city shopping mall
Nahid0521
Sangath
Sangath
Shrida Venkatesh
Tadao Ando - Chikutso Asuka Museum
Tadao Ando - Chikutso Asuka Museum
Madhu Sagar
My Undergraduate Architecture portfolio
My Undergraduate Architecture portfolio
NurulIffah31
Arcosanti An Experimental Town in Central Arizona
Arcosanti An Experimental Town in Central Arizona
Sajjad Pm
Css introduction
Css introduction
Nicha Jutasirivongse
Empfohlen
HE ART MUSEUM.pptx
HE ART MUSEUM.pptx
AninditaDas933576
Capital IQ Company Screening
Capital IQ Company Screening
Jiaxin Low
Bashundhara city shopping mall
Bashundhara city shopping mall
Nahid0521
Sangath
Sangath
Shrida Venkatesh
Tadao Ando - Chikutso Asuka Museum
Tadao Ando - Chikutso Asuka Museum
Madhu Sagar
My Undergraduate Architecture portfolio
My Undergraduate Architecture portfolio
NurulIffah31
Arcosanti An Experimental Town in Central Arizona
Arcosanti An Experimental Town in Central Arizona
Sajjad Pm
Css introduction
Css introduction
Nicha Jutasirivongse
Thesis Report on Integrated Industrial Park
Thesis Report on Integrated Industrial Park
SohailHussain48
Case Study - Jawahar kala kendra
Case Study - Jawahar kala kendra
Onal Kothari
Immersive Led sphere dome display-inner side.pptx
Immersive Led sphere dome display-inner side.pptx
OcolourImmersiveLedd
409834656-YAMUNA-SPORTS-COMPLEX.pptx
409834656-YAMUNA-SPORTS-COMPLEX.pptx
MaureenNassanga
Introducing IIHS 2012
Introducing IIHS 2012
Aromar Revi
Royal belum rainforest resort
Royal belum rainforest resort
Andhra University
Ar. Raj rewal
Ar. Raj rewal
Anant Nautiyal
Olympic stadium in london
Olympic stadium in london
martenvisnap
PUBLIC LIBRARY DESIGN
PUBLIC LIBRARY DESIGN
salsa moyara
Nift banglore
Nift banglore
fathima salim
IIT Bombay - Case Study
IIT Bombay - Case Study
Shreya Vishnoi
Sangath, ahmedabad – b
Sangath, ahmedabad – b
arcmani143
Experience Design - Factors
Experience Design - Factors
Kannu Priya Rawat
Presentation
Presentation
Hotara007
Calico
Calico
alishashah155
Built heritage documentation
Built heritage documentation
Artemis Valanis
Centre Point Ahmedabad
Centre Point Ahmedabad
APIEDPratikPatel
JALMAHAL
JALMAHAL
Shaluu Bharadwaj
Shivraj singhnegi bes
Shivraj singhnegi bes
shivraj negi
Prestige Falcon City Case study by G.M.ARVINTH
Prestige Falcon City Case study by G.M.ARVINTH
Arvinth GM
数据库Sharding专题
数据库Sharding专题
清平 张
大型电商的数据服务的要点和难点
大型电商的数据服务的要点和难点
Chao Zhu
Weitere ähnliche Inhalte
Was ist angesagt?
Thesis Report on Integrated Industrial Park
Thesis Report on Integrated Industrial Park
SohailHussain48
Case Study - Jawahar kala kendra
Case Study - Jawahar kala kendra
Onal Kothari
Immersive Led sphere dome display-inner side.pptx
Immersive Led sphere dome display-inner side.pptx
OcolourImmersiveLedd
409834656-YAMUNA-SPORTS-COMPLEX.pptx
409834656-YAMUNA-SPORTS-COMPLEX.pptx
MaureenNassanga
Introducing IIHS 2012
Introducing IIHS 2012
Aromar Revi
Royal belum rainforest resort
Royal belum rainforest resort
Andhra University
Ar. Raj rewal
Ar. Raj rewal
Anant Nautiyal
Olympic stadium in london
Olympic stadium in london
martenvisnap
PUBLIC LIBRARY DESIGN
PUBLIC LIBRARY DESIGN
salsa moyara
Nift banglore
Nift banglore
fathima salim
IIT Bombay - Case Study
IIT Bombay - Case Study
Shreya Vishnoi
Sangath, ahmedabad – b
Sangath, ahmedabad – b
arcmani143
Experience Design - Factors
Experience Design - Factors
Kannu Priya Rawat
Presentation
Presentation
Hotara007
Calico
Calico
alishashah155
Built heritage documentation
Built heritage documentation
Artemis Valanis
Centre Point Ahmedabad
Centre Point Ahmedabad
APIEDPratikPatel
JALMAHAL
JALMAHAL
Shaluu Bharadwaj
Shivraj singhnegi bes
Shivraj singhnegi bes
shivraj negi
Prestige Falcon City Case study by G.M.ARVINTH
Prestige Falcon City Case study by G.M.ARVINTH
Arvinth GM
Was ist angesagt?
(20)
Thesis Report on Integrated Industrial Park
Thesis Report on Integrated Industrial Park
Case Study - Jawahar kala kendra
Case Study - Jawahar kala kendra
Immersive Led sphere dome display-inner side.pptx
Immersive Led sphere dome display-inner side.pptx
409834656-YAMUNA-SPORTS-COMPLEX.pptx
409834656-YAMUNA-SPORTS-COMPLEX.pptx
Introducing IIHS 2012
Introducing IIHS 2012
Royal belum rainforest resort
Royal belum rainforest resort
Ar. Raj rewal
Ar. Raj rewal
Olympic stadium in london
Olympic stadium in london
PUBLIC LIBRARY DESIGN
PUBLIC LIBRARY DESIGN
Nift banglore
Nift banglore
IIT Bombay - Case Study
IIT Bombay - Case Study
Sangath, ahmedabad – b
Sangath, ahmedabad – b
Experience Design - Factors
Experience Design - Factors
Presentation
Presentation
Calico
Calico
Built heritage documentation
Built heritage documentation
Centre Point Ahmedabad
Centre Point Ahmedabad
JALMAHAL
JALMAHAL
Shivraj singhnegi bes
Shivraj singhnegi bes
Prestige Falcon City Case study by G.M.ARVINTH
Prestige Falcon City Case study by G.M.ARVINTH
Andere mochten auch
数据库Sharding专题
数据库Sharding专题
清平 张
大型电商的数据服务的要点和难点
大型电商的数据服务的要点和难点
Chao Zhu
Modern Database Development Oow2008 Lucas Jellema
Modern Database Development Oow2008 Lucas Jellema
Lucas Jellema
Chap02: The database Development process
Chap02: The database Development process
ahmed naveed
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
Chao Zhu
豆瓣数据架构实践
豆瓣数据架构实践
Xupeng Yun
MySQL数据库设计、优化
MySQL数据库设计、优化
Jinrong Ye
MySQL技术分享:一步到位实现mysql优化
MySQL技术分享:一步到位实现mysql优化
Jinrong Ye
Andere mochten auch
(8)
数据库Sharding专题
数据库Sharding专题
大型电商的数据服务的要点和难点
大型电商的数据服务的要点和难点
Modern Database Development Oow2008 Lucas Jellema
Modern Database Development Oow2008 Lucas Jellema
Chap02: The database Development process
Chap02: The database Development process
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
豆瓣数据架构实践
豆瓣数据架构实践
MySQL数据库设计、优化
MySQL数据库设计、优化
MySQL技术分享:一步到位实现mysql优化
MySQL技术分享:一步到位实现mysql优化
Ähnlich wie 基于MySQL的分布式数据库实践
基于My sql的分布式数据库实践 公开
基于My sql的分布式数据库实践 公开
YANGL *
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
Xuefeng Zhang
NoSQL误用和常见陷阱分析
NoSQL误用和常见陷阱分析
iammutex
Bypat博客出品-服务器运维集群方法总结2
Bypat博客出品-服务器运维集群方法总结2
redhat9
内存数据库[1]
内存数据库[1]
小新 制造
MySQL设计、优化、运维
MySQL设计、优化、运维
Jinrong Ye
大型网站架构的发展
大型网站架构的发展
drewz lin
大型网站架构的发展
大型网站架构的发展
Hesey
数据架构方面的一些探讨
数据架构方面的一些探讨
Chao Zhu
Bypat博客出品-服务器运维集群方法总结
Bypat博客出品-服务器运维集群方法总结
redhat9
Exadata那点事
Exadata那点事
freezr
有道云笔记架构简介
有道云笔记架构简介
drewz lin
Bypat博客出品-服务器运维集群方法总结3
Bypat博客出品-服务器运维集群方法总结3
redhat9
基于MySQL可扩展架构设计
基于MySQL可扩展架构设计
jackbillow
浅谈 My sql 性能调优
浅谈 My sql 性能调优
thinkinlamp
MySQL应用优化实践
MySQL应用优化实践
mysqlops
4.陈群-唯品会大规模Redis集群存储架构演进.pdf
4.陈群-唯品会大规模Redis集群存储架构演进.pdf
StevenShing
豆瓣网技术架构变迁
豆瓣网技术架构变迁
reinhardx
大规模网站架构
大规模网站架构
drewz lin
新浪微博Feed服务架构
新浪微博Feed服务架构
XiaoJun Hong
Ähnlich wie 基于MySQL的分布式数据库实践
(20)
基于My sql的分布式数据库实践 公开
基于My sql的分布式数据库实践 公开
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
NoSQL误用和常见陷阱分析
NoSQL误用和常见陷阱分析
Bypat博客出品-服务器运维集群方法总结2
Bypat博客出品-服务器运维集群方法总结2
内存数据库[1]
内存数据库[1]
MySQL设计、优化、运维
MySQL设计、优化、运维
大型网站架构的发展
大型网站架构的发展
大型网站架构的发展
大型网站架构的发展
数据架构方面的一些探讨
数据架构方面的一些探讨
Bypat博客出品-服务器运维集群方法总结
Bypat博客出品-服务器运维集群方法总结
Exadata那点事
Exadata那点事
有道云笔记架构简介
有道云笔记架构简介
Bypat博客出品-服务器运维集群方法总结3
Bypat博客出品-服务器运维集群方法总结3
基于MySQL可扩展架构设计
基于MySQL可扩展架构设计
浅谈 My sql 性能调优
浅谈 My sql 性能调优
MySQL应用优化实践
MySQL应用优化实践
4.陈群-唯品会大规模Redis集群存储架构演进.pdf
4.陈群-唯品会大规模Redis集群存储架构演进.pdf
豆瓣网技术架构变迁
豆瓣网技术架构变迁
大规模网站架构
大规模网站架构
新浪微博Feed服务架构
新浪微博Feed服务架构
基于MySQL的分布式数据库实践
1.
基亍MySQL的分布式实践
杨海朝 Senior MySQL DBA@SINA jackbillow@gmail.com DTCC 2011 2011.4.15
2.
业务增长
usage
3.
议题 • Sharding策略 • Cache应用 •
NoSQL应用 • 多IDC部署
4.
Database Sharding what drives
the need for database sharding? http://www.codefutures.com/database-sharding/
5.
Database Sharding what is
database sharding? http://www.codefutures.com/database-sharding/
6.
前期 • 一开始就考虑CAP &
BASE理论 • 异步所有能异步的操作 • 避免分布式事务
7.
前期 按功能分割: • 不同的业务不同的DB • Master/Slaves •
MPSM • 多个DB一个port
8.
前期 水平切分: • 索引和数据在不同的DB • Table
partitioning(256张tables)
9.
Scaling实践#1 • SPSM • 提高slave数量
10.
Scaling实践#2 • 索引和数据物理分开 • 一个DB一个端口
11.
Scaling实践#3 提高单机的性能: • SSD • IODrive •
Cachecade • Flashcache
12.
Scaling实践#4.1 Master不拆分Slave分成多组
13.
Scaling实践#4.2 以表对象进行拆分
14.
Scaling实践#4.3 按不同partitioning key进行拆分
15.
Scaling实践#5 时间维度来分,持续归档
16.
Scaling实践#6 中间件来减少开发和运维的成本
17.
Sharding原则 • 一开始就关注架构设计 • Scale-up
Scale-out Scale-up • 成本可控下硬件是首选 • 逐步解决拆分中成本问题
18.
挑战 • 如何减少TCO? • 如何权衡业务后期的功能扩展? •
故障率如何降低? • 大批量的快速部署?
19.
Caching Everything runs from
memory in Web 2.0 --Evan Weaver
20.
Caching • Delay is
the fault --Me DB的延时越来越不可以接受,进行了并发 复制的开发,降低响应时间还是没有解决
21.
Caching 第一阶段: MySQL +
Memcached Memcache Server Client Database
22.
Caching 第二阶段: MySQL +
UDF
23.
Caching 第三阶段: 按冷热度分层 http://natishalom.typepad.com/nati_shaloms_blog/2010/10/nocap.html
24.
Caching原则 • 采用一致性Hash部署 • Cache按照冷热分层 •
所有热数据都放入Cache • 双写来避免雪崩问题 • 队列方式持久化落入MySQL
25.
挑战 • 双写导致应用复杂? • 实现locality
RAM? • 多IDC部署Cache的复杂度问题?
26.
NoSQL • No use
only MySQL • 高性能 • 丰富的数据类型
27.
NoSQL 独立redis: • 关系 • 计数 •
通知 ……
28.
NoSQL MySQL Redis复制 •
通过RBR解析BINLOG同步到redis • Redis提供特定数据结构的读访问 • 实现关系型数据转变成队列数据
29.
NoSQL Redis MySQL复制 •
Redis提供特定数据结构的读写 • 通过replication接口同时写入到MySQL
30.
NoSQL 对redis进行完善 • 解决replicaton问题(rdb+aof) • 容灾问题(加入position思想)
31.
挑战 • 如何批量管理? • 后期容量扩展? •
复杂数据的load速度问题?
32.
多IDC部署 Federated table
33.
多IDC部署 Master/Master
34.
多IDC部署 开发多主复制
35.
多IDC部署 Pub/sub + MySQL
replication http://www.codeproject.com/KB/WCF/ASENS.aspx?msg=2937455
36.
挑战 • 延时带来的应用时序问题? • 部署datacenter的数量有限?
37.
总结 • 持续的database sharding •
硬件解决是首选 • 数据库简化为存储 • 关系型和非关系结合 • 谨慎考虑多机房部署
38.
Thank you for
coming! @jackbillow jackbillow@gmail.com Q&A 长期招聘,欢迎加入!
Jetzt herunterladen