Suche senden
Hochladen
淘宝海量数据产品技术架构
•
Als PPTX, PDF herunterladen
•
50 gefällt mir
•
4,459 views
A
aleafs
Folgen
Technologie
Design
Melden
Teilen
Melden
Teilen
1 von 33
Jetzt herunterladen
Empfohlen
大數據的獲利模式,個人閱讀筆記
大數據的獲利模式
大數據的獲利模式
Chang Chiao Hui
淘宝数据库架构演进历程
淘宝数据库架构演进历程
Jian Peng
1.淘宝数据库发展的三个阶段 2.用户,商品,交易现在的架构 3. 2010双11大促的挑战 4. MySQL源代码研究的一些思路 5. 淘宝自主数据库Oceanbase原理介绍
淘宝数据库架构演进历程
淘宝数据库架构演进历程
zhaolinjnu
Ocean base内部探秘
Ocean base内部探秘
gettyying
historia
Filipe
Filipe
ostrovildo
Primeros auxilios
Primeros auxilios spuclm
Primeros auxilios spuclm
cx1hl
淘宝网架构:解密淘宝网的开源架构
淘宝网架构:解密淘宝网的开源架构
Cevin Cheung
用户行为,数据分析,数据挖掘,旅游,酷讯网
基于用户行为的数据分析
基于用户行为的数据分析
mysqlops
Empfohlen
大數據的獲利模式,個人閱讀筆記
大數據的獲利模式
大數據的獲利模式
Chang Chiao Hui
淘宝数据库架构演进历程
淘宝数据库架构演进历程
Jian Peng
1.淘宝数据库发展的三个阶段 2.用户,商品,交易现在的架构 3. 2010双11大促的挑战 4. MySQL源代码研究的一些思路 5. 淘宝自主数据库Oceanbase原理介绍
淘宝数据库架构演进历程
淘宝数据库架构演进历程
zhaolinjnu
Ocean base内部探秘
Ocean base内部探秘
gettyying
historia
Filipe
Filipe
ostrovildo
Primeros auxilios
Primeros auxilios spuclm
Primeros auxilios spuclm
cx1hl
淘宝网架构:解密淘宝网的开源架构
淘宝网架构:解密淘宝网的开源架构
Cevin Cheung
用户行为,数据分析,数据挖掘,旅游,酷讯网
基于用户行为的数据分析
基于用户行为的数据分析
mysqlops
Cloud, Azure, Big Data and AI
20171024 文化大學 2 big data ai
20171024 文化大學 2 big data ai
Meng-Ru (Raymond) Tsai
阿里巴巴数据中台实践
阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf
markmind
講座介紹 半導體教父張忠謀預言「物聯網是下一件大事(next big thing),半導體產業若缺席物聯網的發展,勢必被淘汰。」四大重要數位創新科技〈雲端運算,行動裝置,社群網路及大數據〉所帶動的時代潮流,已引發了另一股創新創業風潮!接下來... 台灣創新產業本身該如何自處? ~ 歡迎有興趣的從業人員共同參與並提出相關的討論議題 ~ 活動網址:http://www.hcinnovation.tw/tc/index.php/k2-blog/item/61-2016-03-04
淺談物聯網巨量資料挑戰 - Jazz 王耀聰 (2016/3/17 於鴻海內湖) 免費講座
淺談物聯網巨量資料挑戰 - Jazz 王耀聰 (2016/3/17 於鴻海內湖) 免費講座
NTC.im(Notch Training Center)
05 杨志丰
05 杨志丰
锐 张
淘宝数据开放策略—唐柔
淘宝数据开放策略—唐柔
Smile
数据分析领域的黑马-ClickHouse 简单介绍ClickHouse的应用场景、原理
Data Analyse Black Horse - ClickHouse
Data Analyse Black Horse - ClickHouse
Jack Gao
大数据下的大表JOIN计算和优化
大数据下的大表Join计算和优化
大数据下的大表Join计算和优化
huhai463127310
欧赛斯山丽网络整合营销提案
欧赛斯山丽网络整合营销提案
欧赛斯山丽网络整合营销提案
hpeter2002
电商优化新思路-城市掘金 By Boson
电商优化新思路-城市掘金 By Boson
boson600
2010达闻营销北京研讨会
City nugget—城市掘金 v2
City nugget—城市掘金 v2
Darwin Marketing
If You Really Want It
If You Really Want It
bridge38
网站数据分析
网站数据分析
Wang Jian
更多淘宝卖家分享请关注 超级旺铺http://www.chaojiwangpu.com
芳草集 大卖家的瓶颈和出路
芳草集 大卖家的瓶颈和出路
chaojiwangpu
Se shang hai_04_cloudybi
Se shang hai_04_cloudybi
Tech2IPO
How to run an AI Project @pixnet
How to run an AI Project @pixnet
How to run an AI Project @pixnet
晨揚 施
BDTC 2013 Beijing China
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
hdhappy001
BDTC 2013 Beijing China
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
hdhappy001
BDTC 2013 Beijing China
薛伟:腾讯广点通——大数据之上的实时精准推荐
薛伟:腾讯广点通——大数据之上的实时精准推荐
hdhappy001
BDTC 2013 Beijing China
张晓:大数据存储与访问测试基准
张晓:大数据存储与访问测试基准
hdhappy001
搜尋達人
搜尋達人
Young Entrepreneurs of the Future
Node cluster
Node cluster
aleafs
node.js expirements
Node develop expirements
Node develop expirements
aleafs
Weitere ähnliche Inhalte
Ähnlich wie 淘宝海量数据产品技术架构
Cloud, Azure, Big Data and AI
20171024 文化大學 2 big data ai
20171024 文化大學 2 big data ai
Meng-Ru (Raymond) Tsai
阿里巴巴数据中台实践
阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf
markmind
講座介紹 半導體教父張忠謀預言「物聯網是下一件大事(next big thing),半導體產業若缺席物聯網的發展,勢必被淘汰。」四大重要數位創新科技〈雲端運算,行動裝置,社群網路及大數據〉所帶動的時代潮流,已引發了另一股創新創業風潮!接下來... 台灣創新產業本身該如何自處? ~ 歡迎有興趣的從業人員共同參與並提出相關的討論議題 ~ 活動網址:http://www.hcinnovation.tw/tc/index.php/k2-blog/item/61-2016-03-04
淺談物聯網巨量資料挑戰 - Jazz 王耀聰 (2016/3/17 於鴻海內湖) 免費講座
淺談物聯網巨量資料挑戰 - Jazz 王耀聰 (2016/3/17 於鴻海內湖) 免費講座
NTC.im(Notch Training Center)
05 杨志丰
05 杨志丰
锐 张
淘宝数据开放策略—唐柔
淘宝数据开放策略—唐柔
Smile
数据分析领域的黑马-ClickHouse 简单介绍ClickHouse的应用场景、原理
Data Analyse Black Horse - ClickHouse
Data Analyse Black Horse - ClickHouse
Jack Gao
大数据下的大表JOIN计算和优化
大数据下的大表Join计算和优化
大数据下的大表Join计算和优化
huhai463127310
欧赛斯山丽网络整合营销提案
欧赛斯山丽网络整合营销提案
欧赛斯山丽网络整合营销提案
hpeter2002
电商优化新思路-城市掘金 By Boson
电商优化新思路-城市掘金 By Boson
boson600
2010达闻营销北京研讨会
City nugget—城市掘金 v2
City nugget—城市掘金 v2
Darwin Marketing
If You Really Want It
If You Really Want It
bridge38
网站数据分析
网站数据分析
Wang Jian
更多淘宝卖家分享请关注 超级旺铺http://www.chaojiwangpu.com
芳草集 大卖家的瓶颈和出路
芳草集 大卖家的瓶颈和出路
chaojiwangpu
Se shang hai_04_cloudybi
Se shang hai_04_cloudybi
Tech2IPO
How to run an AI Project @pixnet
How to run an AI Project @pixnet
How to run an AI Project @pixnet
晨揚 施
BDTC 2013 Beijing China
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
hdhappy001
BDTC 2013 Beijing China
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
hdhappy001
BDTC 2013 Beijing China
薛伟:腾讯广点通——大数据之上的实时精准推荐
薛伟:腾讯广点通——大数据之上的实时精准推荐
hdhappy001
BDTC 2013 Beijing China
张晓:大数据存储与访问测试基准
张晓:大数据存储与访问测试基准
hdhappy001
搜尋達人
搜尋達人
Young Entrepreneurs of the Future
Ähnlich wie 淘宝海量数据产品技术架构
(20)
20171024 文化大學 2 big data ai
20171024 文化大學 2 big data ai
阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf
淺談物聯網巨量資料挑戰 - Jazz 王耀聰 (2016/3/17 於鴻海內湖) 免費講座
淺談物聯網巨量資料挑戰 - Jazz 王耀聰 (2016/3/17 於鴻海內湖) 免費講座
05 杨志丰
05 杨志丰
淘宝数据开放策略—唐柔
淘宝数据开放策略—唐柔
Data Analyse Black Horse - ClickHouse
Data Analyse Black Horse - ClickHouse
大数据下的大表Join计算和优化
大数据下的大表Join计算和优化
欧赛斯山丽网络整合营销提案
欧赛斯山丽网络整合营销提案
电商优化新思路-城市掘金 By Boson
电商优化新思路-城市掘金 By Boson
City nugget—城市掘金 v2
City nugget—城市掘金 v2
If You Really Want It
If You Really Want It
网站数据分析
网站数据分析
芳草集 大卖家的瓶颈和出路
芳草集 大卖家的瓶颈和出路
Se shang hai_04_cloudybi
Se shang hai_04_cloudybi
How to run an AI Project @pixnet
How to run an AI Project @pixnet
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
薛伟:腾讯广点通——大数据之上的实时精准推荐
薛伟:腾讯广点通——大数据之上的实时精准推荐
张晓:大数据存储与访问测试基准
张晓:大数据存储与访问测试基准
搜尋達人
搜尋達人
Mehr von aleafs
Node cluster
Node cluster
aleafs
node.js expirements
Node develop expirements
Node develop expirements
aleafs
阐述分布式系统缓存的一致性问题
分布式系统缓存设计
分布式系统缓存设计
aleafs
淘宝数据产品的分布式MySQL集群的扩容原理,怎么让40台mysql互联互通,进行数据的随时迁移。
My fox 扩容与数据迁移
My fox 扩容与数据迁移
aleafs
海量统计数据的分布式MySQL集群——MyFOX
海量统计数据的分布式MySQL集群——MyFOX
aleafs
5月14日nodeparty杭州站上的演讲
Myfox on NodeJS
Myfox on NodeJS
aleafs
助推宝工具介绍
助推宝工具介绍
aleafs
Mehr von aleafs
(7)
Node cluster
Node cluster
Node develop expirements
Node develop expirements
分布式系统缓存设计
分布式系统缓存设计
My fox 扩容与数据迁移
My fox 扩容与数据迁移
海量统计数据的分布式MySQL集群——MyFOX
海量统计数据的分布式MySQL集群——MyFOX
Myfox on NodeJS
Myfox on NodeJS
助推宝工具介绍
助推宝工具介绍
淘宝海量数据产品技术架构
1.
淘宝海量数据产品技术架构 张轩丞(朋春) 淘宝网-数据平台与产品部
2.
3.
淘宝数据平台与产品部(杭州)
4.
vi党,脚本语言爱好者
5.
关注NodeJS,cnode社区组织者之一
6.
pengchun@taobao.com
7.
8.
9.
50G统计汇总结果
10.
千万量级数据查询请求
11.
平均20.8ms的响应时间(6月1日)
12.
淘宝主站:
13.
30亿店铺、宝贝浏览
14.
10亿计的在线宝贝数
15.
16.
计算的速度
17.
处理吞吐量
18.
存储
19.
存储是为了更方便地查询
20.
硬盘、内存的成本
21.
查询
22.
“大海捞针”
23.
24.
25.
NoSQL是SQL的有益补充
26.
用中间层隔离前后端
27.
28.
29.
SQL有较强的表达能力
30.
只存储中间状态的数据
31.
查询时过滤、计算、排序
32.
数据产品的本质
33.
拉关系
34.
35.
36.
MyISAM引擎
37.
离线批量装载
38.
跨机房互备APP 云梯 MyFOX
数据查询 数据装载 MySQL 集群
39.
40.
基于NodeJS,1200QPS
41.
数据装载
42.
路由计算
43.
数据装入
44.
一致性校验
45.
集群管理
46.
配置信息维护
47.
48.
MyFOX-节点结构 MyFOX 路由表
冷节点(MySQL) 30天无访问的冷数据 新增热数据 7.2k SATA盘,1T * 12,raid10 内存:24G 成本:1.6W / T 热节点(MySQL) 15k SAS盘,300G * 12,raid10 内存:24G 成本:4.5W / T
49.
50.
冷热数据分离
51.
降低成本,好钢用在刀刃上
52.
53.
NoSQL是SQL的有益补充
54.
55.
同一商品的属性对有很多
56.
用户查询所选择的属性对不确定
57.
Prometheus
58.
定制化的存储
59.
60.
Prom—数据查询 查索引 求交集
汇总计算 写入缓存
61.
62.
牺牲磁盘容量,以得到:
63.
避免明细数据网络传输
64.
65.
“预算”与“现算”的权衡
66.
67.
从isearch获取实时的店铺、商品描述
68.
从主站搜索获取实时的商品数
69.
…异构数据源如何整合统一?
70.
用中间层隔离前后端
71.
[pengchun]$ tail ~/logs/glider-rt2.log
127.0.0.1 [14/Jun/2011:14:54:29 +0800] "GET /glider/db/brand/brandinfo_d/get_hot_brand_top/where… HTTP/1.1" 200 17 0.065
72.
73.
UNION
74.
JOIN
75.
输出格式化
76.
PERCENT / RANK
OVER …
77.
78.
缓存是系统化的工程
79.
缓存系统 URL请求,nocache? data
etag, http header 前端产品 nocache? glider 一级缓存 nocache? ttl, http header Min (ttl) 二级缓存
80.
81.
底层架构对前端透明
82.
水平可扩展性
83.
缓存是把双刃剑
84.
降低后端存储压力
85.
数据一致性问题
86.
87.
矛盾之美
88.
谢谢
Jetzt herunterladen