Suche senden
Hochladen
1.4亿在线背后的故事(1)
•
Als PPT, PDF herunterladen
•
4 gefällt mir
•
900 views
liqiang xu
Folgen
QQ架构一
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 40
Jetzt herunterladen
Empfohlen
腾讯技术讲座:1.4亿在线背后的故事
腾讯技术讲座:1.4亿在线背后的故事
Tian Wang
2.3 g:4g usim 卡的安全性分析
2.3 g:4g usim 卡的安全性分析
Hsiao Tim
無線監控網路攝影機與控制自走車
無線監控網路攝影機與控制自走車
艾鍗科技
絕地武士心靈控制家用雲端智慧型物聯網光劍搭載無線路由器光劍底座Final
絕地武士心靈控制家用雲端智慧型物聯網光劍搭載無線路由器光劍底座Final
CAVEDU Education
IoT感測器驅動程式在樹莓派上實作
IoT感測器驅動程式在樹莓派上實作
艾鍗科技
無線聲控遙控車
無線聲控遙控車
艾鍗科技
Clock(p2 p) wifi hidden clock camera spy radio clock camera
Clock(p2 p) wifi hidden clock camera spy radio clock camera
george david
台灣發展雙網手機的可行性
台灣發展雙網手機的可行性
arcspoon
Empfohlen
腾讯技术讲座:1.4亿在线背后的故事
腾讯技术讲座:1.4亿在线背后的故事
Tian Wang
2.3 g:4g usim 卡的安全性分析
2.3 g:4g usim 卡的安全性分析
Hsiao Tim
無線監控網路攝影機與控制自走車
無線監控網路攝影機與控制自走車
艾鍗科技
絕地武士心靈控制家用雲端智慧型物聯網光劍搭載無線路由器光劍底座Final
絕地武士心靈控制家用雲端智慧型物聯網光劍搭載無線路由器光劍底座Final
CAVEDU Education
IoT感測器驅動程式在樹莓派上實作
IoT感測器驅動程式在樹莓派上實作
艾鍗科技
無線聲控遙控車
無線聲控遙控車
艾鍗科技
Clock(p2 p) wifi hidden clock camera spy radio clock camera
Clock(p2 p) wifi hidden clock camera spy radio clock camera
george david
台灣發展雙網手機的可行性
台灣發展雙網手機的可行性
arcspoon
Wi Fi
Wi Fi
jainfu2
20120526 -物聯網應用
20120526 -物聯網應用
p_yang
Touch开发应届生培训
Touch开发应届生培训
Zhi Zhong
心率血氧檢測與運動促進
心率血氧檢測與運動促進
艾鍗科技
人臉辨識考勤系統
人臉辨識考勤系統
艾鍗科技
無線監控網路攝影機與控制自走車 IP CAM & WiFi control car
無線監控網路攝影機與控制自走車 IP CAM & WiFi control car
IttrainingIttraining
GIM Engine V9
GIM Engine V9
rolead
02 IoT implementation
02 IoT implementation
艾鍗科技
Xiaomi Mi-2(小米手机2) - Simple Chinese Only
Xiaomi Mi-2(小米手机2) - Simple Chinese Only
JJ Wu
Xldb2011 wed 1415_andrew_lamb-buildingblocks
Xldb2011 wed 1415_andrew_lamb-buildingblocks
liqiang xu
Hdfs comics
Hdfs comics
liqiang xu
浅谈灰度发布在贴吧的应用 支付宝 20130909
浅谈灰度发布在贴吧的应用 支付宝 20130909
liqiang xu
the NML project
the NML project
Lei Yang
Nginx internals
Nginx internals
liqiang xu
Nginx维护手册
Nginx维护手册
Lei Yang
高性能Web服务器Nginx及相关新技术的应用实践
高性能Web服务器Nginx及相关新技术的应用实践
rewinx
1.4亿在线背后的故事
1.4亿在线背后的故事
llkk0914
微信201204
微信201204
drewz lin
微信之道201204
微信之道201204
shaomeng shi
如何成為科技業搶手的整合性人才
如何成為科技業搶手的整合性人才
geego
徐晓 Qq空间技术架构之峥嵘岁月
徐晓 Qq空间技术架构之峥嵘岁月
drewz lin
簡單小步驟,輕鬆觀賞 Virtual Show
簡單小步驟,輕鬆觀賞 Virtual Show
advantech2012
Weitere ähnliche Inhalte
Was ist angesagt?
Wi Fi
Wi Fi
jainfu2
20120526 -物聯網應用
20120526 -物聯網應用
p_yang
Touch开发应届生培训
Touch开发应届生培训
Zhi Zhong
心率血氧檢測與運動促進
心率血氧檢測與運動促進
艾鍗科技
人臉辨識考勤系統
人臉辨識考勤系統
艾鍗科技
無線監控網路攝影機與控制自走車 IP CAM & WiFi control car
無線監控網路攝影機與控制自走車 IP CAM & WiFi control car
IttrainingIttraining
GIM Engine V9
GIM Engine V9
rolead
02 IoT implementation
02 IoT implementation
艾鍗科技
Xiaomi Mi-2(小米手机2) - Simple Chinese Only
Xiaomi Mi-2(小米手机2) - Simple Chinese Only
JJ Wu
Was ist angesagt?
(9)
Wi Fi
Wi Fi
20120526 -物聯網應用
20120526 -物聯網應用
Touch开发应届生培训
Touch开发应届生培训
心率血氧檢測與運動促進
心率血氧檢測與運動促進
人臉辨識考勤系統
人臉辨識考勤系統
無線監控網路攝影機與控制自走車 IP CAM & WiFi control car
無線監控網路攝影機與控制自走車 IP CAM & WiFi control car
GIM Engine V9
GIM Engine V9
02 IoT implementation
02 IoT implementation
Xiaomi Mi-2(小米手机2) - Simple Chinese Only
Xiaomi Mi-2(小米手机2) - Simple Chinese Only
Andere mochten auch
Xldb2011 wed 1415_andrew_lamb-buildingblocks
Xldb2011 wed 1415_andrew_lamb-buildingblocks
liqiang xu
Hdfs comics
Hdfs comics
liqiang xu
浅谈灰度发布在贴吧的应用 支付宝 20130909
浅谈灰度发布在贴吧的应用 支付宝 20130909
liqiang xu
the NML project
the NML project
Lei Yang
Nginx internals
Nginx internals
liqiang xu
Nginx维护手册
Nginx维护手册
Lei Yang
高性能Web服务器Nginx及相关新技术的应用实践
高性能Web服务器Nginx及相关新技术的应用实践
rewinx
Andere mochten auch
(7)
Xldb2011 wed 1415_andrew_lamb-buildingblocks
Xldb2011 wed 1415_andrew_lamb-buildingblocks
Hdfs comics
Hdfs comics
浅谈灰度发布在贴吧的应用 支付宝 20130909
浅谈灰度发布在贴吧的应用 支付宝 20130909
the NML project
the NML project
Nginx internals
Nginx internals
Nginx维护手册
Nginx维护手册
高性能Web服务器Nginx及相关新技术的应用实践
高性能Web服务器Nginx及相关新技术的应用实践
Ähnlich wie 1.4亿在线背后的故事(1)
1.4亿在线背后的故事
1.4亿在线背后的故事
llkk0914
微信201204
微信201204
drewz lin
微信之道201204
微信之道201204
shaomeng shi
如何成為科技業搶手的整合性人才
如何成為科技業搶手的整合性人才
geego
徐晓 Qq空间技术架构之峥嵘岁月
徐晓 Qq空间技术架构之峥嵘岁月
drewz lin
簡單小步驟,輕鬆觀賞 Virtual Show
簡單小步驟,輕鬆觀賞 Virtual Show
advantech2012
Mocha Bsm
Mocha Bsm
王 莆中
统一的云平台实现IT大集中和核心网云化
统一的云平台实现IT大集中和核心网云化
Kun Liu
中国西部信息中心介绍
中国西部信息中心介绍
yaoyao yang
雲端行動商務發展趨勢 V1.2
雲端行動商務發展趨勢 V1.2
yaohung
20150528联动技术大讲堂15(刘胜)业务系统上线标准指引
20150528联动技术大讲堂15(刘胜)业务系统上线标准指引
liu sheng
MCCC Lab
MCCC Lab
治平 翁
Application virtualization
Application virtualization
popskf
Picoway Company Profile 1.5
Picoway Company Profile 1.5
picoway
Picoway Company Profile V1.5
Picoway Company Profile V1.5
picoway
03 李实恭-乘云之势以智致远 0611
03 李实恭-乘云之势以智致远 0611
ikewu83
研華 智聯工廠與智能設備雙引擎|實踐智慧製造
研華 智聯工廠與智能設備雙引擎|實踐智慧製造
鼎新電腦
Network security reesjohnson
Network security reesjohnson
ITband
Solution apc 4.0
Solution apc 4.0
ahnlabchina
物联网操作系统漫谈-GIAC大会.pdf
物联网操作系统漫谈-GIAC大会.pdf
OpenCity Community
Ähnlich wie 1.4亿在线背后的故事(1)
(20)
1.4亿在线背后的故事
1.4亿在线背后的故事
微信201204
微信201204
微信之道201204
微信之道201204
如何成為科技業搶手的整合性人才
如何成為科技業搶手的整合性人才
徐晓 Qq空间技术架构之峥嵘岁月
徐晓 Qq空间技术架构之峥嵘岁月
簡單小步驟,輕鬆觀賞 Virtual Show
簡單小步驟,輕鬆觀賞 Virtual Show
Mocha Bsm
Mocha Bsm
统一的云平台实现IT大集中和核心网云化
统一的云平台实现IT大集中和核心网云化
中国西部信息中心介绍
中国西部信息中心介绍
雲端行動商務發展趨勢 V1.2
雲端行動商務發展趨勢 V1.2
20150528联动技术大讲堂15(刘胜)业务系统上线标准指引
20150528联动技术大讲堂15(刘胜)业务系统上线标准指引
MCCC Lab
MCCC Lab
Application virtualization
Application virtualization
Picoway Company Profile 1.5
Picoway Company Profile 1.5
Picoway Company Profile V1.5
Picoway Company Profile V1.5
03 李实恭-乘云之势以智致远 0611
03 李实恭-乘云之势以智致远 0611
研華 智聯工廠與智能設備雙引擎|實踐智慧製造
研華 智聯工廠與智能設備雙引擎|實踐智慧製造
Network security reesjohnson
Network security reesjohnson
Solution apc 4.0
Solution apc 4.0
物联网操作系统漫谈-GIAC大会.pdf
物联网操作系统漫谈-GIAC大会.pdf
Mehr von liqiang xu
Csrf攻击原理及防御措施
Csrf攻击原理及防御措施
liqiang xu
Xldb2011 tue 1055_tom_fastner
Xldb2011 tue 1055_tom_fastner
liqiang xu
Xldb2011 tue 1005_linked_in
Xldb2011 tue 1005_linked_in
liqiang xu
Xldb2011 tue 0940_facebook_realtimeanalytics
Xldb2011 tue 0940_facebook_realtimeanalytics
liqiang xu
Xldb2011 tue 1120_youtube_datawarehouse
Xldb2011 tue 1120_youtube_datawarehouse
liqiang xu
Selenium私房菜(新手入门教程)
Selenium私房菜(新手入门教程)
liqiang xu
大话Php之性能
大话Php之性能
liqiang xu
1.4亿在线背后的故事(2)
1.4亿在线背后的故事(2)
liqiang xu
Mehr von liqiang xu
(8)
Csrf攻击原理及防御措施
Csrf攻击原理及防御措施
Xldb2011 tue 1055_tom_fastner
Xldb2011 tue 1055_tom_fastner
Xldb2011 tue 1005_linked_in
Xldb2011 tue 1005_linked_in
Xldb2011 tue 0940_facebook_realtimeanalytics
Xldb2011 tue 0940_facebook_realtimeanalytics
Xldb2011 tue 1120_youtube_datawarehouse
Xldb2011 tue 1120_youtube_datawarehouse
Selenium私房菜(新手入门教程)
Selenium私房菜(新手入门教程)
大话Php之性能
大话Php之性能
1.4亿在线背后的故事(2)
1.4亿在线背后的故事(2)
1.4亿在线背后的故事(1)
1.
腾讯大讲堂走进北航 2011.10.31 Djt.open.qq.com
2.
1.4 亿在线背后的故事 腾讯科技(深圳)有限公司
即通平台部高级技术总监 icezhuang —— QQ IM 后台架构的演化与启示
3.
4.
7 亿活跃账户 1.4
亿同时在线 过万台 IM 服务器 百亿级的关系链对数 每天千亿级的服务请求 99.99% 的可用性 团队经历了 QQ 在线从 10 万到 1.4 亿的整个过程,吸取了很多教训 对海量服务的理解是长期积累的结果
5.
6.
7.
1.0 接入服务器的核心数据结构 OnlineIndex
OnlineRecord UIN 10003, [FriendUin, Flag] 升序 FList, L1 FList, L2 FList, L3 0 1 10001 10002 10003 10004 POS 0 POS 1 POS 2 POS 3 UIN 10001 LEVEL 1, POS 1 UIN 10004 LEVEL 1, POS 3 UIN 10002 LEVEL 2, POS 2 UIN 10003 LEVEL 3, POS 1 UIN ,标志位,资料 在线状态, IP/Port 好友表位置
8.
9.
10.
11.
12.
2.0 接入服务器的核心数据结构 0
1 10001 10002 10003 10004 OnlineIndex LocalOnlineRecord RemoteOnlineRecord UIN 在线状态, IP/Port 接入服务器 ID UIN 10001 LEVEL 1, POS 1 UIN 10004 LEVEL 1, POS 3 Local POS 0 Local POS 1 Remote POS 2 Remote POS 3 UIN 10002 @ServerID 3 UIN 10003 @ServerID 5
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
IDC 的实际可用性只有 2
个 9 老架构没前途,必须进行容灾改造! 租来的 IDC 的级别: B 或 C
27.
28.
业务集群的容灾改造 业务命令流 设备状态流
接入集群 业务集群 @ IDC1 业务集群 @ IDC2 指挥中心 @ IDC1 指挥中心 @ IDC2
29.
30.
灰度发布演示 第一周 周末
号段 7-8 号段 7-8 号段 5-6 号段 5-6 号段 3-4 号段 3-4 号段 1-2 号段 1-2 第一周 周一 第一周 周二 第一周 周三 第一周 周四 第一周 原来 周一 周二 周三 周四
31.
32.
完善监控和报警
33.
完善监控和报警
34.
完善监控和报警
35.
完善监控和报警
36.
完善监控和报警
37.
38.
服务可用性终于提升到了行业先进水平
39.
IM 后台 3.5
架构 长连接集群 同步集群 接入集群 存储集群 若干个业务集群 长连接集群 同步集群 接入集群 存储集群 若干个业务集群 容灾指挥集群 IDC1 IDC2 运维控制集群 监控报警集群 容灾指挥集群 运维控制集群 监控报警集群 运维控制集群 监控报警集群 监控报警集群 运维控制集群 监控报警集群 运维控制集群 监控报警集群 运维控制集群 监控报警集群 容灾指挥集群 运维控制集群 监控报警集群 运维控制集群 监控报警集群 容灾指挥集群 容灾指挥集群 运维控制集群 监控报警集群 运维控制集群 监控报警集群
40.
Hinweis der Redaktion
P15 ,画一下 conn 进程划分的图
自己是腾讯第一个培养出的 T4 04 年前的,很多是听说或者推测。 05 年后的,很多是亲身经历。
做一个万级在线的 IM 很容易,做一个亿级在线的 IM 很难
这里一定要强调一下:这个级别的架构,是从代码推测出来的,不一定是历史真实。
提问:状态获取的流程有哪些优缺点? 优点:不限制被加好友的个数 缺点: A 的好友表有 B ,但是反过来没有时: A 通知 B 只有一次机会,丢包就没了;而 A 获取 B 不实时。
此页略讲,甚至不讲
此页略讲,别花时间计算。 内存占用只是概算,实际上确实可以通过一些手段减少内存占用,但是不可能有很大的提升
强调与 1.0 的区别:有了 Remote
提问:实时通知的 3 种方式,各有什么优缺点? 直接发包:最简单,但是不能应对某些 NAT ,也不能应对 TCP 接入 伪装 IP 发包:编程难度大,可以应对 NAT ,但是不能应对 TCP 接入,有时还会被 IDC 自己的网络设备拦住 通过真正的接入服务器发包:可以应对所有情况,但是成本高 所以实际演变的顺序就是上面的顺序
此页略讲甚至不讲
腾讯: 2010 年报: 196.46E RMB / IM 活跃账户数 6.476E / 12 个月 = 2.53 RMB 中国移动: 2010 年报: 73RMB
绝不使用企业级解决方案: Google 牛人的话。 万有一失的无锁设计:通过业务流程的巧妙设计来避免使用锁。举例:设置隐身可见(状态进程)与加好友(好友进程)的冲突没关系;但是 LocalOnlineRecord 中对好友表位置指针的修改只有登录进程能做。 用户态 IPC :使用共享内存设计出用户态的 FIFO
绝不使用企业级解决方案: Google 牛人的话。 万有一失的无锁设计:通过业务流程的巧妙设计来避免使用锁。举例:设置隐身可见(状态进程)与加好友(好友进程)的冲突没关系;但是 LocalOnlineRecord 中对好友表位置指针的修改只有登录进程能做。 用户态 IPC :使用共享内存设计出用户态的 FIFO
略讲,别花时间强调困难
手机从不敢离身:洗澡也得带着手机;从来不敢去游泳 发布新代码提心吊胆:小特性导致 CPU100% ,大量用户掉线 时不时要扩容,又烦又怕:刚刚接手 Conn 时,每周扩容两次,感觉自己都不是程序员了。而且又担心配置错误导致事故。 时不时要紧急恢复服务:几乎每人每周都要紧急处理一两次设备故障。
这页只是说一下发现了四方面的问题,不具体解释,后续会一个一个分析和解决
只在一个 IDC 内是没前途的
本页不展开各种模式的具体含义,只说需要达到什么目标。具体模式的含义后面几页说。
详细解释
CPU100% 的故事:一个小特性没写好代码, 100% CPU ,收到用户投诉才发现异常
CPU100% 的故事:一个小特性没写好代码, 100% CPU ,收到用户投诉才发现异常
这是后台监控系统上截取到的两个示例图,我们对各个维度、各种指标都有监控和告警
这是 QQ 群消息量的一天曲线,中间有个飙升。从时间上猜猜和什么事情有关系? 2008 年 8 月 18 日 刘翔退赛后,群下发消息量
一个图,有最大值、最小值、波动值报警
一个子系统的监控视图,包括了数百个上一页的图片
整个 IM 后台,有上千个视图 总共,有十万个以上的图片和报警
Grandy 的故事: grandy 修改配置表,要先写好 where 子句再写前面的语句。
服务可用性从原来的 2 个 9 提升到了 4 个 9 接近 5 个 9 ,与 google 同级。
略讲,强调两套、有容灾指挥中心,且在两个 IDC
Jetzt herunterladen