Suche senden
Hochladen
金山云查询系统改进之路1
•
2 gefällt mir
•
386 views
Zoom Quiet
Folgen
{3月15日语音讲座vol.46}老彭: 金山云安全架构体验 http://bbs.code.ijinshan.com/thread-1682-1-1.html
Weniger lesen
Mehr lesen
Melden
Teilen
Melden
Teilen
1 von 11
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
从开发到上线-实战持续交付
从开发到上线-实战持续交付
LI Daobing
盛大游戏运维体系
盛大游戏运维体系
Ken Liu
Yog Framework
Yog Framework
fansekey
um-talk
um-talk
Yan Zhang
鹰眼下的淘宝_EagleEye with Taobao
鹰眼下的淘宝_EagleEye with Taobao
terryice
阿里巴巴运维团队的无状态运维思路
阿里巴巴运维团队的无状态运维思路
mysqlops
mercury
mercury
moonbingbing
搶救資料庫效能大作戰
搶救資料庫效能大作戰
Rico Chen
Empfohlen
从开发到上线-实战持续交付
从开发到上线-实战持续交付
LI Daobing
盛大游戏运维体系
盛大游戏运维体系
Ken Liu
Yog Framework
Yog Framework
fansekey
um-talk
um-talk
Yan Zhang
鹰眼下的淘宝_EagleEye with Taobao
鹰眼下的淘宝_EagleEye with Taobao
terryice
阿里巴巴运维团队的无状态运维思路
阿里巴巴运维团队的无状态运维思路
mysqlops
mercury
mercury
moonbingbing
搶救資料庫效能大作戰
搶救資料庫效能大作戰
Rico Chen
开源应用日志收集系统
开源应用日志收集系统
reinhardx
数据架构方面的一些探讨
数据架构方面的一些探讨
Chao Zhu
DDD系統分析
DDD系統分析
國昭 張
分布式系统日志处理调研
分布式系统日志处理调研
klandor
自助工具助Dba提升效率
自助工具助Dba提升效率
Chao Zhu
大型电商的数据服务的要点和难点
大型电商的数据服务的要点和难点
Chao Zhu
Teched 2012 60分钟构建私有云
Teched 2012 60分钟构建私有云
Cheng Zhang
Streaming architecture zx_dec2015
Streaming architecture zx_dec2015
Zhenzhong Xu
No sql@vip new
No sql@vip new
Chao Zhu
美团点评技术沙龙010-点评RDS系统介绍
美团点评技术沙龙010-点评RDS系统介绍
美团点评技术团队
美团点评技术沙龙14:美团四层负载均衡
美团点评技术沙龙14:美团四层负载均衡
美团点评技术团队
美团点评技术沙龙08 - 分布式服务通信框架及服务治理系统
美团点评技术沙龙08 - 分布式服务通信框架及服务治理系统
美团点评技术团队
美团技术沙龙04 美团下一代分布式存储系统
美团技术沙龙04 美团下一代分布式存储系统
美团点评技术团队
美团技术沙龙04 - Kv Tair best practise
美团技术沙龙04 - Kv Tair best practise
美团点评技术团队
美团点评技术沙龙14美团云-Docker平台
美团点评技术沙龙14美团云-Docker平台
美团点评技术团队
腾讯大讲堂19 系统优化的方向
腾讯大讲堂19 系统优化的方向
areyouok
美团点评技术沙龙14:美团云对象存储系统
美团点评技术沙龙14:美团云对象存储系统
美团点评技术团队
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
drewz lin
D baa s_in_xiaomi
D baa s_in_xiaomi
hdksky
Promo apps-1303
Promo apps-1303
InfoShell
Millist vundamenti vajab üks korralik rakendus oracle lahendused läbi teenuse...
Millist vundamenti vajab üks korralik rakendus oracle lahendused läbi teenuse...
ORACLE USER GROUP ESTONIA
Usulan ide usaha techno
Usulan ide usaha techno
mayangarsi
Weitere ähnliche Inhalte
Was ist angesagt?
开源应用日志收集系统
开源应用日志收集系统
reinhardx
数据架构方面的一些探讨
数据架构方面的一些探讨
Chao Zhu
DDD系統分析
DDD系統分析
國昭 張
分布式系统日志处理调研
分布式系统日志处理调研
klandor
自助工具助Dba提升效率
自助工具助Dba提升效率
Chao Zhu
大型电商的数据服务的要点和难点
大型电商的数据服务的要点和难点
Chao Zhu
Teched 2012 60分钟构建私有云
Teched 2012 60分钟构建私有云
Cheng Zhang
Streaming architecture zx_dec2015
Streaming architecture zx_dec2015
Zhenzhong Xu
No sql@vip new
No sql@vip new
Chao Zhu
美团点评技术沙龙010-点评RDS系统介绍
美团点评技术沙龙010-点评RDS系统介绍
美团点评技术团队
美团点评技术沙龙14:美团四层负载均衡
美团点评技术沙龙14:美团四层负载均衡
美团点评技术团队
美团点评技术沙龙08 - 分布式服务通信框架及服务治理系统
美团点评技术沙龙08 - 分布式服务通信框架及服务治理系统
美团点评技术团队
美团技术沙龙04 美团下一代分布式存储系统
美团技术沙龙04 美团下一代分布式存储系统
美团点评技术团队
美团技术沙龙04 - Kv Tair best practise
美团技术沙龙04 - Kv Tair best practise
美团点评技术团队
美团点评技术沙龙14美团云-Docker平台
美团点评技术沙龙14美团云-Docker平台
美团点评技术团队
腾讯大讲堂19 系统优化的方向
腾讯大讲堂19 系统优化的方向
areyouok
美团点评技术沙龙14:美团云对象存储系统
美团点评技术沙龙14:美团云对象存储系统
美团点评技术团队
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
drewz lin
D baa s_in_xiaomi
D baa s_in_xiaomi
hdksky
Was ist angesagt?
(19)
开源应用日志收集系统
开源应用日志收集系统
数据架构方面的一些探讨
数据架构方面的一些探讨
DDD系統分析
DDD系統分析
分布式系统日志处理调研
分布式系统日志处理调研
自助工具助Dba提升效率
自助工具助Dba提升效率
大型电商的数据服务的要点和难点
大型电商的数据服务的要点和难点
Teched 2012 60分钟构建私有云
Teched 2012 60分钟构建私有云
Streaming architecture zx_dec2015
Streaming architecture zx_dec2015
No sql@vip new
No sql@vip new
美团点评技术沙龙010-点评RDS系统介绍
美团点评技术沙龙010-点评RDS系统介绍
美团点评技术沙龙14:美团四层负载均衡
美团点评技术沙龙14:美团四层负载均衡
美团点评技术沙龙08 - 分布式服务通信框架及服务治理系统
美团点评技术沙龙08 - 分布式服务通信框架及服务治理系统
美团技术沙龙04 美团下一代分布式存储系统
美团技术沙龙04 美团下一代分布式存储系统
美团技术沙龙04 - Kv Tair best practise
美团技术沙龙04 - Kv Tair best practise
美团点评技术沙龙14美团云-Docker平台
美团点评技术沙龙14美团云-Docker平台
腾讯大讲堂19 系统优化的方向
腾讯大讲堂19 系统优化的方向
美团点评技术沙龙14:美团云对象存储系统
美团点评技术沙龙14:美团云对象存储系统
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
D baa s_in_xiaomi
D baa s_in_xiaomi
Andere mochten auch
Promo apps-1303
Promo apps-1303
InfoShell
Millist vundamenti vajab üks korralik rakendus oracle lahendused läbi teenuse...
Millist vundamenti vajab üks korralik rakendus oracle lahendused läbi teenuse...
ORACLE USER GROUP ESTONIA
Usulan ide usaha techno
Usulan ide usaha techno
mayangarsi
Guia argentina de tratamiento de la EPOC
Guia argentina de tratamiento de la EPOC
Alejandro Videla
Deutsche EuroShop - Analyst Conference Presentation - Preliminary Results 2011
Deutsche EuroShop - Analyst Conference Presentation - Preliminary Results 2011
Deutsche EuroShop AG
27 Şubat 04 Mart MediaCom Weekly
27 Şubat 04 Mart MediaCom Weekly
MediaCom Informer
MediaCom View - 2011'in Sosyal Medya Yildizi Pinterest
MediaCom View - 2011'in Sosyal Medya Yildizi Pinterest
MediaCom Informer
Аналитические методы исследования динамики космических аппаратов в атмосферах...
Аналитические методы исследования динамики космических аппаратов в атмосферах...
Theoretical mechanics department
Android apps-development-1303
Android apps-development-1303
InfoShell
Proč chceme používat OSS
Proč chceme používat OSS
Liberix, o.p.s.
openMagazin 3/2012
openMagazin 3/2012
Liberix, o.p.s.
Uživatelské zkušenosti s OSS v běžné škole, pohled vedení školy
Uživatelské zkušenosti s OSS v běžné škole, pohled vedení školy
Liberix, o.p.s.
Essbase juurutus Bonnier Business Press in Central and Eastern Europe divisjo...
Essbase juurutus Bonnier Business Press in Central and Eastern Europe divisjo...
ORACLE USER GROUP ESTONIA
Maailmarekordi sünd läbi rahva- ja eluruumide loenduse e-lahenduse
Maailmarekordi sünd läbi rahva- ja eluruumide loenduse e-lahenduse
ORACLE USER GROUP ESTONIA
Infosüsteemide infrastruktuuri haldus ja monitooring Oracle Enterprise Manage...
Infosüsteemide infrastruktuuri haldus ja monitooring Oracle Enterprise Manage...
ORACLE USER GROUP ESTONIA
IT valdkonna konsolideerimine Rahandusministeeriumi valitsemisalas – RMIT
IT valdkonna konsolideerimine Rahandusministeeriumi valitsemisalas – RMIT
ORACLE USER GROUP ESTONIA
Moodlen käyttöönotto -työpaja, Somero, 14.3.2012
Moodlen käyttöönotto -työpaja, Somero, 14.3.2012
Riitta Ryhtä
Zh120226techparty velocity2011-review
Zh120226techparty velocity2011-review
Zoom Quiet
Deutsche EuroShop | Company Presentation | 03/12
Deutsche EuroShop | Company Presentation | 03/12
Deutsche EuroShop AG
Andere mochten auch
(19)
Promo apps-1303
Promo apps-1303
Millist vundamenti vajab üks korralik rakendus oracle lahendused läbi teenuse...
Millist vundamenti vajab üks korralik rakendus oracle lahendused läbi teenuse...
Usulan ide usaha techno
Usulan ide usaha techno
Guia argentina de tratamiento de la EPOC
Guia argentina de tratamiento de la EPOC
Deutsche EuroShop - Analyst Conference Presentation - Preliminary Results 2011
Deutsche EuroShop - Analyst Conference Presentation - Preliminary Results 2011
27 Şubat 04 Mart MediaCom Weekly
27 Şubat 04 Mart MediaCom Weekly
MediaCom View - 2011'in Sosyal Medya Yildizi Pinterest
MediaCom View - 2011'in Sosyal Medya Yildizi Pinterest
Аналитические методы исследования динамики космических аппаратов в атмосферах...
Аналитические методы исследования динамики космических аппаратов в атмосферах...
Android apps-development-1303
Android apps-development-1303
Proč chceme používat OSS
Proč chceme používat OSS
openMagazin 3/2012
openMagazin 3/2012
Uživatelské zkušenosti s OSS v běžné škole, pohled vedení školy
Uživatelské zkušenosti s OSS v běžné škole, pohled vedení školy
Essbase juurutus Bonnier Business Press in Central and Eastern Europe divisjo...
Essbase juurutus Bonnier Business Press in Central and Eastern Europe divisjo...
Maailmarekordi sünd läbi rahva- ja eluruumide loenduse e-lahenduse
Maailmarekordi sünd läbi rahva- ja eluruumide loenduse e-lahenduse
Infosüsteemide infrastruktuuri haldus ja monitooring Oracle Enterprise Manage...
Infosüsteemide infrastruktuuri haldus ja monitooring Oracle Enterprise Manage...
IT valdkonna konsolideerimine Rahandusministeeriumi valitsemisalas – RMIT
IT valdkonna konsolideerimine Rahandusministeeriumi valitsemisalas – RMIT
Moodlen käyttöönotto -työpaja, Somero, 14.3.2012
Moodlen käyttöönotto -työpaja, Somero, 14.3.2012
Zh120226techparty velocity2011-review
Zh120226techparty velocity2011-review
Deutsche EuroShop | Company Presentation | 03/12
Deutsche EuroShop | Company Presentation | 03/12
Ähnlich wie 金山云查询系统改进之路1
淘宝双11双12案例分享
淘宝双11双12案例分享
vanadies10
淘宝前台系统性能分析与优化
淘宝前台系统性能分析与优化
丁 宇
曲琳 购物搜索引擎架构的变与不变——一淘网搜索技术分享0731
曲琳 购物搜索引擎架构的变与不变——一淘网搜索技术分享0731
drewz lin
张松国 腾讯微博架构介绍08
张松国 腾讯微博架构介绍08
drewz lin
淘宝网前台应用性能优化实践
淘宝网前台应用性能优化实践
丁 宇
新浪微博平台与安全架构
新浪微博平台与安全架构
n716
ClickHouse北京Meetup ClickHouse Best Practice @Sina
ClickHouse北京Meetup ClickHouse Best Practice @Sina
Jack Gao
去哪儿Ugc平台设计经验
去哪儿Ugc平台设计经验
mysqlops
大型互联网站性能优化
大型互联网站性能优化
丁 宇
Data Analyse Black Horse - ClickHouse
Data Analyse Black Horse - ClickHouse
Jack Gao
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
Scourgen Hong
合久必分,分久必合
合久必分,分久必合
Qiangning Hong
網頁弱點掃描服務簡報 20120606
網頁弱點掃描服務簡報 20120606
Fionsu
My sql自动化监控
My sql自动化监控
thinkinlamp
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
Chao Zhu
千亿级全球监控体系构建和智能监控探索-王维栋.pdf
千亿级全球监控体系构建和智能监控探索-王维栋.pdf
dsj323
盛大游戏运维体系
盛大游戏运维体系
Ken Liu
纵览Loadrunner核心功能
纵览Loadrunner核心功能
beiyu95
新浪云计算公开课第一期:Let’s run @ sae(丛磊)
新浪云计算公开课第一期:Let’s run @ sae(丛磊)
锐 张
Greenplum技术
Greenplum技术
锐 张
Ähnlich wie 金山云查询系统改进之路1
(20)
淘宝双11双12案例分享
淘宝双11双12案例分享
淘宝前台系统性能分析与优化
淘宝前台系统性能分析与优化
曲琳 购物搜索引擎架构的变与不变——一淘网搜索技术分享0731
曲琳 购物搜索引擎架构的变与不变——一淘网搜索技术分享0731
张松国 腾讯微博架构介绍08
张松国 腾讯微博架构介绍08
淘宝网前台应用性能优化实践
淘宝网前台应用性能优化实践
新浪微博平台与安全架构
新浪微博平台与安全架构
ClickHouse北京Meetup ClickHouse Best Practice @Sina
ClickHouse北京Meetup ClickHouse Best Practice @Sina
去哪儿Ugc平台设计经验
去哪儿Ugc平台设计经验
大型互联网站性能优化
大型互联网站性能优化
Data Analyse Black Horse - ClickHouse
Data Analyse Black Horse - ClickHouse
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
从林书豪到全明星 - 虎扑网技术架构如何化解流量高峰
合久必分,分久必合
合久必分,分久必合
網頁弱點掃描服務簡報 20120606
網頁弱點掃描服務簡報 20120606
My sql自动化监控
My sql自动化监控
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
千亿级全球监控体系构建和智能监控探索-王维栋.pdf
千亿级全球监控体系构建和智能监控探索-王维栋.pdf
盛大游戏运维体系
盛大游戏运维体系
纵览Loadrunner核心功能
纵览Loadrunner核心功能
新浪云计算公开课第一期:Let’s run @ sae(丛磊)
新浪云计算公开课第一期:Let’s run @ sae(丛磊)
Greenplum技术
Greenplum技术
Mehr von Zoom Quiet
42qu thrift1
42qu thrift1
Zoom Quiet
产品信息收集系统Infoc的演变
产品信息收集系统Infoc的演变
Zoom Quiet
Go courseday3
Go courseday3
Zoom Quiet
Go courseday2
Go courseday2
Zoom Quiet
Go courseday1
Go courseday1
Zoom Quiet
01s0401 go,互联网时代的c语言 许式伟
01s0401 go,互联网时代的c语言 许式伟
Zoom Quiet
Zoz pwned-by-the-owner-表惹程序猿
Zoz pwned-by-the-owner-表惹程序猿
Zoom Quiet
Zh120226techparty zd-story
Zh120226techparty zd-story
Zoom Quiet
Zh120226techparty jeff kit-ios-toolbox
Zh120226techparty jeff kit-ios-toolbox
Zoom Quiet
Velocity2011分享
Velocity2011分享
Zoom Quiet
陈正 Introduction to-sae_python
陈正 Introduction to-sae_python
Zoom Quiet
111218 zhtechparty-panda讲稿
111218 zhtechparty-panda讲稿
Zoom Quiet
111218 zhtechparty-移动互联网产品需求分析
111218 zhtechparty-移动互联网产品需求分析
Zoom Quiet
111218 zhtechparty-zd-浅谈symbian开发
111218 zhtechparty-zd-浅谈symbian开发
Zoom Quiet
ImpoImport this, that, and the other thing: custom importersrt not for_y
ImpoImport this, that, and the other thing: custom importersrt not for_y
Zoom Quiet
Import this, that, and the other thing: custom importers
Import this, that, and the other thing: custom importers
Zoom Quiet
金山卫士界面框架
金山卫士界面框架
Zoom Quiet
111030 gztechparty-小路-云时代的mysql
111030 gztechparty-小路-云时代的mysql
Zoom Quiet
111030 gztechparty-小路-sophia
111030 gztechparty-小路-sophia
Zoom Quiet
080328 linux2 bsd
080328 linux2 bsd
Zoom Quiet
Mehr von Zoom Quiet
(20)
42qu thrift1
42qu thrift1
产品信息收集系统Infoc的演变
产品信息收集系统Infoc的演变
Go courseday3
Go courseday3
Go courseday2
Go courseday2
Go courseday1
Go courseday1
01s0401 go,互联网时代的c语言 许式伟
01s0401 go,互联网时代的c语言 许式伟
Zoz pwned-by-the-owner-表惹程序猿
Zoz pwned-by-the-owner-表惹程序猿
Zh120226techparty zd-story
Zh120226techparty zd-story
Zh120226techparty jeff kit-ios-toolbox
Zh120226techparty jeff kit-ios-toolbox
Velocity2011分享
Velocity2011分享
陈正 Introduction to-sae_python
陈正 Introduction to-sae_python
111218 zhtechparty-panda讲稿
111218 zhtechparty-panda讲稿
111218 zhtechparty-移动互联网产品需求分析
111218 zhtechparty-移动互联网产品需求分析
111218 zhtechparty-zd-浅谈symbian开发
111218 zhtechparty-zd-浅谈symbian开发
ImpoImport this, that, and the other thing: custom importersrt not for_y
ImpoImport this, that, and the other thing: custom importersrt not for_y
Import this, that, and the other thing: custom importers
Import this, that, and the other thing: custom importers
金山卫士界面框架
金山卫士界面框架
111030 gztechparty-小路-云时代的mysql
111030 gztechparty-小路-云时代的mysql
111030 gztechparty-小路-sophia
111030 gztechparty-小路-sophia
080328 linux2 bsd
080328 linux2 bsd
金山云查询系统改进之路1
1.
金山云查询系统改进之路 金山云查询系统改进之路 演讲人: 彭仁诚 演讲人: 金山网络
2.
金山云端系统整体结构
对外服务云 内部鉴定云 查询服务 特征发布 特征提取 Client 查询 •本地白 即时启发 样本管理 •感染型 上报 鉴定服务 特征管理 上报服务 预处理 鉴定
3.
业务需求 • 黑白判定 • 是否上报 •
统计
4.
成果 2000QPS
4000QPS 20000QPS
5.
第一个系统架构
6.
优点 • 成熟 • 构建快 •
业务逻辑修改快
7.
缺点 •
架构跨进程太多 • 一次业务查询更多的跨进程 • Redis是mysql的缓存,灰样本查询时还需要查mysql 的缓存,灰样本查询时还需要查mysql Redis是mysql的缓存,灰样本查询时还需要查 • Django比较慢 jango比较慢 • Tornado等工具在解析http包的时候比较慢 等工具在解析http Tornado等工具在解析 http包的时候比较慢 • 为了适应redis的存储,需要把二进制的key转换成字符串 为了适应redis 的存储,需要把二进制的key redis的存储,需要把二进制的key转换成字符串
8.
第二个系统架构
9.
第三个系统架构
10.
核心技术与设计原则 核心技术与设计原则 � 核心技术 �
查询DB MDB k-v DB DB MDB:k-v DB) DB(MDB � Nginx ginx模块 � 设计原则 � 业务和架构结合,业务分级 � 简单 � 去掉一切可能去掉的运行时依赖 � 不同时期不同目标不同架构
11.
天下武功,唯快不败 ! P/11 P/11
Jetzt herunterladen