Weitere ähnliche Inhalte
Ähnlich wie GRUTER가 들려주는 Big Data Platform 구축 전략과 적용 사례: SNS 서비스 아키텍쳐 구축 사례 (20)
GRUTER가 들려주는 Big Data Platform 구축 전략과 적용 사례: SNS 서비스 아키텍쳐 구축 사례
- 1. © 2013 Gruter. All rights reserved.
SNS 서비스 구축 사례
2013.08.29
장정식 수석 연구원
- 2. © 2013 Gruter. All rights reserved.2
Contents
• SNS: architectural considerations
– Distributed DB
– Cache Cluster
– Distributed Queue Workers
- 3. © 2013 Gruter. All rights reserved.3
SNS – Key architectural considerations
• 확장
- 데이터 증가
- 관계 증가
• 관리
- 데이터 re-balancing
- 복잡도 증가; 수작업 관리 불가
• 성능
- decent 저장소 성능
- read intensive (캐시)
- asynchronous processing (큐)
- 4. © 2013 Gruter. All rights reserved.4
Distributed DB (code name: trotter)
• MySQL 기반의 sharding
• Shard master (meta), shard 데이터 DB로 구성
• 아키텍처 검증 테스트: vs. MongoDB vs. HBase
– decent 성능
– 안정성
– 운영/관리 편의
– 다양한 지원 library
- 6. © 2013 Gruter. All rights reserved.6
Cache cluster (code name: chamber)
• memcached, redis 기반의 캐시 클러스터
• 캐시 proxy client; connection관리, consistent hashing
• zookeeper 기반 membership 관리
• 원본 메세지, 타임라인, shard meta info
- 7. © 2013 Gruter. All rights reserved.7
Distributed Queue Workers
• Zookeeper 기반의 producer/consumer
• 작업 내용별 worker daemon
• 메세지 전파/삭제, 문서 프로세싱
Work queue/coordinator
Zookeeper
Application
work producer
work producer
Task
spec
Worker node
docproc. worker
Worker node
propa. worker
.
.
.
propa. worker
docproc. worker
.
.
.
T T
T T
T
T
- 8. GRUTER: YOUR PARTNER
IN THE BIG DATA REVOLUTION
Phone +82-70-8129-2950
Fax +82-70-8129-2952
E-mail contact@gruter.com
Web www.gruter.com
© 2013 Gruter. All rights reserved.
Gruter, Inc.
5F Sehwa Office Building 889-70 Daechi-dong, Gangnam-gu, Seoul, South Korea 135-839