Hadoop sizing guideline 하둡 사이징 가이드라인

1. Hadoop Sizing
http://giip.littleworld.net

2. Hadoop 기본 구성
Name Node(Pri)
6Gbps SATA x 2 RAID 1
Name Node(Sec)
6Gbps SATA x 2 RAID 1
Job Tracker
6Gbps SATA x 2 RAID 1
DataNode01
6Gbps SATA x 8 RAID 10
DataNode02
6Gbps SATA x 8 RAID 10
DataNode03
6Gbps SATA x 8 RAID 10
DataNode04
6Gbps SATA x 8 RAID 10
10Gbps
10Gbps
10Gbps
10Gbps
10Gbps
10Gbps
10Gbps
10Gbps
● Network는 기본 10Gbps사용
● Storage Network 전용 구간 생성
● Name Node 및 Job Tracker는 RAID 1으로
가성비 위주 구성
● DataNode의 구성 예
○ RAID 0 + 3벌 복제
○ RAID 10 + 2벌 복제
○ RAID 5 + 3벌 복제
○ RAID 6 + 2벌 복제

3. Sizing 고려사항
Starting Capacity SLA Capacity Planning
Log Data Recycle Data Data Scan Frequency
Data Safty IO Performance
RAID Replica Set Data Node Quantity

4. 구성별 성능표(이론치)
● Data Node Spec : 6Gbps SATA Disk x 8ea
● Data Node Quantity : 8ea
● Not included network environment
● Not included RAID controller environment
● Single Disk No RAID = x 1
RAID 0,
3 Replica
RAID 10,
2 Replica
RAID 5,
3 Replica
RAID 6,
2 Replica
Read x 21.3 x 16 x 18.6 x 24
Write x 21.3 x 16 x 2.6 x 4
Capacity x 21.3 x 16 x 18.6 x 24
Fault Threshold 1 Disk x
3 Servers
3 Disks x
2 Servers
2 Disks x
3 Servers
3 Disks x
2 Servers

5. 사용패턴 분석에 따른 가중치
읽기 비율 쓰기 비율 IO성능(MB/sec)
75 25 1805
50 50 1518
25 75 1231
● 기준값
○ Write : 944 MB/sec
○ Read : 2092 MB/sec
● 10Gbps 네트워크 환경에서 2 Replica Set, 4 Data Node에서 사용한 일반적인 속도
(환경마다 다를 수 있음)
● 필요 Throughput에 따른 Data Node 개수 확장 계산에 사용
○ 초당 성능이 3GB/sec인 경우 Data Node를 4개에서 8개로 확장하면 약 3.6GB/sec로 조건
에 만족할 수 있음.
(실측치와는 다를 수 있음)