구글의 운용 비용

2. 1. 구글의 운용 비용
2. CPU의 전력 사용
3. PC의 소비전력 절감
4. Data Centre의 전력 배치
5. HDD는 언제 고장 나는가?
6. Bigdaddy
7. Recently

3. 1. 구글의 운용 비용
기업공개자료
• 2004년 기업 공개자료
System운용비
용 → hardware에 2억5000만 달러 투자
Hardware → 당시 총 5만 대 전후의 machine
Power
• 2007년 보유 machine수 10배 가량 증가

4. 1. 구글의 운용 비용
하드웨어 비용
기업공개자료
• Computer & Network equipment
System운용비 전력 비용
용
• 전기료 & 설비 비용
Hardware
보수 운용 비용
• 인건비
Power
소프트웨어 비용
• 자체 개발→ 인건비

5. 1. 구글의 운용 비용
저가의 Hardware로 비용 절감
기업공개자료
Rack Server
System운용비
용 Machine : 88대
CPU(Xeon2GHz×2)
Hardware CPU(Xeon2GHz×2)
Memory : 2GB
Memory : 64GB
Power HDD : 80GB
HDD : 8TB
약 2억 8천만 원 약 7억 6천만 원

6. 1. 구글의 운용 비용
기업공개자료
System운용비
용
Hardware
사용 전력증가 최대 원인 = CPU
Power

7. 2. CPU의 전력 사용
CMOS회로
• CMOS(Complementary Metal Oxide Semiconductor)
CPU성능
Pipeline 입력 출력
0 = Vss Vdd = 1
→ C →
입력 출력
IPC 와 f 관계 Vdd = 1 0 = Vss
Superscalar
• 동작전력 = α x C x V² x f
전력성능비 (α : switch비율 f : clock주파수 C : 정전용량)

8. 2. CPU의 전력 사용
CMOS회로
• CPU 소비전력 억제 → V & Clocks
but, 단순히 clock↓ → 성능저하
CPU성능
Pipeline • CPU 성능 = f x IPC
IPC (Instruction Per Cycle)
: 1회 clock cycle에서 실행할 수 있는 명령 수
IPC 와 f 관계
Superscalar
f 내리고 IPC 올리는 방법?
전력성능비

9. 2. CPU의 전력 사용
CMOS회로
CPU성능
Pipeline
IPC 와 f 관계
Superscalar
전력성능비

10. 2. CPU의 전력 사용
CMOS회로
CPU성능
Pipeline Pipeline 길어질 수록 f(주파수) 올라감
but, IPC는 오히려 저하
IPC 와 f 관계
Superscalar
전력성능비

11. 2. CPU의 전력 사용
CMOS회로
• Pipeline 수를 늘림
CPU성능
Pipeline
IPC 와 f 관계
Superscalar
전력성능비

12. 2. CPU의 전력 사용
CMOS회로
• CPU 주파수↑ Multi Core
CPU성능 : Pipeline 단계 줄여 주파수 내림
IPC 높이도록 설계 변경
Pipeline
IPC 와 f 관계
Superscalar
전력성능비

13. 3. PC의 소비전력 절감
• 저클럭 고IPC CPU 선택
• Multi-Thread 활용
• 전원 효율성 높임
PSU(Power Supply Unit)의 전력 변환 효율 60%~70%
→ 불필요한 요소 제거(12V만 남김) → 85%~90% 정도까지 향상

14. 4. Data Centre의 전력배치
• Peak power 는 비용과 직결
• 한정된 전력을 최대한 유용하게 사용
• 계층적 전력배분 설계
• 다양한 machine 조합이
효율성 있는 전력이용가능
• Power Capping
– 최고 전력 사용량 제한
– System 부하 줄이도록 feedback
• 전력 절감 기술 이용

15. 4. Data Centre의 전력배치
• 실제 Peak power 계측 → Rack의 최대 전력
• Rack 단위에서 여유롭게 설계
• 이용빈도가 다른 machine을 같은 PDU에 연결
→ 전력 평준화 → 실제 Peak power ↓
• 계산상의 최대치보다 Rack을 넉넉히 연결
→ 설비 이용 효율↑
• Power Capping 통해 system 정지 위험 방지

16. 5. HDD는 언제 고장 나는
가?
연평균고장률
• AFR (Annualized Failure Rate)
Utilization
Temperature
SMART Data
Conclusions

17. 5. HDD는 언제 고장 나는
가?
연평균고장률
Utilization
Temperature
SMART Data
Conclusions

18. 5. HDD는 언제 고장 나는
가?
연평균고장률
Utilization
Temperature
SMART Data
Conclusions

19. 5. HDD는 언제 고장 나는
가?
연평균고장률
• Scan Error
- 발생 후 60일 내 고장 날 확률 : 39배
Utilization
• Reallocation Count
Temperature - 발생 후 60일 내 고장 날 확률 : 14배
SMART Data
• Offline Reallocation
- 발생 후 60일 내 고장 날 확률 : 21배
Conclusions • Probational Count
- 발생 후 60일 내 고장 날 확률 : 16배

20. 5. HDD는 언제 고장 나는
가?
연평균고장률
• 평균적인 고장률
– drive의 종류, maker, 구입시기에 따라 다름
Utilization
• Utilization levels 과 고장사이 상관관계 약함
Temperature
• 높은 온도는 HDD 고장과 큰 상관관계 없고
SMART Data 낮은 온도가 고장발생 비율 높임
– 30 ~40도 정도 유지시에 가장 고장률 낮음
Conclusions
• SMART 값만 가지고 고장을 예측하기 어려움

21. 6. Bigdaddy
Bigdaddy
C.C.P • 새로운 Search engine의 기반 system
URL의 정규화 • Search engine의 frame work를
바꾸는 대대적인 것
2-Types

22. 6. Bigdaddy
Bigdaddy • Crawl Caching Proxy
: 새로운 crawling system
C.C.P
URL의 정규화
2-Types

23. 6. Bigdaddy
Bigdaddy
• URL Canonicalization
– www.example.com
C.C.P
– example.com/
– www.example.com/index.html
URL의 정규화 – example.com/home.asp
2-Types
→ 동일하다고 판단되는 web page에 같은 key 할당

24. 6. Bigdaddy
Bigdaddy
• Type 1 – 전세계로 분산된 소규모 data centre
C.C.P
→ 빠른 응답 제공
URL의 정규화
• Type 2 – 엄선된 대규모의 data centre
2-Types
→ 적은 비용으로 대용량 데이터 처리

25. 7. Recently
Google Server
• Case : 2U rack mount
Data Centre • CPU : Soket 604 dual-Xenon board
running dual Nocono (Prescott) P4 processor
• RAM : 8Dimm slots
• HDD : 2EA SATA
• Power Supply : 12V only
• UPS : 12V Battery per server

26. 7. Recently
Google Server
• 컨테이너를 이용한 모듈화
Data Centre • 1개 컨테이너에 최대 1,160대 서버
• 45개 컨테이너에 약 4만대의 서버
• 컨테이너당 전력소비량 250Kw
• 10MW
• 자체 설계, 조립 한 server 사용
• 컨테이너 바닥에 cooling system
(전면 'Cold Aisle' 측이 27℃ 유지)
※ 찬 공기를 끌어들이는 전면을 Cold Aisle, 반대로
공기가 배출되는 뒷면을 Hot Aisle

27. Thank you