Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
D a v i d Chapter2 -  구 글 의  공 룡 화 G o o g l e
Content <ul><li>인터넷을 ` 검색하는 거대 시스템 </li></ul><ul><li>검색 클러스터 </li></ul>
인터넷을 검색하는  거대 시스템 G o o g l e
값싼  PC 를 대량으로 이용 Scale-Up Scale-Out
<ul><li>대량의  PC 를 어떻게 이용하는 거지 ? </li></ul>하나의 시스템으로 연결 스위치 PC PC PC PC PC PC PC PC 렉 클러스터 클러스터 클러스터 클러스터 클러스터 클러스터 데이터 센터 ...
하나의 시스템으로 연결 <ul><li>렉 (Rack) </li></ul><ul><li>-   시스템의 기본 , 2~4CPU, 2~4GB 메모리 , 1Gbps LAN </li></ul><ul><li>클러스터 </li></...
값싼 장비의 대량 이용시 문제점 <ul><li>하드웨어의 고장 </li></ul><ul><li>-  저가의 하드웨어 ,  하드웨어를 늘릴수록 고장 확률이 높다 .  </li></ul><ul><li>-  고장에 대한 장애...
CPU 와  HDD 의 알뜰한 활용 <ul><li>GFS  클러스터 </li></ul><ul><li>-  다수의 머신을 이용하여 거대한 파일시스템 만들어냄 </li></ul><ul><li>-  각 머신의  하드디스크 드...
검색 엔진 개량 <ul><li>검색서버의 대규모화 </li></ul>검색 서버 Barrels Lexicon Docindex 확장한다
검색 엔진 개량 <ul><li>검색 백엔드의 대규모화 </li></ul>단어 처리 구조 해석 확장성이 있는가 ? 리포지터리 병목현상 ? 확장한다 크롤러 크롤러 크롤러 병목현상 ?
검색 엔진 개량 <ul><li>인덱스의 대규모화 </li></ul><ul><li>-  인덱스 분할을 매번 고려하는 것이 번거로운 만큼 시스템이 </li></ul><ul><li>자동적으로 분산처리를 할 수 있도록 범용 인...
세계로 눈을 돌린  검색 클러스터 G o o g l e
가까운 데이터 센터로 접속 DNS http://www.google.com/ x. x. x. x Data Center Data Center Data Center
다수의 서버로 부하를 분산 <ul><li>GWS  (Google Web Server) </li></ul><ul><li>-  검색요청을 한곳에 모으는 역할을 한다 . </li></ul><ul><li>-  직접 검색 요청을...
많은 인덱스를 한번에 검색 G W S LB index index index index shard LB index index index index shard LB index index index index shard
새로운 웹 검색 절차 shard shard shard shard shard G W S 스펠링 체크 서버 광고 서버 검색어 검색어 검색어 요약 docID docID 인덱스 서버 도큐먼트 서버 1 1 2 ’
새로운 웹 검색 절차 <ul><li>인덱스 서버 </li></ul><ul><li>-  인덱스 서버를 구성하는 모든  shard 클러스터 검색요구 </li></ul><ul><li>- shard 클러스터는 담당범위를 검색 ...
새로운 웹 검색 절차 <ul><li>도큐먼트 서버 </li></ul><ul><li>-  도출 검색결과  -> 도큐먼트 서버로 전달 </li></ul><ul><li>-  기본구조는 인덱스 서버와 동일 </li></ul><...
T h a n k  y o u
Nächste SlideShare
Wird geladen in …5
×

google dinos

  • Loggen Sie sich ein, um Kommentare anzuzeigen.

  • Gehören Sie zu den Ersten, denen das gefällt!

google dinos

  1. 1. D a v i d Chapter2 - 구 글 의 공 룡 화 G o o g l e
  2. 2. Content <ul><li>인터넷을 ` 검색하는 거대 시스템 </li></ul><ul><li>검색 클러스터 </li></ul>
  3. 3. 인터넷을 검색하는 거대 시스템 G o o g l e
  4. 4. 값싼 PC 를 대량으로 이용 Scale-Up Scale-Out
  5. 5. <ul><li>대량의 PC 를 어떻게 이용하는 거지 ? </li></ul>하나의 시스템으로 연결 스위치 PC PC PC PC PC PC PC PC 렉 클러스터 클러스터 클러스터 클러스터 클러스터 클러스터 데이터 센터 클러스터
  6. 6. 하나의 시스템으로 연결 <ul><li>렉 (Rack) </li></ul><ul><li>- 시스템의 기본 , 2~4CPU, 2~4GB 메모리 , 1Gbps LAN </li></ul><ul><li>클러스터 </li></ul><ul><li>- 서로 협조하여 하나의 기능 제공하는 컴퓨터 집합 </li></ul><ul><li>( 검색 클러스터 , 수집클러스터 , 테스트용 클러스터 ) </li></ul><ul><li>데이터 센터 </li></ul><ul><li>- 다수의 렉의 집합 </li></ul>
  7. 7. 값싼 장비의 대량 이용시 문제점 <ul><li>하드웨어의 고장 </li></ul><ul><li>- 저가의 하드웨어 , 하드웨어를 늘릴수록 고장 확률이 높다 . </li></ul><ul><li>- 고장에 대한 장애에 대해 미리 대비해야 한다 . </li></ul><ul><li>고난도 분산처리 </li></ul><ul><li>- 다수 머신의 동시 사용시 어려움 </li></ul><ul><li>- 복수 머신 처리시에 성능의 저하 </li></ul><ul><li>- 최대 확장구조 파악 , 병목현상 방지 </li></ul>
  8. 8. CPU 와 HDD 의 알뜰한 활용 <ul><li>GFS 클러스터 </li></ul><ul><li>- 다수의 머신을 이용하여 거대한 파일시스템 만들어냄 </li></ul><ul><li>- 각 머신의 하드디스크 드라이브 의 데이터를 네트워크를 이용 </li></ul><ul><li>읽고 쓸 수 있게 하는 기술 </li></ul><ul><li>Work Queue 클러스터 (CPU) </li></ul><ul><li>- 머신의 부하를 감시 , 비교적 여유가 있는 머신에게 테스크 부여 </li></ul>
  9. 9. 검색 엔진 개량 <ul><li>검색서버의 대규모화 </li></ul>검색 서버 Barrels Lexicon Docindex 확장한다
  10. 10. 검색 엔진 개량 <ul><li>검색 백엔드의 대규모화 </li></ul>단어 처리 구조 해석 확장성이 있는가 ? 리포지터리 병목현상 ? 확장한다 크롤러 크롤러 크롤러 병목현상 ?
  11. 11. 검색 엔진 개량 <ul><li>인덱스의 대규모화 </li></ul><ul><li>- 인덱스 분할을 매번 고려하는 것이 번거로운 만큼 시스템이 </li></ul><ul><li>자동적으로 분산처리를 할 수 있도록 범용 인덱스 시스템준비 </li></ul>
  12. 12. 세계로 눈을 돌린 검색 클러스터 G o o g l e
  13. 13. 가까운 데이터 센터로 접속 DNS http://www.google.com/ x. x. x. x Data Center Data Center Data Center
  14. 14. 다수의 서버로 부하를 분산 <ul><li>GWS (Google Web Server) </li></ul><ul><li>- 검색요청을 한곳에 모으는 역할을 한다 . </li></ul><ul><li>- 직접 검색 요청을 처리 하지 않으며 결과만 이용자에게 준다 . </li></ul><ul><li>인덱스 서버 </li></ul><ul><li>도큐먼트 서버 </li></ul>검색클러스터 LB GWS 인덱스서버 GWS GWS 도큐먼트서버
  15. 15. 많은 인덱스를 한번에 검색 G W S LB index index index index shard LB index index index index shard LB index index index index shard
  16. 16. 새로운 웹 검색 절차 shard shard shard shard shard G W S 스펠링 체크 서버 광고 서버 검색어 검색어 검색어 요약 docID docID 인덱스 서버 도큐먼트 서버 1 1 2 ’
  17. 17. 새로운 웹 검색 절차 <ul><li>인덱스 서버 </li></ul><ul><li>- 인덱스 서버를 구성하는 모든 shard 클러스터 검색요구 </li></ul><ul><li>- shard 클러스터는 담당범위를 검색 , 발견된 웹은 페이지 랭킹 </li></ul><ul><li>- 다수의 shard 클러스터로 분산처리 함에 따라 이전 방식에 </li></ul><ul><li>비해서 더 많은 수의 페이지 랭킹을 할 수 있다 . </li></ul><ul><li>- 랭킹결과 , 상위선택된 웹페이지의 docID 와 점수가 GWS 로 반환 </li></ul><ul><li>- GWS 는 모든 shard 클러스터로부터 받은 검색 결과를 기다려 , </li></ul><ul><li>상위의 웹페이지를 최종 검색 결과로 채택 </li></ul>1
  18. 18. 새로운 웹 검색 절차 <ul><li>도큐먼트 서버 </li></ul><ul><li>- 도출 검색결과 -> 도큐먼트 서버로 전달 </li></ul><ul><li>- 기본구조는 인덱스 서버와 동일 </li></ul><ul><li>- 웹페이지의 내용이 복수 shard 로 분산 전달 </li></ul><ul><li>- 도큐먼트 서버의 shard 의 웹페이지의 URL, 제목 , 논문등 </li></ul><ul><li>각종 텍스트를 이용해서 GWS 에서 보내진 docID 를 이용 </li></ul><ul><li>웹페이지의 요약과 제목을 만든다 . </li></ul><ul><li>그 밖의 처리 </li></ul><ul><li>- 스펠링 체크서버와의 통신을 통해 오타확인 , 다른 검색후보 제시 </li></ul><ul><li>- 광고 서버를 이용해 검색어와 어울리는 광고를 찾아 광고한다 . </li></ul>2 1 ’
  19. 19. T h a n k y o u

×