Arquitetura de Cluster do Google

Busca na web para um planeta A Arquitetura de Cluster do Google

Apresentado por: ,[object Object],[object Object],[object Object],[object Object],[object Object]

Fonte de Dados ,[object Object],Web Search for a Planet: The Google Cluster Architecture Luiz Barroso, Jeffrey Dean, and Urs Hoelzle http://research.google.com/archive/googlecluster.html

Resumo ,[object Object],[object Object],[object Object]

O Buscador Perfeito “ Entende exatamente o que você quis dizer e devolve exatamente o que você queria” Larry Page < html > < title > Corp. Info - Tech Overview </ title > < body > < h1 > Corporate Information </ h1 > < li >< a href= “/home.htm” > Home </ a ></ li > < h2 > Technology Overview </ h2 > < p > We stand alone in our focus on developing the "perfect search engine, PageRank Análise e classificação do conteúdo HTML

Ciclo de vida de uma consulta Um ciclo leva cerca de 0,5 segundo

Requisitos de uma consulta ,[object Object],[object Object],[object Object]

Google: Alcançando Alta performance ,[object Object],[object Object],[object Object]

Clusters de Multicomputadores baratos

Multicomputador Memória Processador Rede local: comunicação por passagem de mensagens P M P M P M P M P M P M P M P M P M P M P M P M P M P M P M P M

Clusters do Google ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Paralelização ,[object Object],[object Object],[object Object]

O que é melhor para o Google? ,[object Object],[object Object]

O que é melhor para o Google? ,[object Object],2. Razão performance/preço = 10MHz/R$

Princípios da Arquitetura ,[object Object],[object Object],[object Object],[object Object],[object Object]

Princípios da Arquitetura ,[object Object],[object Object],[object Object],[object Object]

Princípios da Arquitetura ,[object Object],[object Object],[object Object]

Tratamento de consultas Servidor Web do Google Correção ortográfica Servidor de Anúncios Servidores de Índice Servidores de Índice Servidores de Índice Servidores de Índice Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidores de Documentos

Tratamento de consultas Correção ortográfica Servidor de Anúncios Servidores de Índice Servidores de Índice Servidores de Índice Servidores de Índice Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidor Web do Google Recebe termos da consulta

Tratamento de consultas Servidor Web do Google Servidor de Anúncios Servidores de Índice Servidores de Índice Servidores de Índice Servidores de Índice Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidores de Documentos Correção ortográfica Você quis dizer:

Tratamento de consultas Servidor Web do Google Correção ortográfica Servidores de Índice Servidores de Índice Servidores de Índice Servidores de Índice Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidor de Anúncios AdSense e links patrocinados

Tratamento de consultas Servidor Web do Google Correção ortográfica Servidor de Anúncios Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidores de Índice Servidores de Índice Servidores de Índice Servidores de Índice Índice invertido: palavra1: doc1 - doc12 - doc32 - doc43 - doc100 palavra2: doc12 - doc132 doc181 (cada máquina possui um pedaço do índice)

Tratamento de consultas Servidor Web do Google Correção ortográfica Servidor de Anúncios Servidores de Índice Servidores de Índice Servidores de Índice Servidores de Índice Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidores de Documentos Formatação do resultado: Extrai título e pequena descrição contendo termos da consulta de cada documento (cada máquina possui um conjunto de documentos)

Tratamento de consultas Correção ortográfica Servidor de Anúncios Servidores de Índice Servidores de Índice Servidores de Índice Servidores de Índice Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidores de Documentos Servidor Web do Google Retorna HTML com resultados da busca

Configuração das máquinas ,[object Object],[object Object],[object Object],[object Object]

Comparação entre máquinas Rack do Google Dados de 2002 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Custo: U$ 278.000 Rack de um servidor de alto padrão ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Custo: U$ 758.000

Servidor de Índice ,[object Object]

Servidor de Índice ,[object Object],Característica Valor Ciclos por Instrução (CPI) 1.1 Falha de previsão de desvio 5.0 % Falha de acesso a blocos de instrução no cache L1 0.4% Falha de acesso a blocos de dados no cache L1 0.7% Falha de acesso a blocos no cache L2 0.3% Falha de acesso a blocos de instrução no TLB 0.04% Falha de acesso a blocos de dados no TLB 0.7%

Análise: Sistema de Memória ,[object Object],[object Object]

Arquitetura do Google Clusters de PCs básicos

Quando usar ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Referências ,[object Object],[object Object],[object Object],[object Object]

Arquitetura de Cluster do Google

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie Arquitetura de Cluster do Google

Ähnlich wie Arquitetura de Cluster do Google (20)

Mehr von Rafael Barbolo

Mehr von Rafael Barbolo (9)

Arquitetura de Cluster do Google

Hinweis der Redaktion