O documento introduz o Apache Hadoop, um framework para computação distribuída em clusters. Ele descreve os principais componentes do Hadoop - HDFS para armazenamento distribuído de dados e MapReduce para processamento paralelo - e explica como eles funcionam juntos para analisar grandes quantidades de dados em clusters.

7. Out/03 – Artigo sobre GFS

8. Dez/04 – Artigo sobre Map Reduce

9. Dez/05 – Doug Cutting implementa MR e DFS no Nutch

10. Fev/06 – Hadoop se torna um projeto oficial da Apache, Doug Cutting é contratado pela Yahoo!, que adota o Hadoop

11. Abr/07 – Yahoo! roda Hadoop em um cluster de 1000 nós

12. Jan/08 – Hadoop se transforma em um projeto principal da Apache

13. Dez/11 – Apache disponibiliza versão 1.0.0

15. Milhares de nós

16. Hardware comum (Commodity cluster computing)

18. Java

19. Inspirado originalmente pelo GFS e MapReduce da Google

21. Cada nó é hardware comum

24. Mover computação é barato

27. HDFS: distribui os dados

36. Grande largura de banda associada

39. Blocos distribuídos pelos nós (um arquivo é dividido em N blocos e armazenado em M nós)

40. Blocos são replicados e as replicações distribuídas

43. Provê um modelo de programação

54. Reduce : para cada palavra, soma as quantidades

57. Map : emite uma linha se um padrão é encontrado

58. Reduce : Copia os resultados para a saída

60. Map : faz a análise dos documentos e gera pares de (palavra, docId)

61. Reduce : recebe todos os pares de uma palavra, organiza os valores docId, e gera um par (palavra, lista(docId))

68. Metadados dos blocos (hash)