Este documento describe los sistemas de Big Data y el modelo MapReduce. Explica que MapReduce es un modelo de procesamiento por lotes para sistemas distribuidos que consta de dos etapas: Map y Reduce. También describe algunas implementaciones de MapReduce como Hadoop y su arquitectura compuesta por HDFS, YARN y HBase.

1. Sistemas de Big Data
Ricardo García Ródenas
Ricardo.Garcia@uclm.es
Sistemas BD:
procesamiento batch

2. ▪ Recolección y almacenamiento
datos antes de procesamiento
▪ Computación distribuida:
MapReduce
Procesamiento
batch
Cluster Red

3. ▪ Máquinas procesamiento
MapReduce
▪ Google File System (GFS)
▪ BigTable
MapReduce
Google 2004

4. ▪ Hadoop MapReduce
▪ Hadoop YARN
▪ Hadoop Distributed File System
(HDFS) y Hbase
MapReduce
Apache Software
Foundation

5. ▪ Entorno programación
▪ Escalabilidad
▪ Tolerante a fallos
MapReduce
Apache Software
Foundation

6. MapReduce
< k, v >
▪ Registros < clave, valor >
Datos

7. MapReduce
▪ Etapa Map ▪ Etapa Reduce
▪ Etapa Shuffle
Etapas
Función
map(k,v)
Función
reduce(k,list(v))

8. MapReduce
Worker 1
Split 1
Worker 2
Split 2
Worker 3
Split 3
Tareas Map
Asignación
Input
< k1, v1 >
Datos intermedios
< k2, v2 >
Etapa Map
Master

9. MapReduce
Master
Tareas Reduce
Worker 4 Output 1
Worker 5 Output 2
Asignación
Datos intermedios
< k2, [v2] >
Output
< k3, v3 >
Etapa Reduce

10. Worker 1
Split 1
Worker 2
Split 2
Worker 3
Split 3
Tareas Map
Master
Tareas Reduce
Asignación
Worker 4 Output 1
Worker 5 Output 2
Asignación
Input
< k1, v1 >
Datos intermedios
< k2, v2 > < k2, [v2] >
Output
< k3, v3 >

11. Sistemas de Big Data
Ricardo García Ródenas
Ricardo.Garcia@uclm.es
Sistemas BD
procesamiento batch
MapReduce