Machine Learning at Meli - AWS Presentation

15. Small
[m4.xlarge]
Medium
[m4.2xlarge]
Large
[m4.10xlarge]
GPU
[p3.2xlarge]
Procesamiento 4 vCPUs 8 vCPUs 40 vCPUs 1 GPU / 8 vCPUs
RAM 16 GB 32 GB 160 GB 16GB / 61GB
Storage 30 GB 40 GB 50 GB 100 GB

25. Capa 1 - Datos crudos
Novedades a procesar por las cargas
diarias. Registros con las respuestas
de las distintas api’s de origen,
formato JSON
1
Capa 2 - Consolidado
histórico
Toda la historia de esa entidad, con la
versión más actual de cada
registro.También en formato JSON.
2
Capa 3 - De negocio
La info se transforma en un modelo
relacional, como en Teradata,
respetando las nomenclaturas y
lógicas del DW, para que sea familiar
para el usuario. Formato parquet
para optimizar procesamiento.
3

26. Nro clusters en paralelo: 3 => 5 => 10
4 Instancias tipo R4.8xlarge por cluster
128 Cpu’s 976 Gb Memoria