Plataforma de Apoyo a la Gestión de Emergencias y Aplicaciones

1. Plataforma FONDEF

2. Contexto y Necesidad
Inteligencia, Desafío I+D
• Plataforma que provea un ambiente compuesto por un conjunto de servicios
que pueden ser usados como componentes para crear aplicaciones
escalables y tolerantes a fallas.
• Ejecutar las aplicaciones en la Plataforma FONDEF ayuda a mantenerla con
alta disponibilidad incluso ante la falla de nodos a través de replicación y
monitoreo.
• Proveer documentación y tutoriales con ejemplos que permitan generar
aplicaciones robustas y eficientes con el objetivo de hacer un buen el uso de
la plataforma FONDEF.
• Plataforma autónoma capaz de adaptarse a cambios en el flujo de eventos.

3. 1
Elástica
Aprovisionar y liberar
recursos
computacionales de
acuerdo a la
demanda de carga de
trabajo.
2
Eficiente
En el procesamiento
paralelo de datos y
uso de recursos.
3
Escalable
A nivel nacional, con
despliegue en
distintos centros de
datos distribuidos
geográficamente.
4
Movible
Respecto de migrar
de manera
transparente a las
aplicaciones en
ejecución a distintos
centros de datos.
5
Robusta
Respecto de permitir
fallas de
procesadores dentro
de centros de datos y
entre centros de
datos.
6
Multi-entorno
Extiende sus servicios
a teléfonos móviles
inteligentes.
Propiedades Plataforma FONDEF

4. Propiedades Plataforma FONDEF
1
Elástica
Aprovisionar y liberar
recursos
computacionales de
acuerdo a la
demanda de carga de
trabajo.
2
Eficiente
En el procesamiento
paralelo de datos y
uso de recursos.
3
Escalable
A nivel nacional, con
despliegue en
distintos centros de
datos distribuidos
geográficamente.
4
Movible
Respecto de migrar
de manera
transparente a las
aplicaciones en
ejecución a distintos
centros de datos.
5
Robusta
Respecto de permitir
fallas de
procesadores dentro
de centros de datos y
entre centros de
datos.
6
Multi-entorno
Extiende sus servicios
a teléfonos móviles
inteligentes.

5. Propiedades Plataforma FONDEF
1
Elástica
Aprovisionar y liberar
recursos
computacionales de
acuerdo a la
demanda de carga de
trabajo.
2
Eficiente
En el procesamiento
paralelo de datos y
uso de recursos.
3
Escalable
A nivel nacional, con
despliegue en
distintos centros de
datos distribuidos
geográficamente.
4
Movible
Respecto de migrar
de manera
transparente a las
aplicaciones en
ejecución a distintos
centros de datos.
5
Robusta
Respecto de permitir
fallas de
procesadores dentro
de centros de datos y
entre centros de
datos.
6
Multi-entorno
Extiende sus servicios
a teléfonos móviles
inteligentes.

6. Propiedades Plataforma FONDEF
1
Elástica
Aprovisionar y liberar
recursos
computacionales de
acuerdo a la
demanda de carga de
trabajo.
2
Eficiente
En el procesamiento
paralelo de datos y
uso de recursos.
3
Escalable
A nivel nacional, con
despliegue en
distintos centros de
datos distribuidos
geográficamente.
4
Movible
Respecto de migrar
de manera
transparente a las
aplicaciones en
ejecución a distintos
centros de datos.
5
Robusta
Respecto de permitir
fallas de
procesadores dentro
de centros de datos y
entre centros de
datos.
6
Multi-entorno
Extiende sus servicios
a teléfonos móviles
inteligentes.

7. Propiedades Plataforma FONDEF
1
Elástica
Aprovisionar y liberar
recursos
computacionales de
acuerdo a la
demanda de carga de
trabajo.
2
Eficiente
En el procesamiento
paralelo de datos y
uso de recursos.
3
Escalable
A nivel nacional, con
despliegue en
distintos centros de
datos distribuidos
geográficamente.
4
Movible
Respecto de migrar
de manera
transparente a las
aplicaciones en
ejecución a distintos
centros de datos.
5
Robusta
Respecto de permitir
fallas de
procesadores dentro
de centros de datos y
entre centros de
datos.
6
Multi-entorno
Extiende sus servicios
a teléfonos móviles
inteligentes.

8. Propiedades Plataforma FONDEF
1
Elástica
Aprovisionar y liberar
recursos
computacionales de
acuerdo a la
demanda de carga de
trabajo.
2
Eficiente
En el procesamiento
paralelo de datos y
uso de recursos.
3
Escalable
A nivel nacional, con
despliegue en
distintos centros de
datos distribuidos
geográficamente.
4
Movible
Respecto de migrar
de manera
transparente a las
aplicaciones en
ejecución a distintos
centros de datos.
5
Robusta
Respecto de permitir
fallas de
procesadores dentro
de centros de datos y
entre centros de
datos.
6
Multi-entorno
Extiende sus servicios
a teléfonos móviles
inteligentes.

9. Propiedades Plataforma FONDEF
1
Elástica
Aprovisionar y liberar
recursos
computacionales de
acuerdo a la
demanda de carga de
trabajo.
2
Eficiente
En el procesamiento
paralelo de datos y
uso de recursos.
3
Escalable
A nivel nacional, con
despliegue en
distintos centros de
datos distribuidos
geográficamente.
4
Movible
Respecto de migrar
de manera
transparente a las
aplicaciones en
ejecución a distintos
centros de datos.
5
Robusta
Respecto de permitir
fallas de
procesadores dentro
de centros de datos y
entre centros de
datos.
6
Multi-entorno
Extiende sus servicios
a teléfonos móviles
inteligentes.

10. Ambiente privado virtual
Stack de Software
Coordinación y Monitoreo
APIs
Cluster USACH Cluster CMM Cluster UFROCluster UCN
Infraestructura física
Aplicación
Procesamiento
Balance de carga
Persistencia
Colas y Mensajería
Apache Zookeeper
Visión global
Stack de software
de la plataforma

11. Application
HTTP Server
Apache
Nginx
API REST
Message-oriented
Kafka
RabbitMQ
Kibana
MySql
Persistencia
Postgres
App móvil
Elastic Search
Browser
engine
ProcesamientoUser interface
Hadoop
Map Reduce
Front-end
Middleware
Cliente
Arquitectura Plataforma FONDEF
Nginx
HAProxy
Redis
Proxy- Cache
Balance de Carga
MongoDB
Back-end
Publish/Subscribe
Kafka
Infraestructura
Cluster USACH Cluster CMM Cluster UFROCluster UCN
Infraestructura Virtual
SPS
Storm
Spark

12. Application
HTTP Server
Apache
Nginx
API REST
Message-oriented
Kafka
RabbitMQ
Kibana
SPS
Storm
Spark
MySql
Persistencia
Postgres
App móvil
Elastic Search
Browser
engine
ProcesamientoUser interface
Hadoop
Map Reduce
Front-end
Middleware
Cliente
Arquitectura Plataforma FONDEF
Nginx
HAProxy
Redis
Proxy- Cache
Balance de Carga
MongoDB
Back-end
Publish/Subscribe
Kafka
Infraestructura
Cluster USACH Cluster CMM Cluster UFROCluster UCN
Infraestructura Virtual
Rimay

13. Application
HTTP Server
Apache
Nginx
API REST
Message-oriented
Kafka
RabbitMQ
Kibana
MySql
Persistencia
Postgres
App móvil
Elastic Search
Browser
engine
ProcesamientoUser interface
Hadoop
Map Reduce
Front-end
Middleware
Cliente
Arquitectura Plataforma FONDEF
Nginx
HAProxy
Redis
Proxy- Cache
Balance de Carga
MongoDB
Back-end
Publish/Subscribe
Kafka
Infraestructura
Cluster USACH Cluster CMM Cluster UFROCluster UCN
Infraestructura Virtual
SPS
Storm
Spark
Ayni

14. Application
HTTP Server
Apache
Nginx
API REST
Message-oriented
Kafka
RabbitMQ
Kibana
MySql
Persistencia
Postgres
App móvil
Elastic Search
Browser
engine
ProcesamientoUser interface
Hadoop
Map Reduce
Front-end
Middleware
Cliente
Arquitectura Plataforma FONDEF
Nginx
HAProxy
Redis
Proxy- Cache
Balance de Carga
MongoDB
Back-end
Publish/Subscribe
Kafka
Infraestructura
Cluster USACH Cluster CMM Cluster UFROCluster UCN
Infraestructura Virtual
SPS
Storm
Spark
Aysana

15. Application
HTTP Server
Apache
Nginx
API REST
Message-oriented
Kafka
RabbitMQ
Kibana
MySql
Persistencia
Postgres
App móvil
Elastic Search
Browser
engine
ProcesamientoUser interface
Hadoop
Map Reduce
Front-end
Middleware
Cliente
Arquitectura Plataforma FONDEF
Nginx
HAProxy
Redis
Proxy- Cache
Balance de Carga
MongoDB
Back-end
Publish/Subscribe
Kafka
Infraestructura
Cluster USACH Cluster CMM Cluster UFROCluster UCN
Infraestructura Virtual
SPS
Storm
Spark
Jayma

16. Application
HTTP Server
Apache
Nginx
API REST
Message-oriented
Kafka
RabbitMQ
Kibana
MySql
Persistencia
Postgres
App móvil
Elastic Search
Browser
engine
ProcesamientoUser interface
Hadoop
Map Reduce
Front-end
Middleware
Cliente
Arquitectura Plataforma FONDEF
Nginx
HAProxy
Redis
Proxy- Cache
Balance de Carga
MongoDB
Back-end
Publish/Subscribe
Kafka
Infraestructura
Cluster USACH Cluster CMM Cluster UFROCluster UCN
Infraestructura Virtual
SPS
Storm
Spark
Ayllu

17. Application
HTTP Server
Apache
Nginx
API REST
Message-oriented
Kafka
RabbitMQ
Kibana
MySql
Persistencia
Postgres
App móvil
Elastic Search
Browser
engine
ProcesamientoUser interface
Hadoop
Map Reduce
Front-end
Middleware
Cliente
Arquitectura Plataforma FONDEF
Nginx
HAProxy
Redis
Proxy- Cache
Balance de Carga
MongoDB
Back-end
Publish/Subscribe
Kafka
Infraestructura
Cluster USACH Cluster CMM Cluster UFROCluster UCN
Infraestructura Virtual
SPS
Storm
Spark
Jawira

18. ¿Cómo usar la plataforma?
• Movible: Uso de replicación en diferentes centros de datos y proxies para
direccionar peticiones a diferentes centros.
• Elástica: Uso de sistemas de procesamiento que automáticamente se
adecuan al flujo de evento del sistema. Monitoreo de recursos utilizados
para adecuarlos a requerimientos actuales.
• Escalable: Plataforma que cuenta con recursos en distintos centros de datos
para escalar en caso de necesidad. Uso de proxies para balancear la carga.
• Robusta: Uso de colas de eventos para minimizar pérdida de datos cuando
falla un servidor. Replicación de información de procesamiento y
persistencia para evitar pérdidas en caso de desastre naturales.

19. Plataforma distribuida
• Elementos de diferentes capas replicados en diferentes centros.
• Automáticamente se ajustan proxy y balanceadores de carga en caso de
movimientos debido a fallas de nodos.
• Crecimiento y eliminación de elementos según volumen de consultas.

20. Eficiencia en despliegue
• El despliegue de aplicaciones sobre los distintos centros de datos
requiere configuración del stack de software.
• Se ajustan parámetros a través de simulación a escala de las
aplicaciones.
Simulación
Configuración eficiente
en plataforma
(parámetros, recursos)
Sintonización de parámetros

21. Aplicación elástica, escalable, movible y
tolerante a fallas basada en STORM
Topología de Grafo
de Aplicación
Desplegado en cluster de
nodos de procesamiento
Usando monitoreo:
• Si un nodo de procesamiento falla es automáticamente reemplazado por
Zookeeper.
• Nuestra plataforma provee replication activa de aplicaciones en caso de fallas de un
centro.
Replicado en cluster de computadores
geográficamente distribuido.
Adaptación del grafo
en caso de aumento
en volumen de tráfico.

22. Base de datos escalable y tolerante a
fallas basada en Postgres
• Si un nodo de la base de datos falla, las consultas son automáticamente redireccionadas a otros.
• El balance de carga en los nodos de base de datos es configurable.

23. USACH
• Zookeeper y Nimbus replicados en
cada centro.
• Aplicaciones de Storm movibles
alojadas en los centros.
2 nodos de
procesamiento
UCHILE
1 nodos de
procesamiento
UFRO
1 nodos de
procesamiento
Despliegue de prueba

24. Pruebas de latencia: Aplicación
voluntarios y
Se realizó una prueba a los servidores de
tal manera de analizar la latencia para tres
tipos de test:
• Test 1: Obtener el tipo de los usuarios
• Test 2: Obtener todos los tipos de
emergencia
• Test 3: Obtener todas las habilidades.
Se midió el promedio del tiempo realizado
por 1024 consultas concurrentes.

25. Plataforma de Apoyo a la Gestión de Emergencias y Aplicaciones
Proyecto Fondef Idea ID15I-10560