Weitere ähnliche Inhalte Ähnlich wie People-as-a-Sensor of disruptive events (spanish) (20) Mehr von Knowledge Engineering and Machine Learning Group (13) Kürzlich hochgeladen (20) People-as-a-Sensor of disruptive events (spanish)2. © Arturo Tejeda-Gómez, KEMLG, 2014 2
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
En contextoEn contexto
Datos de redes sociales
Twitter, Instagram y Foursquare
Smartphones (GPS)
Usuarios distribuidos geograficamente en el tiempo
Información en tiempo real
Twitter
Enero 2009 – 2 Millones de Tweets por día
Enero 2014 – 500 Millones de Tweets por día
Incremento del 2400%
Que tipo de información producen los usuarios?
3. © Arturo Tejeda-Gómez, KEMLG, 2014 3
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Información en redes socialesInformación en redes sociales
99.99999% información personal
0.000001% información relevante
4. © Arturo Tejeda-Gómez, KEMLG, 2014 4
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Información en redes socialesInformación en redes sociales
Generación extrema de información
Continental Airlines Vuelo 1404
US Airways Vuelo 1549
5. © Arturo Tejeda-Gómez, KEMLG, 2014 5
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Atributos delAtributos del Social MediaSocial Media
Geolocalización
Latitud: 41.419050200,
Longitud: 2.139523600
Texto
“Accidente en la Ronda...”
Imagenes
Geodata
6. © Arturo Tejeda-Gómez, KEMLG, 2014 6
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Visualización delVisualización del Social MediaSocial Media
Barcelona
http://mapcelona.org
21/05/2013 2:00 am
7. © Arturo Tejeda-Gómez, KEMLG, 2014 7
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Visualización deVisualización de Social MediaSocial Media
Mexico DF Rio de Janeiro
8. © Arturo Tejeda-Gómez, KEMLG, 2014 8
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Entonces,
¿Que podemos detectar con mensajes geolocalizados
de las redes sociales?
9. © Arturo Tejeda-Gómez, KEMLG, 2014 9
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Rumbo a la detección de eventosRumbo a la detección de eventos
Contexto
Areas geográficas (GeoHash)
Densidad
Temporalidad
Trayectorias de mobilidad (Patrones)
Comportamientos de la ciudad
10. © Arturo Tejeda-Gómez, KEMLG, 2014 10
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Comportamiento de la ciudadComportamiento de la ciudad
Barcelona 17:30hrs
“Normal” “Anormal”
10/09/2013
11/09/2013
11. © Arturo Tejeda-Gómez, KEMLG, 2014 11
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Detección de eventos disruptivosDetección de eventos disruptivos
Evento disruptivo: Situación anormal que ocurre en un
espacio y tiempo determinados; y puede causar efectos
colaterales.
Accidente → Tráfico → Retardo de buses
Manifestación → Calles cerradas → Tráfico →...
Concierto → Calles cerradas → ….
Partido de fútbol → ...
Inundación → ...
Dejar/recoger niños del colegio → ...
12. © Arturo Tejeda-Gómez, KEMLG, 2014 12
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Enriqueciendo el contextoEnriqueciendo el contexto
Agregación de otras fuentes de datos:
Tráfico
Transporte Público
Horarios: Bus, Metro, Tram, etc.
BikeSharing
Parkings
Eventos planeados
Condiciones atmosféricas
Contaminación
Clima
Fuentes oficiales en redes sociales: Policia, Tráfico, etc.
13. © Arturo Tejeda-Gómez, KEMLG, 2014 13
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Nuestro approachNuestro approach
Objetivos primarios
Explotación de fuentes de datos
Modelar la detección de eventos disruptivos
Desarrollar una aplicación en tiempo real de detección de
eventos
“simple models and a lot of data trump more elaborate models
based on less data” Halevy et al. 2009
14. © Arturo Tejeda-Gómez, KEMLG, 2014 14
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Nuestro approachNuestro approach
Simplificar, unificar y agregar fuentes de datos
Actividad de los usuarios en un lugar y tiempo
determinados
Fortalecer el aprendizaje complejo
Explicar actividades pasadas
Entender eventos actuales
Predecir futuros eventos
15. © Arturo Tejeda-Gómez, KEMLG, 2014 15
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Trabajos previosTrabajos previos
El procesamiento de datos es complicado...
Por la naturaleza de los datos
Procesamiento de Lenguaje Natural de los tweets (140
caracteres)
Por su heterogeneidad:
Procesamiento de imagenes (Instagram)
Por su semantica no-revelada
Ontologías y taxonomias (categorias de Foursquare)
Por el comportamiento del usuario
Tweet/Retweet (Post/Share)
16. © Arturo Tejeda-Gómez, KEMLG, 2014 16
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Modelo de detección de eventosModelo de detección de eventos
Identificar la “normalidad“
Por cada area y ventana de tiempo
Cual es el comportamiento esperado de la ciudad un martes entre
las 12:15 y 12:30 hrs.?
La mediana y el rango intercuartil
Desviación de datos.. algo raro esta pasando!
Anormalidad de datos... algo crítico esta pasando!
Construyendo el modelo
De la desviación obtenemos
certeza en el tiempo.
La forma de un evento es
pseudo-trapezoide
Empieza (a-) y termina (a+)
Title:event.eps
Creator:GIMP PostScript file plugin V 1,
CreationDate:Wed Feb 12 12:40:16 2014
LanguageLevel:2
17. © Arturo Tejeda-Gómez, KEMLG, 2014 17
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
AplicacionesAplicaciones
Desubrimiento de eventos masivos
Un evento esta compuesto por 2 o más ventanas de tiempo con
una actividad anormal en el area
Un promedio de 3.1 eventos por dia
Cuales serían los eventos detectados más significativos?
15 FCBarcelona games 2 RCDEspanyol games
10 Concerts 5 New Year's eve events
5 Airport events 2 touristic atractions
1 Barcelona Fashion Week
Evento TOP: FCBarcelona vs Real Madrid
18. © Arturo Tejeda-Gómez, KEMLG, 2014 18
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Aplicaciones (II)Aplicaciones (II)
Características de los eventos detectados
Clasificación de eventos basados en su popularidad
Partidos de la liga de campeones tienen más impacto que un partido
de liga normal
La clasificación de un concierto depende de la popularidad del
cantante
Dia de año nuevo (patrones únicos de actividad)
Otros eventos detectados:
Salida al mercado del iPhone 5s
Paros en las estaciones de tren
Congresos (MWC, Smart Cities, etc.)
Barcelona Shopping Night
19. © Arturo Tejeda-Gómez, KEMLG, 2014 19
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Aplicaciones (III)Aplicaciones (III)
Estimando el impacto del evento desde nuestro modelo
Correlación entre el impacto en tiempo real de los eventos
detectados con su posterior calculo de asistencia:
Pearson
correlation
coefficient
0.82
20. © Arturo Tejeda-Gómez, KEMLG, 2014 20
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Aplicaciones (IV)Aplicaciones (IV)
Monitor en tiempo real de eventos disruptivos
Encuentra areas que su comportamiento esta fuera de lo normal
Title:hot_cold.eps
Creator:GIMP PostScript file plugin V 1,
CreationDate:Fri Feb 14 17:14:18 2014
LanguageLevel:2
21. © Arturo Tejeda-Gómez, KEMLG, 2014 21
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Futuras aplicacionesFuturas aplicaciones
Y algunas más...
Entender el comportamiento de los eventos
Como se forman?
Cuanto duran y cual es su impacto?
Como se dispersan?
Como preceden a otros?
Entender la correlación de los eventos
Eventos en area de bares preceden a eventos en un area de
clubs
Construir perfiles de usuarios y segmentar los resultados de
los eventos y trayectorias (en progreso)
22. © Arturo Tejeda-Gómez, KEMLG, 2014 22
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
ConclusionesConclusiones
Problema: Modelo complejo a través de datos simples.
El comportamiento de una ciudad es un problema complejo que
tiene millones de dependencias.
Big Data
Simplificar el modelo para permitir escalabilidad y
paralelización.
Resultados
Un modelo simple puede representar dominios complejos si hay
la “suficiente cantidad de datos”
Algunas otras aplicaciones
Analisis de la mobilidad de la ciudad
Respuestas y acciones en tiempo real a eventos disruptivos
Simulación de politicas de mobilidad
23. © Arturo Tejeda-Gómez, KEMLG, 2014 23
People-as-a-SensorofDisruptiveEventsPeople-as-a-SensorofDisruptiveEvents
Arturo Tejeda Gómez
jatejedajatejeda@lsi.upc.e@lsi.upc.edudu
https://kemlg.upc.edu