Esta es una actualización de el proyecto de Big Data que ha llegado a un primer resultado, El mapa de emotividad basada en Twitter, por cada entidad de México. El siguiente paso será hacer esto en tiempo real.

1. Anatomía de un
proyecto de Big Data
8 Septiembre 2015

2. abel.coronado @ inegi.org.mx
@abxda

4. COOPERACIÓN INTERINSTITUCIONAL
• Nacional • Internacional
@abxda

5. ¿QUÉ ES BIG DATA?

6. Dan Ariely, Duke University
¿Qué es Big Data?
@abxda

7. ¿Qué es Big Data?
http://es.wikipedia.org/wiki/Los_ciegos_y_el_elefante
@abxda

8. http://datascience.berkeley.edu/what-is-big-data/ @abxda
¿Qué es Big Data?

9. http://datascience.berkeley.edu/what-is-big-data/ @abxda
¿Qué es Big Data?

10. http://datascience.berkeley.edu/what-is-big-data/ @abxda
¿Qué es Big Data?

11. http://datascience.berkeley.edu/what-is-big-data/ @abxda
¿Qué es Big Data?

12. Según Gartner
Big data es información en altos
volúmenes, alta velocidad o alta
variedad que demanda formas
creativas y viables económicamente
para procesarla con el fin de contribuir
a tomar decisiones, actuar y crear
valor.
http://www.ft.com/intl/cms/e91a32d0-2bac-11e3-bfe2-00144feab7de.pdf
¿Qué es Big Data?
@abxda

13. Considerar las Nuevas Fuentes de Datos
para Complementar a las Tradicionales
@abxda

14. @abxda

15. http://upload.wikimedia.org/wikipedia/commons/5/5b/Samurai_award.jpg
Tomar decisiones, actuar y crear valor
@abxda

16. Big Data en las Oficinas Nacionales de
Estadística
http://www1.unece.org/stat/platform/download/attachments/58492100/Big+Data+HLG+Final.docx?version=1&modificationDate=1362939424184
@abxda

17. • It is clear that during the next two years there
is a need to identify a few pilot projects that
will serve as proof of concept.
• Statistical organisations are, therefore,
encouraged to address formally Big data
issues in their annual and multi-annual work
programmes by undertaking research and pilot
projects in selected areas and by allocating
appropriate resources for that purpose.
@abxda
Big Data en las Oficinas Nacionales de
Estadística

18. • 'new' exploration and analysis methods are
required: Visualization methods, Text mining, and
High Performance Computing.
• To use Big data, statisticians are needed with a
different mind-set and new skills. The
processing of more and more data for official
statistics requires statistically aware people with
an analytical mind-set, an affinity for IT (e.g.
programming skills)
@abxda
Big Data en las Oficinas Nacionales de
Estadística

19. Mayor:
Desagregación, Precisión,
Comparabilidad
Costo, Recursos, Dificultad de
Obtención
Mayor:
Oportunidad, Autonomía
(intrínseca)
Conocimientos, Capacidades
Técnicas, Dificultad de
Análisis
@abxda

20. Experto en
computación y
desarrollo
avanzados
Experto en
estadística
matemática
Experto en
el dominio de
datos
CIENCIA
DE
DATOS
Zona
peligrosa!
Investigación
tradicional
Machine
learning
Ciencia de Datos
@abxda
http://drewconway.com/zia/2013/3/26/the-data-science-venn-diagram

21. Experto en
computación y
desarrollo
avanzados
Experto en
estadística
matemática
Experto en
el dominio de
datos
Unicornio
Zona
peligrosa!
Investigación
tradicional
Machine
learning
Ciencia de Datos
@abxda
CIENCIA
DE
DATOS
http://www.anlytcs.com/2014/01/data-science-venn-diagram-v20.html

22. Científico de Datos
Ingeniero de Datos
@abxda
Productos
de Datos
Manejar
las 3 v’s
vs
Visualización
Modelado
Contar
Historias
Científico de Datos
Administración
de Sistemas
Programación
Matemáticas
Estadística
Ingeniero de Datos
Administración de
Bases de Datos
Almacenamiento de
Datos
http://101.datascience.community/2014/07/08/data-scientist-vs-data-engineer/

23. Equipo de Big Data y Ciencia de Datos
Estadística
Matemáticas
Machine Learning
Minería de Texto
Interfaces de Usuario
Experiencia del Usuario
First Mobile
Visualización de Datos
Ingeniería de Software
Administradores de Sistemas
Bases de datos NoSQL
Arquitecturas Big Data
Arquitecturas de Software
Crowdsourcing
@abxda

24. Internet de las cosas
Internet de las personas
Internet de las ideas
Internet del todo
Datos
Crudos
hdfs://
Información
(Significado)
Tomar
Decisiones
Actuar
¿quién?
¿cuántos?
¿por qué?
¿qué?¿Dónde?
Análisis de Datos
Estadística Machine Learning
Estratificaciones
Análisis de Regresión
Muestreo
Mucho más…
Análisis de Redes (Grafos)
Minería de Datos
Volumen
Ciencia de Datos
(Transforma/Modela)
Cómputo Concurrente y Paralelo
Arquitectura para
Ciencia de Datos y Big Data
@abxda@hbcolectivo

25. Internet de las Personas
Internet de las Cosas
Sensores
{ json }
< xml >
c,s,v
Redes Sociales
Internet de las Ideas
Crowdsourcing
Sistemas de Archivos
Distribuidos
Computo Paralelo y
Concurrente
Programación Funcional
Razonamiento Algebraico
Estadística
Análisis Multivariado
Machine Learning
Análisis de Interacción Espacial
{ json }
< xml >
c,s,v
{ json }
< xml >
c,s,v
Bases de Datos
NoSQL
Visualización
Panorama Tecnológico
Infraestructura de Cómputo

26. ESTRATIFICADOR INEGI
Qué es un producto de datos

27. Ciencia de Datos
www.inegi.org.mx/est/contenidos/Proyectos/estratificador/
@abxda

28. Tecnologías Involucradas (2013)
@abxda
D3.js Librería JavaScript para creación de los
gráficos vectoriales interactivos.
Librería JavaScript facilita la incorporación del patrón
MVC en aplicaciones web de una sola página
Diseño de estructura de la página y habilitación
responsiva via Twitter Bootstrap.
JSON formato de intercambio de datos.
Motor de análisis estadístico,
habilitador de la inteligencia
estadística.

29. Ciencia de Datos

30. Ciencia de Datos

31. @abxda
Ciencia de Datos

32. @abxda
Ciencia de Datos

33. %Acceso a Internet, %Pc, %Telefono Celular, %Automovil @abxda
Estratificación de 1.2 M de Manzanas
En la misma Pc de 4 Procesadores:
(2013)
Software Tiempo Manzanas
Big Data 8 Seg. 1’221,18
0
Tradicional 8 Seg. 2,666
https://spark.apache.org/

34. @hbcolectivo
TWITTER COMO FUENTE DE BIG DATA
Para medir el pulso emotivo de México
…y mucho más …

35. 2009 2010 2011 2012 2013 2014 2015
(Junio) GIVAS =
Global Pulse
(2010) UNECE-
CES crea HLG-
BAS = HLG on
Modernisation
of Statistical
Production and
Services
(Oct. 2010) Día Mundial
de la Estadística.
“Tendencias actuales
de la estadística
aplicada”, por John
Brocklebank, SAS
(Agosto 2011)
ISI Dublin sesión
sobre Análisis
Estadístico de
Redes Sociales.
(Nov. 2012)
HLG_BAS
“IDENTIFYING KEY
PRIORITIES FOR
2013 AND
BEYOND”
menciona, por fin,
Big Data y Open
Data.
(Agosto 2013)
propuesta BigData
– Fondo Conacyt
Inegi.
DGAI Inicia
con
Herramientas
Big Data
(Octubre 2013)
Encuentro con
Seligman en
Monterrey en
evento de Tec
Milenio Institu
to de ciencias
de la felicidad.
(Diciembre
2013) Visita
de Upenn a
INEGI
(Febrero
2014) Inicia
recolección
de Tuits
(Hydra)
(Junio 2014)
Seminario
Internacional
Inegi Big Data
en INFOTEC
(Julio 2014)
SECTUR y
mapa
resultado y
paper.
(Agosto
2014) Inicia
Pioanálisis
(Nov.
2014)
Concluye
clasificac
ión de
Twits.
(Diciembre
2014)
Involucramien
to Infotec-
Geo etiquetad
o de tuits
(Febrero
2015) Viaje
a UPenn
(Febrero
2015)
Seminario
Infotec-
CentroGeo-
Inegi.
(Abril 2015)
Herramienta
de Medición
de Bienestar
en Tiempo
Real
(Junio 2015)
Entrega del
primer conjunto
de 60M
clasificado por
INFOTEC
(Julio 2015)
Herramienta
de
Visualización
@abxda

36. Equipo de Trabajo
Y el apoyo de:
Y en la parte de visualización:
@abxda

37. OBJETIVO DEL PROYECTO
Generar indicadores experimentales, nuevos o que
complementen los generados por métodos tradicionales,
utilizando técnicas de Big Data para la extracción,
almacenamiento, procesamiento, análisis y visualización de
los datos.
@abxda

38. Impactos esperados del proyecto
Desarrollo Estadístico
• Propuesta de indicadores obtenidos a partir de
fuentes Big Data
• Establecimiento de correlaciones entre éstos y los
producidos por la estadística oficial.
• Producción científica de los académicos
participantes
@abxda

39. Impactos esperados del proyecto
Desarrollo Tecnológico
• Adquirir experiencia práctica en nuevas técnicas de
recolección, integración, procesamiento, análisis y
visualización de datos
• Identificar el proceso, los procedimiento, las habilidades, los
roles y el flujo de trabajo que serían necesarios para poder
desarrollar las capacidades institucionales
• Identificar los requerimientos de Hardware y Software para
desarrollar un ambiente de producción de Big Data
@abxda

40. ¿Cuántos caracteres?
@abxda

41. 140 ???
@abxda

42. Todo listo para la presentación de #BigData en el @FSLmx .
1482
Json: Formato de Intercambio

43. Nuestra huella en las Redes Sociales
@abxda

44. Todos los tuits están disponibles para su
recolección en tiempo real.
@abxda

45. Incluso permite consultas geográficas
@abxda

46. ¿Dónde recolectar?
@abxda

47. http://www.elasticsearch.org/
@abxda

48. ¿Por qué ElasticSearch?
@abxda

49. Hydra
@abxda< ESCALABILIDAD HORIZONTAL >

50. Hydra
@abxda

51. @abxda

52. – 1 año 7 meses de estar recolectando las 24 horas 7 días de la
semana tuits georeferenciados.
– Mas de 150 millones de tuits recolectados
Recolección de tuits en Archivos
Distribuidos con Bases de Datos NoSQL.
@abxda

53. Visualización de la Base de Datos
>150 Millones de Tuits
@abxda

54. ~ 70 Millones de Tuits
@abxda

55. Frecuencia de Tuiteo
# Tuits
Frecuencia por hora del día
882,007 Tuiteros generaron
43’079,312 de Tuits
@abxda

56. Movilidad de los Tuiteros
4’469,550 de desplazamientos inter-municipales
347,157 Tuiteros
@abxda

57. @abxda
Red Nacional de Caminos y Twitter

58. Red Nacional de Caminos y Twitter
@abxda

59. DENUE & Twitter
@abxda

60. DENUE & Twitter
@abxda

61. DENUE & Twitter
@abxda

62. DENUE & Twitter
@abxda

63. Horarios de Tuiteo cerca de algún sector
@abxda

64. PIO ANÁLISIS Y LA MEDICIÓN DEL
BIENESTAR A TRAVÉS DE TWITTER
MACHINE LEARNING
Qué es un producto de datos

65. Indicador de sentimiento
…
…
Proceso de Machine Learning
Objetivo:
@abxda

66. Proceso de Machine Learning
Muestra de Tuits
Etiquetado Manual
Representación numérica
http://scikit-learn.org/
http://www.r-project.org/
Machine Learning
Tuits en Tiempo Real
Clasificador
Indicador
de sentimiento
@abxda
Entrenamiento
Producción

67. http://cienciadedatos.inegi.org.mx/pioanalisis
@hbcolectivo @ricardoaolvera
@abxda

68. @abxda
D3.js Librería JavaScript para creación de los
gráficos vectoriales interactivos.
Librería JavaScript facilita la incorporación del patrón
MVC en aplicaciones web de una sola página
Diseño de estructura de la página y habilitación
responsiva via Twitter Bootstrap.
JSON formato de intercambio de datos.
Web Api 2 / Interface REST
Tecnologías Involucradas

69. Resultados
@hbcolectivo
@ricardoaolvera
@abxda
Alrededor de 5000 anotadores de la Universidad Tec Milenio

70. El proceso de limpieza sirvió para eliminar redundancias e inconsistencias, dejando
un conjunto menor de Tuits pero con mayor calidad.
@abxda

71. El proceso de normalización convierte cada tuit a una representación que facilite su
clasificación automatizada. @abxda

72. Preparación para el entrenamiento de algoritmos de Machine Learning
@abxda

73. El resultado final de la fase de entrenamiento consistió en un ensamblado
desarrollado por la colaboración INFOTEC - Centro Geo
@abxda

74. @abxda

75. @abxda

76. IMPLEMENTACIÓN DE BIG DATA
Visión de

77. Hadoop / Apache Spark
@abxda
ó
Procesamiento
70 Cores > 3 Ghz
>250 Gb Ram
5 TB
+
Recolección
20 Cores > 3 Ghz
100 Gb Ram
1 TB

78. • Tecnología de procesamiento en paralelo para
Ciencia de Datos
Apache Spark
@abxda

79. @abxda

80. http://www.scidev.net/global/data/feature/big-data-for-development-facts-and-figures.html
Reflexión
@abxda

81. Preguntas
@abxda

82. abel.coronado@inegi.org.mx @abxda