3. Diseño y construcción de
una plataforma de
clasificación de texto basada
en textmining aplicada sobre
una red de blogs para
por CAMILO ALBERTO LÓPEZ ARAVENA
betazeta networks s.a
PROFESORES GUÍA Y CO-GUÍA
Sebastián Ríos, Jorge Pérez
COMISIÓN
Pablo Barceló, Carlos Rebeco

4. 2 • 30

5. Tanalyze
r

6. LA Empresa
4 • 30

7. LA Empresa
4 • 30

8. LA Empresa
‣
Blogs
4 • 30

9. LA Empresa
‣
Blogs
‣
7,5 MILLONES
4 • 30

10. 5 • 30

11. Problemas
5 • 30

12. Problemas
‣
¿qué estamos ofreciendo hoy?
5 • 30

13. Problemas
‣
¿qué estamos ofreciendo hoy?
‣
Contenido Generado por Usuarios!
5 • 30

14. 6 • 30

15. Solución y objetivos
6 • 30

16. Solución y objetivos
Apoyo al procesamiento de altos
volúmenes de información mediante una
plataforma de visualización y
categorización de contenidos
6 • 30

17. Solución y objetivos
‣
Entender Apoyo al procesamiento de altos
volúmenes de información mediante una
plataforma de visualización y
categorización de contenidos
6 • 30

18. Solución y objetivos
‣
Entender Apoyo al procesamiento de altos
‣
Seleccionar volúmenes de información mediante una
plataforma de visualización y
categorización de contenidos
6 • 30

19. Solución y objetivos
‣
Entender Apoyo al procesamiento de altos
‣
Seleccionar volúmenes de información mediante una
plataforma de visualización y
‣
definir categorización de contenidos
6 • 30

20. Solución y objetivos
‣
Entender Apoyo al procesamiento de altos
‣
Seleccionar volúmenes de información mediante una
plataforma de visualización y
‣
definir categorización de contenidos
‣
Construir
6 • 30

21. Solución y objetivos
‣
Entender Apoyo al procesamiento de altos
‣
Seleccionar volúmenes de información mediante una
plataforma de visualización y
‣
definir categorización de contenidos
‣
Construir
‣
Evaluar
6 • 30

22. a continuación...
7 • 30

23. a continuación...
1. contexto teórico
2. desarrollo
3. demo
4. Evaluación y resultados
experimentales
5. conclusiones y trabajo futuro
7 • 30

24. 8 • 30

25. un poco de contexto
‣
data mining
8 • 30

26. un poco de contexto
‣
data mining
8 • 30

27. un poco de contexto
‣
data mining
‣
text mining
8 • 30

28. un poco de contexto
‣
data mining
‣
text mining
‣
topic modeling
8 • 30

29. 9 • 30

30. LDA
LATENT DIRICHLET ALLOCATION
9 • 30

31. MO
DE
LO
LDA
GE
NE
R AT
IVO
LATENT DIRICHLET ALLOCATION
9 • 30

32. 10 • 30

33. medicin
Tecnología
a
10 • 30

34. medicin
Tecnología
a
10 • 30

35. medicin
Tecnología
Google a
internet
computador
byte
10 • 30

36. medicin
Tecnología
Google acerebro
internet enfermedad
computador paciente
byte clínica
10 • 30

37. Tecnología
Google
internet cerebro
computador enfermedad
byte paciente
clínica
10 • 30

38. Tecnología
Google
internet
computador
byte
cerebro
enfermedad
paciente
clínica
10 • 30

39. Tecnología
Google
internet
computador
byte
cerebro
enfermedad
paciente
clínica
10 • 30

40. Tecnología
10 • 30

41. medicin
Tecnología
a
10 • 30

42. medicin
Tecnología
a
33% 66%
10 • 30

43. medicin
Tecnología
a
33% 66%
google clínica cerebro byte enfermedad paciente
10 • 30

44. 11 • 30

45. LD 2 11 • 30

46. Tema 1 Tema 2
Google Google
internet internet
computador computador
byte byte
medicina medicina
clínica clínica
paciente
LD 2
paciente
enfermedad enfermedad
11 • 30

47. Tema 1 Tema 2
Google Google
internet internet
computador computador
byte byte
medicina medicina
clínica clínica
paciente
LD 2
paciente
enfermedad enfermedad
11 • 30

48. Tema 1 Tema 2
Google Google
internet internet
computador 10% 30% 75% 95% computador
byte byte
medicina 90% 70% 25% 5% medicina
clínica clínica
paciente
LD 2
paciente
enfermedad enfermedad
11 • 30

49. Desarrollo

50. 13 • 30

51. Consideraciones
13 • 30

52. Consideraciones
áéí 13 • 30

53. Delta lda
14 • 30

54. Tecnologías
Pyth DJAN
MySqGO
on
l
Delta lda
14 • 30

55. 15 • 30

56. Arquitectura
15 • 30

57. Arquitectura
Tanalyzer
15 • 30

58. Arquitectura
Tanalyzer
Django
15 • 30

59. Arquitectura
Tanalyzer
Django Mysql
15 • 30

60. Arquitectura
Tanalyzer
WebService
Django
Django Mysql
15 • 30

61. Arquitectura
Tanalyzer
WebService
Django
Django Mysql
15 • 30

62. Arquitectura
Tanalyzer
WebService
Django
Django Mysql
interfaz web
15 • 30

63. Tanalyzer
Transforma
Entrenamie
Extracción ción
nto
y carga
Clasificació
Webservice Validación
n
aplicación web
16 • 30

64. Tanalyzer
Transforma
Entrenamie
Extracción ción
nto
y carga
Clasificació
Webservice Validación
n
aplicación web
16 • 30

65. Tanalyzer
Transforma
Entrenamie
Extracción ción
nto
y carga
Clasificació
Webservice Validación
n
aplicación web
16 • 30

66. Tanalyzer
Transforma
Entrenamie
Extracción ción
nto
y carga
Clasificació
Webservice Validación
n
BD
aplicación web
16 • 30

67. Tanalyzer
Transforma
Entrenamie
Extracción ción
nto
y carga
Clasificació
Webservice Validación
n
BD
aplicación web
16 • 30

68. Tanalyzer
Transforma
Entrenamie
Extracción ción
nto
y carga
Clasificació
Webservice Validación
n
BD
aplicación web
16 • 30

69. Tanalyzer
Transforma
Entrenamie
Extracción ción
nto
y carga
Clasificació
Webservice Validación
n
BD
aplicación web
16 • 30

70. Tanalyzer
Transforma
Entrenamie
Extracción ción
nto
y carga
Clasificació
Webservice Validación
n
BD
aplicación web
16 • 30

71. Tanalyzer
Transforma
Entrenamie
Extracción ción
nto
y carga
Clasificació
Webservice Validación
n
BD
aplicación web
16 • 30

72. Tanalyzer
Transforma
Entrenamie
Extracción ción
nto
y carga
Clasificació
Webservice Validación
n
BD
aplicación web
16 • 30

73. Demo
17 • 30

74. 18 • 30

75. Evaluación
18 • 30

76. Evaluación
‣
precision
18 • 30

77. Evaluación
‣
precision
18 • 30

78. Evaluación
‣
precision
18 • 30

79. Evaluación
‣
precision
‣
recall
18 • 30

80. Evaluación
‣
precision
‣
recall
18 • 30

81. Evaluación
‣
precision
2
‣
recall
1 1
‣
f-measure +
precision recall
18 • 30

82. Evaluación
‣
precision
‣
recall
‣
f-measure
‣
quality
18 • 30

83. Evaluación
‣
precision
‣
recall hola tengo cuatro palabras
‣
f-measure
‣
quality
18 • 30

84. Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nam cursus fringilla mi vel posuere. Aenean imperdiet turpis at lectus
rutrum nec elementum diam imperdiet. Nullam consectetur interdum libero sit amet congue. Quisque lacinia est non neque
scelerisque suscipit. Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nam id lectus nunc, quis fermentum nisl.
Pellentesque non nulla nec sapien volutpat mattis ac euismod metus. Pellentesque habitant morbi tristique senectus et netus et
malesuada fames ac turpis egestas. Ut malesuada lorem bibendum mauris accumsan sodales. Phasellus tempus porttitor ante, eu
Evaluación
pulvinar felis cursus eget. Duis massa odio, tincidunt in consequat vel, rutrum eu nibh. Duis a egestas velit. Nunc vel ipsum
purus. In tempus pharetra ornare. Sed lobortis nulla at ipsum commodo eu varius dolor vulputate.
Class aptent taciti sociosqu ad litora torquent per conubia nostra, per inceptos himenaeos. Integer sit amet purus ut elit varius
molestie vel eget risus. Aenean sit amet urna id ligula scelerisque consequat. Etiam sed leo metus. Pellentesque habitant morbi
tristique senectus et netus et malesuada fames ac turpis egestas. Etiam diam neque, cursus vitae viverra ut, malesuada ac augue.
‣
precision Etiam sapien orci, venenatis et rhoncus et, venenatis at metus. Sed iaculis sollicitudin tortor vel pulvinar. Nullam rutrum vehicula
ligula eget congue. Suspendisse erat purus, euismod at mattis non, tincidunt in metus.
‣
recall Cras magna est, lacinia non euismod ut, placerat in odio. Cras sed risus et sem egestas volutpat. Integer ac malesuada lectus. Ut ac
arcu quam, in volutpat urna. Nulla ac tristique nibh. Praesent non erat vel est aliquam mollis ut vitae purus. Curabitur nibh nulla,
varius sed egestas pellentesque, egestas quis lorem. Donec euismod, lorem ac eleifend gravida, nibh arcu rhoncus tellus, id
‣
f-measure aliquam urna neque ut mi. Nullam posuere viverra tortor, id varius odio tristique et. Vestibulum sed mi lectus. In hac habitasse
platea dictumst. Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas.
‣
quality Donec lacinia felis a sem suscipit luctus. Suspendisse iaculis, purus sit amet adipiscing luctus, nulla est luctus purus, eu auctor
mauris mauris volutpat dui. Nam iaculis ullamcorper odio et elementum. Proin porttitor dolor quis lectus laoreet quis tempor
urna blandit. Proin vitae metus faucibus turpis tincidunt malesuada in id leo. Donec urna nunc, molestie eget malesuada nec,
viverra a mauris. Etiam consectetur felis elit. Cras vitae semper metus. In ac libero aliquam justo euismod fringilla id tempus
nulla. Aliquam sit amet quam id velit tempor dignissim. Vivamus faucibus ultrices posuere. Aliquam dolor urna, ullamcorper ac
facilisis non, rutrum elementum erat. Sed arcu tortor, tempor gravida molestie id, tempor nec ante. Mauris sodales tempus tellus,
ac faucibus purus rhoncus nec. Donec auctor lacus in risus volutpat a mattis massa congue.
Nulla facilisi. Nulla diam nibh, vestibulum nec tristique et, iaculis eget est. Phasellus consequat lectus ac velit auctor interdum.
Praesent sem metus, imperdiet non suscipit ac, vehicula a felis. Donec scelerisque felis non lacus cursus aliquet. Vestibulum ante
ipsum primis in faucibus orci luctus et ultrices posuere cubilia Curae; Praesent sagittis massa a orci consequat condimentum.
Nullam dapibus vehicula lectus, id gravida justo volutpat non. Curabitur sit amet nulla eu magna aliquet adipiscing. Praesent
18 • 30
hendrerit pulvinar congue.

85. Evaluación
‣
precision
‣
recall
‣
f-measure
Puntaje
‣
quality Palabras
18 • 30

86. Evaluación
‣
precision
‣
recall menos topicos
‣
f-measure
‣
quality menos palabras
‣
alpha
‣
Beta
18 • 30

87. Evaluación
cerebro
‣
precision
enfermedad
‣
recall
paciente
‣
f-measure
clínica
‣
quality
byte
‣
alpha
‣
Beta
18 • 30

88. Resultados

89. 8 BLOGS
8 temas
1600 artículos
20 • 30

90. F4Measure&respecto&a&Alpha&
0,9000$
0,8000$
0,7000$
0,6000$
Alpha$0,5$
Valor&
0,5000$ Alpha$0,4$
Alpha$0,3$
0,4000$
Alpha$0,1$
0,3000$
Alpha$0,09$
0,2000$
0,1000$
1$ 2$ 3$ 4$ 5$ 6$ 7$ 8$ 9$ 10$11$12$13$14$15$16$17$18$19$20$21$22$23$24$25$26$27$28$29$30$31$32$33$34$
Tolerancia&sobre&distribución&porcentual&de&topics&
21 • 30

91. F4Measure&respecto&a&Beta&
0,9000$
0,8000$
0,7000$
0,6000$
Beta$2$
Beta$1$
Valor&
0,5000$
Beta$0,9$
0,4000$ Beta$0,7$
0,3000$
Beta$0,5$
Beta$0,4$
0,2000$
0,1000$
1$ 2$ 3$ 4$ 5$ 6$ 7$ 8$ 9$ 10$11$12$13$14$15$16$17$18$19$20$21$22$23$24$25$26$27$28$29$30$31$32$33$34$
Tolerancia&sobre&distribución&porcentual&de&topics&
22 • 30

92. Medidas&respecto&a&Quality&
1,2"
1"
0,8"
Valor&
0,6"
0,4"
0,2"
0"
0" 1" 2" 3" 4" 5" 6" 7" 8" 9" 10" 11" 12" 13" 14" 15" 16" 17" 18" 19"
Tolerancia&sobre&quality&
Precision" Recall" F9Measure" %"documentos"analizados"
23 • 30

93. 1 BLOG
15 temas
120 artículos
24 • 30

94. Análisis&de&clasificación&manual&de&topicos&para&
FayerWayer&
1,2"
1"
0,8"
Valor&
0,6"
0,4"
0,2"
0"
1" 2" 3" 4" 5" 6" 7" 8" 9" 10" 11" 12" 13" 14" 15" 16" 17" 18" 19" 20" 21" 22" 23" 24" 25" 26" 27" 28" 29" 30" 31" 32" 33" 34"
Tolerancia&sobre&distribución&porcentual&de&topics&
Precision" Recall" F9Measure"
25 • 30

95. 26 • 30

96. Conclusiones
26 • 30

97. Conclusiones
‣
factibilidad
26 • 30

98. Conclusiones
‣
factibilidad
‣
Visualización
26 • 30

99. Conclusiones
‣
factibilidad
‣
Visualización
‣
Exactitud
26 • 30

100. Conclusiones
‣
factibilidad
‣
Visualización
‣
Exactitud
‣
objetivos
26 • 30

101. Conclusiones
‣
entender
‣
factibilidad
‣
Visualización
‣
Exactitud
‣
objetivos
26 • 30

102. Conclusiones
‣
entender
‣
factibilidad ‣
seleccionar
‣
Visualización
‣
Exactitud
‣
objetivos
26 • 30

103. Conclusiones
‣
entender
‣
factibilidad ‣
seleccionar
‣
Visualización ‣
definir
‣
Exactitud
‣
objetivos
26 • 30

104. Conclusiones
‣
entender
‣
factibilidad ‣
seleccionar
‣
Visualización ‣
definir
‣
Exactitud ‣
construir
‣
objetivos
26 • 30

105. Conclusiones
‣
entender
‣
factibilidad ‣
seleccionar
‣
Visualización ‣
definir
‣
Exactitud ‣
construir
‣
objetivos ‣
evaluar
26 • 30

106. 27 • 30

107. Trabajo futuro
27 • 30

108. Trabajo futuro
‣
otros modelos
27 • 30

109. Trabajo futuro
‣
otros modelos
‣
funcionalidad
27 • 30

110. Trabajo futuro
‣
otros modelos
‣
funcionalidad
‣
velocidad
27 • 30

111. Trabajo futuro
‣
otros modelos
‣
funcionalidad
‣
velocidad
‣
mejorar exactitud
27 • 30

113. MUCHAS
GRACIAS
¿ PREGUNTAS ?