Este documento propone una metodología para evaluar sistemas de monitorización de contenidos generados por usuarios. Primero discute factores importantes como autoridad y polaridad. Luego, presenta métricas como temporalidad y agregación para evaluar la capacidad de los sistemas para identificar temas a través del tiempo. Finalmente, sugiere aplicar estas métricas a modelos existentes y desarrollar interfaces de usuario para mejorar la interpretación.
Caracterización de una entidad basada en opiniones: un estudio de caso
Evaluación sistemas UGC monitorización
1. Evaluación de sistemas de monitorización de
contenidos generados por usuarios
Enrique Amigó, Damiano Spina Bernardino Beotas
Grupo PLN y RI de la UNED Grupo ALMA
{enrique,damiano}@lsi.uned.es b.beotas@almatech.es
nlp.uned.es www.grupoalma.com
Workshop on Opinion Mining and Sentiment Analysis
CAEPIA 2009
Sevilla, España
2. Evaluación de sistemas de monitorización de
contenidos generados por usuarios (UGCs)
Introducción
› Gestión de reputación online
› Informe de monitorización
Estado del arte
› Modelos para la monitorización de temas
› Evaluación de modelos
Propuesta de metodología de evaluación
Conclusiones y posibilidades futuras
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
3. UGCs y Gestión de reputación online
Contenido Generado por Usuario
› User Generated Content (UGC)
› Blogs, Foros, Sitios de valoraciones, redes sociales
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
4. UGCs y Gestión de reputación online
Contenido Generado por Usuario
› User Generated Content (UGC)
› Blogs, Foros, Sitios de valoraciones, redes sociales
Gestión de la reputación online (Online Reputation Management, ORM)
› Auditoría de imagen
Fotografía: la entidad en la Web
› Monitorización
Alertas
Análisis continuo
› Definición de Estrategia
Participación en las conversaciones
Generación de Contenido
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
5. UGCs y Gestión de reputación online
Contenido Generado por Usuario
› User Generated Content (UGC)
› Blogs, Foros, Sitios de valoraciones, redes sociales
Gestión de la reputación online (Online Reputation Management, ORM)
› Auditoría de imagen
Fotografía: la entidad en la Web
› Monitorización
Alertas
Análisis continuo
› Definición de Estrategia
Participación en las conversaciones
Generación de Contenido
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
6. Monitorización de la reputación online
UGCs
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
7. Monitorización de la reputación online
UGCs
Informe de
monitorización
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
8. El informe de monitorización
Informe de monitorización
› Opiniones más relevantes en un intervalo de tiempo
› Estructurado por fuentes
› Referencias a los documentos
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
9. El informe de monitorización
Informe de monitorización
› Opiniones más relevantes en un intervalo de tiempo
› Estructurado por fuentes
› Referencias a los documentos
Relevancia de un documento
› Polaridad a nivel de reputación
"Las acciones de X han bajado un 40%"
› Autoridad de la fuente
Nº de comentarios, posicionamiento en buscadores, nº de visitas…
› Novedad
› Propagabilidad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
10. Monitorización: ¿Qué tienen en cuenta los expertos?
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
11. Monitorización: ¿Qué tienen en cuenta los expertos?
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
12. Monitorización: ¿Qué tienen en cuenta los expertos?
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
13. Monitorización: ¿Qué tienen en cuenta los expertos?
Opinión Factual
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
14. Monitorización: ¿Qué tienen en cuenta los expertos?
Opinión Factual
Ambigüedad (IR) Opinion Mining &
Sentiment Analysis
TREC Blog Track,
MOAT NTCIR Subjetividad
Feature-based
Opinion mining Polaridad SemEval2007
Swotti Frecuencia
Temas
Temporalidad
Autoridad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
15. Monitorización: ¿Qué tienen en cuenta los expertos?
Opinión Factual
Ambigüedad (IR) Opinion Mining &
Sentiment Analysis
Subjetividad Análisis de la
blogosfera
Polaridad
Frecuencia
BlogPulse, Technorati Temas
Temporalidad
Herramientas Autoridad
SEO
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
16. Monitorización: ¿Qué tienen en cuenta los expertos?
Opinión Factual
Ambigüedad (IR) Opinion Mining &
Sentiment Analysis
Subjetividad Análisis de la
blogosfera
Polaridad
Monitorización de
Frecuencia temas
distribución de términos, Temas
modelos probabilísticos
Temporalidad
Autoridad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
17. Monitorización: ¿Qué tienen en cuenta los expertos?
Opinión Factual
Ambigüedad (IR) Opinion Mining &
Sentiment Analysis
Subjetividad Análisis de la
blogosfera
Polaridad
Monitorización de
Frecuencia temas
Temas
Informe de
monitorización Temporalidad
Autoridad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
18. Monitorización: ¿Qué tienen en cuenta los expertos?
Opinión Factual
Ambigüedad (IR) Opinion Mining &
Sentiment Analysis
Subjetividad Análisis de la
blogosfera
Polaridad
Monitorización de
Frecuencia temas
Temas
Informe de
monitorización Temporalidad
Autoridad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
19. Monitorización: ¿Qué tienen en cuenta los expertos?
Opinión Factual
Ambigüedad (IR) Opinion Mining &
Sentiment Analysis
Subjetividad Análisis de la
blogosfera
Polaridad
Monitorización de
Frecuencia temas
Temas
Informe de
monitorización Temporalidad
Autoridad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
20. Monitorización: ¿Qué tienen en cuenta los expertos?
Opinión Factual
Ambigüedad (IR) Opinion Mining &
Sentiment Analysis
Subjetividad Análisis de la
blogosfera
Polaridad
Monitorización de
Frecuencia temas
Temas
Informe de
monitorización Temporalidad
Autoridad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
21. Requisitos del problema
Requisitos
› Agregación
Identificación de temas tratados en las opiniones
Conocer los temas nuevos y las tendencias
› Temporalidad
Identificación de fenómenos temporales
Novedad
› Interpretabilidad
Interpretar los temas identificados
› Accesibilidad
Exploración de documentos asociados a los temas
Selección de documentos para el informe de monitorización
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
22. Estado del arte
Modelos para la monitorización de temas
› Tema ≈ término
tfcidf (Gruhl et al., 2004)
› Tema ≈ variable oculta en una red bayesiana
pLSI (Chou & Chen, 2008)
Mixture models (Mei et al., 2006)
Topics Over Time (Wang & McCallum, 2006)
Dynamic Topic Model (Blei & Lafferty, 2006)
Multiscale Topic Tomography (Nallapati et al., 2007)
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
23. Estado del arte
Metodologías de evaluación
› Evaluación cualitativa de los resultados
Subjetiva
No permite comparar modelos
› Evaluación intrínseca
No permiten evaluar todos los requisitos
Métricas de clustering
Perplejidad -> sólo modelos probabilísticos
› Evaluación extrínseca
Temas extraídos automaticamente vs. Temas extraídos manualmente
– Gold standard para subtemas
Topic Detection and Tracking (TDT)
– Centrada en eventos periodísticos
– documento-evento: relación uno-a-uno
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
24. Propuesta de metodología de evaluación
P(x|y): distribución de probabilidad de x dada una instancia de la variable y.
Métricas:
› Temporalidad y agregación
› Accesibilidad
› Capacidad predictiva e Interpretabilidad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
25. Métrica 1: Temporalidad
Identificación de fenómenos temporales
Documentos conectados por un tema deberían de estar
temporalmente próximos
Dos documentos están conectados si hablan de un mismo
tema
: Distancia temporal entre los documentos d y d’
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
26. Métrica 2: Agregación
Capacidad de agrupar documentos que comparten un mismo
tema
Documentos explícitamente relacionados deberían de
compartir temas
Relaciones explícitas:
› Fuente
’
<da,da> : explícitamente relacionados
› Autor <db,d’ > : no explícitamente relacionados
c
› Enlaces
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
27. Métrica 3: Accesibilidad
Capacidad de dar acceso a los n documentos más relevantes
de cada tema
Anotación de los expertos
Curvas de precisión y cobertura
: conjunto de los n documentos con mayor P(d|θ) de cada
tema
: conjunto de documentos relevantes según el experto
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
28. Métrica 4: Capacidad predictiva
Capacidad de predecir el comportamiento de los temas en un
futuro próximo
P(t|θ)
Evaluación indirecta (Wang & McCallum, 2006)
› Un modelo capaz de predecir la fecha de un documento tiene más
capacidad predictiva en general
› P(t|d)
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
29. Métrica 5: Interpretabilidad
Capacidad de generar temas interpretables por el usuario
P(w| θ)
No es posible anotar manualmente todas las palabras
representativas posibles
Evaluación manual con usuarios de prueba
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
30. Conclusiones
Factores importantes para la
monitorización de la reputación online
› autoridad, polaridad, novedad, propagabilidad
› Contenido Generados por Usuarios (UGCs)
Esbozo de una metodología de evaluación
› Comparar modelos de monitorización de temas
› Temporalidad y agregación
› Accesibilidad
› Capacidad predictiva e interpretabilidad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
31. Posibilidades futuras
Aplicar métricas a modelos existentes de monitorización de
temas (temporalidad y agregación)
Definir un modelo que tenga en cuenta la autoridad de las
fuentes
Definir una metodología de anotación para aplicar la métrica
de accesibilidad
Aplicación de las métricas capacidad predictiva e
interpretabilidad
› Definición de interfaces de usuario comunes para los modelos
existentes
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
32. Evaluación de sistemas de monitorización de contenidos
generados por usuarios
¡Muchas gracias!
Enrique Amigó, Damiano Spina Bernardino Beotas
Grupo PLN y RI de la UNED Grupo ALMA
{enrique,damiano}@lsi.uned.es b.beotas@almatech.es
nlp.uned.es www.grupoalma.com
Workshop on Opinion Mining and Sentiment Analysis
CAEPIA 2009
Sevilla, España