Presentación Lectura TFMI

Impacto del uso de realimentación colectiva sobre la recuperación de información en la Web

Impacto del uso de realimentación colectiva
sobre la
recuperación de información en la Web

David J. Brenes Martínez

Trabajo Fin de Máster de Investigación
I Máster en Ingeniería Web - Rama Investigadora
Escuela Universitaria en Ingeniería Técnica en Informática de Oviedo

24/Septiembre/2008


Estructura

1 Introducción

2 Cuestiones planteadas

3 Análisis de las características de los usuarios

4 Análisis de la intención de los usuarios

5 Análisis de las ayudas a la navegación

6 Conclusiones

7 Futuras líneas de investigación

Introducción

Introducción

1 Introducción





6 Conclusiones


Introducción
El problema de todos los SI

Introducción

1 Introducción
El problema de la Ciencia
El problema de la Web

Introducción

Sobrecarga de Información

Cantidad de información generada
Usuario abrumado

Introducción

Necesidad de SRI

Consejos
Ancianos
Catálogos
Áreas temáticas
‘Si te ha gustado...’

Introducción

Introducción

1 Introducción

Introducción

Demasiada Información

Artículos
Ideas
Proyectos
Plazos

Introducción

Solución de organización

[Berners-Lee(1989)]
Red de enlaces entre conceptos
Proyecto para el CERN
Solución local para una organización

Introducción

Introducción

1 Introducción

Introducción

Demasiada información

Apertura de la Web
Descentralización
Solución local aplicada globalmente
Nuevas tecnologías
Nuevos modos de acceso
Popularización de la Web
Nuevos perﬁles de usuario
Nuevos intereses

Introducción

Un SRI para el SRI

La Web necesita SRIs
Demasiada información
Demasiados usuarios
Comprender el sistema
¿Cómo acceden los usuarios?
¿Cómo se les puede ayudar?

Introducción

Pero... ¿Cómo navegan los usuarios?

No hay un usuario medio. [Krug(2005)]
Futilidad de modelos simplistas
Necesidad de modelos más complejos

Introducción

Pero... ¿Y qué pretenden los usuarios?

Análisis del ‘por qué’ no del ‘cómo’
Análisis de temática de búsqueda
Análisis de intenciones

Introducción

Pero... ¿Y cómo les estamos ayudando?

Complejos SRIs
Formados por iniciativas más pequeñas
Múltiples inﬂuencias sobre el usuario
Escasos estudios de impacto
Estudios más bien teóricos
Pocas conclusiones sobre los usuarios

Cuestiones planteadas


1 Introducción





6 Conclusiones



Características de las consultas

¿Poseen las consultas más populares características
distintas a las menos populares?

Diferencias entre consultas.
Construcción de modelos de usuario más complejos.


Intencionalidad del usuario

¿Puede deducirse la intención de los usuarios en
base a características conductuales, de manera
automatizada?

Enriquecimiento del modelo de usuario.
Enfoque automático.


Estudio de SRIs

¿Podemos dividir los SRIs en ayudas más simples de
manera que éstas puedan ser objeto de estudio?

Facilidad de análisis.
Identiﬁcación de funcionalidades.


Evaluación de los efectos

¿Pueden diseñarse experimentos que nos permitan
evaluar los efectos que éstos tienen sobre los
usuarios?

Evaluación de las ayudas.
Cambios en el modelo de usuario.

Análisis de las características de los usuarios


1 Introducción





6 Conclusiones


Estudios Previos


Estudios Previos
El problema
Análisis estratiﬁcado
Conclusiones

Estudios Previos

En el principio

Perﬁles de usuario muy técnicos
Uso de la web como herramienta
Experiencia acumulada en otros SRI
Popularización de la Web
Aparición de otros perﬁles
Aparición de otros usos de la web
Diseños de los primeros SRIs: [Pinkerton(1994)],
[Koster(1994)]

Estudios Previos

Cuando miramos a los usuarios
Primeros artículos de análisis de consultas:
[Jansen et al.(1998a)], [Silverstein et al.(1998)],
[Lau and Horvitz(1999)]
4 años después.
Datos de logs de buscadores
Características únicas
Pocas consultas
Pocos términos
Pocos resultados
No debido a usuarios inexpertos [Cothey(2002)]
Uso de características avanzadas
Poco uso
A veces incorrecto
Más propio de usuarios más expertos
[Höscher and Strube(2000)]

Estudios Previos

Conclusiones

SRIs diseñados para ‘otros’ usuarios
Características diferenciadoras de la Recuperación de
Información en la Web

El problema


Estudios Previos
El problema
Conclusiones

El problema

Perspectiva muy amplia

Bueno para detectar grandes tendencias
Malo para detectar fenómenos más cercanos al usuario
¿Por qué introducen pocas palabras?
¿Por qué comprueban pocos resultados?
¿Por qué no hacen uso de búsquedas avanzadas?

El problema

Otro enfoque

Creación de agrupaciones de consultas y sesiones
Posibilidad de hallar tendencias
Posibilidad de elaborar teorías


Análisis de las características de los usuarios1

Estudios Previos
El problema
Conclusiones

1
Artículo en revisión en Journal on Information Sciences


Criterio de agrupación

15 % de apariciones en el log de consultas
Sesiones agrupadas según primera consulta
Sesiones detectadas mediante intervalo ﬁjo


Criterio de agrupación: Ejemplo

Grupo Consulta Apariciones Rango Diferencia
1 google 332.002 0 0
2 ebay 139.171 49.800 192.831
2 yahoo 130.535 20.875 8.636
3 yahoo.com 97.518 20.875 41.653
3 mapquest 88.268 14.628 9.250
4 google.com 79.990 14.628 17.528
4 myspace.com 77.202 11.998 2.788
4 myspace 74.362 11.998 5.620


Resultados: Grupos de consultas

Número de consultas Número de apariciones
de la primera consulta
60 Grupos
Long-tail en número de consultas y de apariciones


Resultados: Grupos de sesiones

Número de sesiones Número de apariciones
de la consulta inicial
60 grupos
Long-tail en número de apariciones


Resultados: Relaciones entre grupos

Consultas y sesiones Sesiones y consultas
Relaciones con grupos ‘equivalentes’
Relaciones con últimos grupos


Resultados: Consultas (Longitud)

Más frecuentes las más cortas
Consultas de términos comunes
Representabilidad de estudios anteriores


Resultados: Consultas (Resultados Visitados)

Número de resultados Posición de resultados
Número: Aumento en las consultas menos frecuentes
Posición: Aumento en las consultas menos frecuentes


Resultados: Consultas (Envíos fallidos)

Comportamiento inestable en primeros grupos
Disminución en últimos grupos


Resultados: Consultas (Coeﬁciente Navegacional)

Indica cuándo el usuario buscaba una página en concreto
Mayor coeﬁciente para las más frecuentes


Resultados: Sesiones (Longitud)

Número de consultas Longitud temporal
Mas consultas en los Disminución en los
últimos grupos últimos
Posibles desviaciones
en los primeros


Resultados: Sesiones (Resultados)

Número de resultados Tiempo por resultado
Aumento en los últimos Tiempo hasta la
grupos siguiente interacción
Mayor en las consultas
de grupos intermedios


Resultados: Sesiones (Sesiones fallidas)

Mayor en las consultas de grupos intermedios

Conclusiones


Estudios Previos
El problema
Conclusiones

Conclusiones

¿Poseen las consultas más populares características
distintas a las menos populares?

Las consultas más populares efectivamente exhiben unas
características diferentes a las de consultas menos
populares.

Conclusiones

Complejidad: Primeros grupos

Consultas más cortas
Menor número de resultados visitado
Mayor relación con ciertos resultados (Coeﬁciente
Navegacional)
Mayor cotidianeidad y menor complejidad.

Conclusiones

Complejidad: Últimos grupos

Consultas más largas
Mayor número de resultados visitado
Mayor tiempo de sesión
Menos sesiones y envíos sin mirar resultados
Resultados más lejanos
Mayor complejidad en esas consultas

Conclusiones

Importancia de la larga cola

Mayor parte de consultas realizadas pocas veces
Mayor complejidad expresada por esas consultas
Mayor necesidad de ayuda por parte de SRIs

Conclusiones

Ventajas del análisis

Percepción de complejidad de sus metas
Análisis del esfuerzo realizado

Análisis de la intención de los usuarios


1 Introducción





6 Conclusiones


Estudios Previos


Estudios Previos
Análisis
Conclusiones

Estudios Previos

¿Qué busca el usuario?

Primer interés básico
Conocimiento de temas de búsqueda del usuario
Modalidades
Términos o consultas más realizados
Taxonomía de temas de búsqueda
Más utilidad para webmasters y anunciantes

Estudios Previos

¿Qué tareas puede realizar?

Acciones a realizar sobre una consulta
Adición de términos
Modiﬁcación de términos
Eliminación de términos
Comprensión de acciones
Diseño de herramientas de ayuda
Adaptación de los SRIs a los usuarios
Tareas muy generales

Estudios Previos

¿Con que intención?
Taxonomias
Intentos de categorización de consultas
No por la temática de la consulta
Basado en el comportamiento del usuario
Tradición en el área de Recuperación de Información
[Broder(2002)]
Navegacionales:
google, cnn, apple store
Informacionales:
Acelerador de partículas, trenes alemania
Transaccionales:
comprar entradas concierto, descarga películas
torrent
Clasiﬁcación no unívoca

Estudios Previos

¿Con que intención?

Intentos de categorización
Intentos manuales
Más sencillos
Menos completos
Características léxicas y semánticas
Longitud consulta, signiﬁcado de los términos...
Resultados dependientes del analizador
Contradicciones entre ellos
Intentos automatizados
Más completos
Inferencia de intenciones complicada
Características léxicas y semánticas [Jansen et al.(2008)]
Características de comportamiento

Estudios Previos

El Problema

Características de búsqueda no informan sobre el
escenario de búsqueda del usuario.
Las tematicas de búsqueda no informan sobre el tipo de
búsqueda.
Las tareas realizadas no aclaran las razones.
El análisis basado en léxico y semántica introduce
desviaciones

Análisis

Análisis de la intención de los usuarios2

Estudios Previos
Análisis
Conclusiones

2
Artículo a presentar en Workshop on Information Retrieval

Análisis

Objetivo

Identiﬁcar consultas navegacionales a partir de
características estadísticas
Encontrar criterios de ‘navegabilidad’
Coeﬁcientes Navegacionales
Basados en el comportamiento del usuario
Criterios comparables
Realizar pruebas sobre el log de AOL

Análisis

Criterios: Relevancia del resultado mas importante

Comportamiento esperado
Alta concentración de visitas a un resultado
Relación fuerte entre consulta y resultado
La consulta es el ‘nombre’ del resultado
Planteado por Lee et al (2005)

Análisis


Formula planteada

Visitas_al_resultado_mas_popular
NC =
Visitas_a_resultados

Porcentaje de visitas al resultado más popular.

Análisis


Consulta
drudge retort
soulfuldetroit
Consultas con pocas
cosmology book realizaciones
ttologin.com
Consultas atípicas
jjj’s thumbnail
gallery post Inﬂuencia de las
beteagle acciones de usuarios
yscu individuales
frumsupport
cricketnext.com
msitf

Análisis

Criterios: Número de resultados distintos

Polisemia
Para distintos usuarios la misma consulta puede llevar a
distintos sitios
Distintas versiones del mismo sitio
Comportamiento navegacional para cada sitio

Análisis


Formula planteada

Resultados_distintos
NC = 1 −
Visitas_a_resultados

Cuantos más resultados menor caracter navegacional

Análisis


Resultados
Consulta
google
yahoo.com
Consultas más típicas
mapquest
Altos valores de
yahoo
‘navegabilidad’
ebay
google.com Características léxicas
bank of america y semánticas similares
www.google.com a otros estudios
www.yahoo.com
yahoo mail

Análisis

Criterios: Porcentaje de sesiones navegacionales

Consultas navegacionales aisladas en una sola sesión
El resultado satisface la consulta realizada

Análisis


Formula planteada

Numero_de_Sesiones_navegacionales
NC =
Numero_de_Sesiones

Porcentaje de sesiones con caracter navegacional

Análisis


natural gas futures
cashbreak.com
allstar puzzles
times enterprise Consultas atípicas
instapundit Consultas poco
clarksville leaf comunes
chronicle Características léxicas
first charter online y semánticas ‘similares’
mission viejo nadadores a otros estudios
county of san joaquin
booking log
thomas myspace editor
beta

Conclusiones


Estudios Previos
Análisis
Conclusiones

Conclusiones

Conclusiones: Comparación

Un resultado concentrando el tráﬁco suele indicar pocos
resultados distintos
A la inversa no se cumple

Conclusiones


Un resultado relevante o un pequeño conjunto de resultados no
asegura sesiones navegacionales

Conclusiones


Un porcentaje alto de sesiones navegacionales suele implicar
resultados relevantes y pocos

Conclusiones

Conclusiones: Combinación de CN

CN_1 + CN_2
NC = CN_3 ∗
2

Mayor importancia al resultado del análisis de sesiones
navegacionales
Compensación de los dos primeros coeﬁcientes

Conclusiones

Conclusiones: Combinación de CN

Consulta Coeﬁciente Medio
soulfuldetroit 0,9964
aol people magazine 0,9940
cashbreak.com 0,7894
allstar puzzles 0,7832
first charter online 0,7796
mission viejo nadadores 0,7758
instapundit 0,7731
times enterprise 0,7678
clarksville leaf chronicle 0,7561
el canario by the lagoon 0,7511

Conclusiones

Conclusiones: Características léxicas y semánticas

Algunos resultados presentan esas características
El estudio no las buscaba
Algunas consultas no habrían sido detectadas

Conclusiones

Conclusiones: Relación entre estadística y
comportamiento

Comportamiento deducido de características estadísticas
Posibilidad de evaluación automática de consultas
Extensible, en principio, a otros tipos de consultas

Análisis de las ayudas a la navegación


1 Introducción





6 Conclusiones


Estudios Previos


Estudios Previos
Problema
Análisis
Conclusiones

Estudios Previos

Aspectos técnicos

Propuestas de SRIs
Desarrollo de ayudas
Evaluación de uso

Problema


Estudios Previos
Problema
Análisis
Conclusiones

Problema

Escasa observación del impacto en los usuarios

De SRIs desarrollados
De la evolución de la web

Problema

Complejidad de los SRIs

Conglomerado de ayudas
Diﬁcil discernimiento de responsabilidades

Problema

Disgregación de datos

Necesidad de datos de comportamiento de usuarios
Multitud de SRIs con datos almacenados sin coordinación
SRIs propietarios con datos no accesibles

Análisis

Análisis de las ayudas a la navegación3

Estudios Previos
Problema
Análisis
Conclusiones

3
Artículo aceptado en Workshop for Ph.D. Students in Information and
Knowledge Management

Análisis

Objetivo

Taxonomía de Ayudas
División de SRIs en ayudas atómicas
Analisis de características de las ayudas
Planteamiento de experimentos
Alternativas a datos no accesibles
Medición de efecto sobre usuarios, no adecuación
Efecto sobre usuarios ideales, no reales

Análisis

Ayudas navegacionales: Listas de referencias

Ejemplos
Directorios Web
del.icio.us
Buscadores
Ayuda más básica
Deja constancia de un
documento o aplicación
web

Análisis

Ayudas navegacionales: Listas de referencias
Tamaño
Sobrecargan al
usuario
Requieren otras
ayudas
navegacionales
normalmente (p.ej:
clasiﬁcación o
personalizacion )
Menor impacto de la
sobrecarga si la lista
es predecible por el
usuario
Efectos
Revisitación de sitios
web

Análisis

Ayudas navegacionales: Ranking

Ejemplos
Buscadores
Ordenación de listas de
elementos
Basado en criterio de
‘calidad’
Efecto psicológico de
conﬁanza
[Jansen et al.(2007b)]
Desánimo tras
primeros resultados
infructuosos

Análisis

Ayudas navegacionales: Ranking

Efectos
Pocas visitas de
resultados
adicionales
Agravado por
ciertas
herramientas
Consistente con
otros estudios
Revisitación de
primeros resultados

Análisis

Ayudas navegacionales: Sugerencias

Ayuda sobre qué
introducir en SRI
Ejemplos
Tags en del.icio.us o
blogger
Consultas en Yahoo
o Google
conﬁanza

Análisis

Ayudas navegacionales: Sugerencias

Efectos
Repetición de
búsquedas
realizadas
Menos variedad de
resultados extraidos

Análisis

Ayudas navegacionales: Recomendaciones

Ayuda sobre resultados
del SRI interesantes
Ejemplos
Amazon
Google History
Barra de navegación
conﬁanza
Centran la atención del
usuario en elementos
de su interés

Análisis

Ayudas navegacionales: Recomendaciones

Efectos
Limitan el área de
búsqueda del
usuario
Comportamientos
de revisitación
Frustración al
buscar cosas
diferentes

Análisis

Ayudas navegacionales: Clasiﬁcación

Ejemplos
Flickr
Last.fm
Clusty
Diferenciación de las
áreas de búsqueda
conﬁanza en
taxonomías y
automáticas
Posible sobrecarga del
usuario

Análisis


Efectos
Navegación de
categorías
Abandono de
consultas
especíﬁcas

Análisis

Ayudas navegacionales: Personalización

Ejemplos
Last.fm
Google History
Recomendación
basada en perﬁl de
usuario
Registro de acciones
pasadas
Fuerte desviación de
resultados

Análisis


Efectos
Revisitación de
resultados
Restricción del área
de búsqueda
Posible frustración
ante necesidad de
nuevos resultados

Análisis

Ayudas navegacionales: Monitorización

Seguimiento de
novedades en sitios
web
Liberación de
obligación de
revisitación
Expresión de intereses
del usuario

Análisis

Ayudas navegacionales: Monitorización

Efectos
Menos revisitación
Más concentración
de visitas

Análisis

Experimentos

Estudios preliminares
Experimentos no realizados
Primera aproximación

Análisis

Experimentos

Efectos de Ranking
Comparación de listas de referencias con y sin ranking
conocido
Listas ordenadas
Buscadores típicos
Log de AOL
Listas sin Orden
Logs privados (p. ej. Flickr o del.icio.us)
Desarrollo de SRIs propios
Uso de APIs de terceros
Ámbitos más cerrados
Comparación de características de las consultas similar al
realizado en este TFMI

Análisis

Experimentos

Sugerencia de consultas en buscadores
Comparación de las consultas realizadas y las sugeridas
Logs de consultas (AOL)
Uso de API’s
Elección de sugerencia
Aspecto más complicado
¿Se evalúan todas?
Elección de consulta con más resultados en común con la
realizada realmente
Simulación de conﬁanza del usuario

Comparación de características de las consultas similar al
realizado en este TFMI

Análisis

Experimentos

Revisita en consultas navegacionales

Analizar costumbres de búsqueda de un usuario
¿Se concentran las búsquedas sobre diversos temas en
terminos?
Análisis de cambios a lo largo del tiempo

Conclusiones


Estudios Previos
Problema
Análisis
Conclusiones

Conclusiones

Conclusiones

Posibilidad de dividir SRIs en elementos más simples y
analizables

Posibilidad de plantear experimentos a realizar

Estudio en estado menos avanzado que los anteriores

Conclusiones

Conclusiones

1 Introducción





6 Conclusiones


Conclusiones
Respuestas a las cuestiones planteadas

Conclusiones

6 Conclusiones

Conclusiones

Respuestas

¿Poseen las consultas más populares características distintas
a las menos populares? Sí

¿Puede deducirse la intención de los usuarios en base a
características conductuales, de manera automatizada? Sí

¿Podemos dividir los SRIs en ayudas más simples de manera
que éstas puedan ser objeto de estudio? Sí

¿Pueden diseñarse experimentos que nos permitan evaluar los
efectos que éstos tienen sobre los usuarios? Sí

Conclusiones

Conclusión general

Es posible obtener información de cómo buscan los usuarios
de una manera descriptiva diferenciando escenarios de
búsqueda (estratos)

Es posible usar estadísticas para obtener información acerca
de la intención de los usuarios de modo automático

Esas estadísticas podrían ayudarnos a evaluar el impacto de
las ayudas de navegación sobre el comportamiento de los
usuarios

Futuras líneas de investigación


1 Introducción





6 Conclusiones




Uso de otros criterios de estratificación de logs

P.Ej: criterios basados en intencionalidad
Posibilidad de obtener otros escenarios de búsqueda

Estratificación de otros logs y comparabilidad

Repetibilidad de los experimentos
Verificación de conclusiones


Combinación de criterios de navegacionalidad
Obtención de un criterio mas uniﬁcado
Estudio de otros logs de consultas para realizar comparaciones
entre ellos

Análisis de otras intencionalidades del usuario
Análisis de comportamientos esperados de los usuarios
Repetición de experimentos para cada intencionalidad
Propuesta para el ‘Workshop on Web Search Click Data’
‘Survey and evaluation of query intent detection methods’
Acceso a log de búsquedas Microsoft 2006 RFP.

Uso de intencionalidades del usuario para detección de
sesiones de búsqueda



Estudio más profundo de cada ayuda navegacional

Variaciones
Requisitos

Análisis de interacción entre las ayudas

Realización de experimentos de estudio sobre las ayudas
navegacionales

Planteamiento de nuevos experimentos
Implementación de experimentos ya planteados

Fin

And Now...

Muchas gracias por su atención (y paciencia...)

¿Preguntas?

Bibliografía

Bibliografía

T. Berners-Lee.
Information management: A proposal, 1989.
Steve Krug.
Don’t Make Me Think: A Common Sense Approach to Web
Usability, 2nd Edition.
New Riders Press, 2nd edition, August 2005.
ISBN 0321344758.

Bibliografía

Bibliografía

Martijn Koster.
Aliweb - archie-like indexing in the web.
In First conference on World-Wide Web, pages 175–182,
Geneva, Switzerland, 1994. Elsevier Science Publishers B. V.
Brian Pinkerton.
Finding what people want: Experiences with the webcrawler.
In Second International World Wide Web Conference, 1994.

Bibliografía

Bibliografía

Bernard J. Jansen, Amanda Spink, Judy Bateman, and Tefko
Saracevic.
Real life information retrieval: a study of user queries on the
web.
SIGIR Forum, 32:5–17, 1998a.
Craig Silverstein, Monika Henzinger, Hannes Marais, and
Michael Moricz.
Analysis of a very large altavista query log, 1998.

Bibliografía

Bibliografía

Tessa Lau and Eric Horvitz.
Patterns of search: analyzing and modeling web query
reﬁnement.
In Proceedings of the seventh international conference on User
modeling, pages 119–128, Banff, Canada, 1999.
Springer-Verlag New York, Inc.
Vivian Cothey.
A longitudinal study of world wide web users’
information-searching behavior.
J. Am. Soc. Inf. Sci. Technol., 53:67–78, 2002.
Christoph Höscher and Gerhard Strube.
Web search behavior of internet experts and newbies.
Comput. Networks, 33:337–346, 2000.

Bibliografía

Bibliografía

Andrei Broder.
A taxonomy of web search.
SIGIR Forum, 36:3–10, 2002.
Uichin Lee, Zhenyu Liu, and Junghoo Cho.
Automatic identiﬁcation of user goals in web search.
In Proceedings of the 14th international conference on World
Wide Web, pages 391–400, Chiba, Japan, 2005. ACM.
ISBN 1-59593-046-9.

Bibliografía

Bibliografía

Bernard J. Jansen, Danielle L. Booth, and Amanda Spink.
Determining the informational, navigational, and transactional
intent of web queries.
Inf. Process. Manage., 44:1251–1266, 2008.
Bernard J. Jansen, Mimi Zhang, and Ying Zhang.
The effect of brand awareness on the evaluation of search
engine results.
In CHI ’07 extended abstracts on Human factors in computing
systems, pages 2471–2476, San Jose, CA, USA, 2007b. ACM.

Presentación Lectura TFMI

Recomendados

Recomendados

Más contenido relacionado

Similar a Presentación Lectura TFMI

Similar a Presentación Lectura TFMI (20)

Más de David J. Brenes

Más de David J. Brenes (17)

Último

Último (20)

Presentación Lectura TFMI