SlideShare ist ein Scribd-Unternehmen logo
POSITIONS- (UND WEITERE) EFFEKTE
BEI RELEVANZBEWERTUNGEN
Vortrag im Rahmen des Search Lab-Austauschs
SoSe 2018
Christiane Behnert
18. Mai 2018
DEPARTMENT INFORMATION
Christiane Behnert
GLIEDERUNG
1. Hintergrund (Promotionsprojekt Relevance Clues)
2. Liste vs. Surrogat
3. Effekte
4. Fazit
5. Ausblick
6. Quellen
1
DEPARTMENT INFORMATION
Christiane Behnert
1. HINTERGRUND 1/2
Forschungsziel des Promotionsprojekts Relevance Clues
Popularitäts-
daten
 Untersuchung des Einflusses von Popularitätsdaten als potenzielle Relevanzmerkmale
auf die Relevanzbewertung durch Nutzende akademischer Suchsysteme 2
DEPARTMENT INFORMATION
Christiane Behnert
1. HINTERGRUND 2/2
Experimentelles Design
Unabhängige Variablen (UV):
 3x3x3x3 = 81 experimentelle Bedingungen  Within-Subjects-Design
Abhängige Variable: Bewertung eines Surrogats mittels Visueller Analogskala und
Schieberegler (0-100 P.)
 Präsentation der Surrogate (a) als Liste oder (b) einzeln nacheinander? 3
Nr. UV
Ausprägung
A
Ausprägung
B
Ausprägung
C
1 Anzahl Zitationen (Werk) Geringe Anzahl Hohe Anzahl Keine Angabe
2 Anzahl Zitationen (Autor) Geringe Anzahl Hohe Anzahl Keine Angabe
3 H-Index Geringe Zahl Hohe Zahl Keine Angabe
4 Anzahl Downloads Geringe Anzahl Hohe Anzahl Keine Angabe
DEPARTMENT INFORMATION
Christiane Behnert
2. LISTE VS. SURROGAT 1/2
• Bewertung von Dokumenten in traditioneller IR-Evaluierung einzeln und nacheinander
• Vereinfachende Annahmen im Cranfield-Paradigma (Buckley & Vorhees, 2005, S. 68):
 Judges can assess the relevance of a document from the document's content.
 All relevant documents are equally desirable.
 The relevance of one document is independent of the relevance of any other
document.
 The user information need is static.
 A set of topics with corresponding judgment sets is representative of the user
population.
 The list of relevant documents for each topic is complete (that is, all relevant docu-
ments are known).
4
DEPARTMENT INFORMATION
Christiane Behnert
2. LISTE VS. SURROGAT 2/2
• Informationssuchprozess aus Nutzersicht dynamisch
- Anomylous State of Knowledge, ASK (Belkin, 1980)
- Berrypicking (Bates, 1989)
• Relevanz aus Nutzersicht kognitiv, situations- und aufgabenabhängig
 The relevance of one document is independent of the relevance of any other
document. ?
• „Beyond independence“: Studien zu Order effect(s) (Saracevic, 2016)
Relevanzbewertung ist abhängig von den Dokumenten,
die zuvor bereits gesehen und bewertet wurden (Ergebnisset)
5
DEPARTMENT INFORMATION
Christiane Behnert
3. EFFEKTE 1/7
Order effect(s)
Order effect bei Relevanzbewertungen:
“[T]he same document is perceived at different levels of relevance if it appears in a
different position in a sequence…” (Xu & Wang, 2008, S. 1264)
• Reihenfolge der angezeigten Dokumente (Eisenberg & Barry, 1988; Purgailis Parker &
Johnson, 1990; Scholer, Kelly, Wu, Lee, & Webber, 2013; Xu & Wang, 2008)
• Zusammenhang zwischen Anzahl der bewerteten Dokumente und Order effect (Huang
& Wang, 2004)
• Reihenfolge der zu bearbeitenden Aufgaben in IIR-Studien (Clemmensen & Borlund,
2016)
6
DEPARTMENT INFORMATION
Christiane Behnert
3. EFFEKTE 2/7
7
DEPARTMENT INFORMATION
Christiane Behnert
3. EFFEKTE 3/7
Kognitive Psychologie
Primäreffekt vs. Rezenzeffekt
“[W]e define an order effect as a user’s different evaluations towards a document when it is
placed in different positions in a list. We define a primacy (recency) effect as the situation
when a document is more favorably evaluated when it is placed earlier (later) in a list than
when it is placed later (earlier). Primacy and recency effects are two types of order effect
outcome.” (Xu & Wang, 2008, S. 1266)
8
Serielle Positionskurve
DEPARTMENT INFORMATION
Christiane Behnert
3. EFFEKTE 4/7
Beobachtung in Experimenten
Ermüdung (fatigue)
• Kann Ausführung von Tätigkeiten, Leistung beeinträchtigen
• Beeinflussung durch Anzahl, Komplexität, Schwierigkeitsgrad der Aufgaben
• Studie von Clemmensen & Borlund, 2016: “[F]atigue is present, but the effect of it [on
performance] is absent" (S. 210).
Lerneffekt
• Kognitive Verarbeitung Vermehrung des Wissenstands im Prozess der
Informationssuche (ASK, Konzept der psychologischen Relevanz von Harter, 1992)
Carry-over-Effekte (Sedlmeier & Renkewitz, 2007)
• Inhaltliche Auswirkungen früherer Bedingungen auf spätere (Within-subjects-Design)
Good-subject-Effekt
• Der „gute Versuchsteilnehmer“; Bereitschaft zu erwartungskonformem Verhalten
• „[O]rder effect can also be explained by the good-subject effect“ (Clemmensen &
Borlund, 2016, S. 200)
9
DEPARTMENT INFORMATION
Christiane Behnert
3. EFFEKTE 5/7
Auswirkungen auf Relevanzbewertungen
Cursoriness effect (Xu & Wang, 2008)
• Bewertung anhand eher unbedeutender, nachrangiger Merkmale (peripheral cues)
• „The cursoriness effect has two consequences: First, documents of lower average
subjective relevance receive better evaluations and demonstrate a recency effect;
second, documents of higher subjective relevance receive worse evaluations and
demonstrate a primacy effect“ (S. 1268).
Subneed scheduling effect (Xu & Wang, 2008)
• Bewertung anhand des subneed  Anpassung durch Lerneffekt (ASK)
• Relevantes Dokument erscheint zu früh  - thematische Relevanz
• Relevantes Dokument erscheint zu spät  - thematische Relevanz, - Neuigkeitswert
Threshold priming (Scholer et al., 2013)
• Bewertung späterer Dokumente abhängig von Relevanzgraden früherer Dokumente 
Bildung unterschiedlicher interner Relevanzmodelle (Heuristiken)
• „A long sequence of irrelevant documents, for instance, might cause an assessor to
lower their threshold of relevance, or alternatively to lose concentration and miss
relevant documents“ (S. 623) 10
DEPARTMENT INFORMATION
Christiane Behnert
3. EFFEKTE 6/7
Erklärungsmodelle
Elaboration-likelihood-Modell (Petty & Cacioppo, 1986)
• Motivation und kognitive Kapazität bestimmen, ob ein Informationsobjekt im Prozess
der Informationsverarbeitung ausführlich, detailliert evaluiert wird
• „[W]hen people are motivated and able to engage in the evaluation of an information
item, they are more likely to scrutinize it and base their judgment on the merit of
content“ (Xu & Wang, 2008, S. 1268).
Belief-adjustment-Modell (Hogarth & Einhorn, 1992)
• „Our theory assumes that people handle belief-updating tasks by a general, sequential
anchoring-and-adjustment process in which current opinion, or the anchor, is adjusted
by the impact of succeeding pieces of evidence.“ (S. 8)
Ankereffekt (Tversky & Kahneman, 1974)
• Kognitive Verzerrung, erklärt menschliche Neigung bei der Urteils- und Entscheidungs-
findung, sich auf zuerst präsentierte Informationen (Anker) zu beziehen
• Kurzfristiger Ankereffekt (Shokouhi, White, & Yilmaz, 2015) vs. langfristiger Ankereffekt
bei Relevanzbewertungen (Scholer et al., 2013)
11
DEPARTMENT INFORMATION
Christiane Behnert
3. EFFEKTE 7/7
Einflussfaktoren
Need for Cognition (Cacioppo & Petty, 1982)
• „[P]eople's tendency to engage in and enjoy thinking“ (S. 130)
• Personen mit höherem N. verwenden mehr Zeit auf Relevanzbewertungen, vergeben
höhere Punktzahl und stimmen eher mit ‘Expertenbewertungen’ überein als Personen
mit niedrigerem N. (Scholer et al., 2013)
Anreize schaffen, Simulated work task situations (Clemmensen & Borlund, 2016)
12
Need for Cognition
(intrinsisch)
Motivation
Interesse
Neuigkeitswert
Ziel, Ergebnis
(extrinsisch)
individuell situativ
DEPARTMENT INFORMATION
Christiane Behnert
4. FAZIT
• Die Relevanzbewertung für ein Dokument ist abhängig von den Dokumenten, die zuvor
bereits gesehen und bewertet wurden.
• Begründung: Zusammenspiel von Effekten bedingt durch
(a) die Reihenfolge der
- experimentellen Bedingungen
- zu bearbeitenden Aufgaben
- einzelnen Items zur Wahrnehmung / der Dokumente zur Relevanzbewertung
(b) individuelle Faktoren
• Erklärungsmodelle aus der Psychologie zum menschlichen Verhalten
Durch Kenntnis über die Effekte können wir den Prozess der Relevanzbewertung
besser verstehen.
13
DEPARTMENT INFORMATION
Christiane Behnert
5. AUSBLICK
Liste oder einzelnes Surrogat?
Für die Online-Experimente im Rahmen meines Promotionsprojekts:
• 1 Ergebnisliste pro Aufgabe (9 x 9)
• Pro Suchergebnis eine Visuelle Analogskala zur Bewertung
• Randomisierung vs. Reihenfolge nach 1. Autornamen absteigend sortiert
Für Studien mit Relevanzbewertungen:
• Lieber Listendarstellung (Realität) als einzelne Surrogate nacheinander (TREC)
• Ergebnisset berücksichtigen (Kennzahlen?)
• Mehr Forschung zu Reihen-/Positionseffekten notwendig!
14
DEPARTMENT INFORMATION
Christiane Behnert
6. QUELLEN 1/2
Bates, M. J. (1989). The design of browsing and berrypicking techniques for the online search interface. Online
Information Review, 13(5), 407–424.
Belkin, N. J. (1980). Anomalous states of knowledge as a basis for information retrieval. Canadian Journal of Information
Science, 5, 133–143.
Buckley, C., & Voorhees, E. M. (2005). Retrieval System Evaluation. In E. M. Voorhees & D. K. Harman (Eds.), TREC:
Experiment and Evaluation in Information Retrieval (S. 53–75). Cambridge, MA ; London, UK: MIT Press.
Cacioppo, J. T., & Petty, R. E. (1982). The need for cognition. Journal of Personality and Social Psychology, 42(1), 116–
131.
Clemmensen, M. L., & Borlund, P. (2016). Order effect in interactive information retrieval evaluation: an empirical study.
Journal of Documentation, 72(2), 194–213.
Eisenberg, M., & Barry, C. (1988). Order effects: A study of the possible influence of presentation order on user
judgments of document relevance. Journal of the American Society for Information Science, 39(5), 293–300.
Hogarth, R. M., & Einhorn, H. J. (1992). Order effects in belief updating: The belief-adjustment model. Cognitive
Psychology, 24(1), 1–55.
Huang, M., & Wang, H. (2004). The influence of document presentation order and number of documents judged on
users’ judgments of relevance. Journal of the American Society for Information Science and Technology, 55(11),
970–979.
Petty, R. E., & Cacioppo, J. T. (1986). The elaboration likelihood model of persuasion. Advances in Experimental Social
Psychology, 19, 123–205.
Purgailis Parker, L. M., & Johnson, R. E. (1990). Does order of presentation affect users’ judgment of documents?
Journal of the American Society for Information Science, 41(7), 493–494.
15
DEPARTMENT INFORMATION
Christiane Behnert
6. QUELLEN 2/2
Saracevic, T. (2016). The Notion of relevance in information science: Everybody knows what relevance is. But, what is it
really? (G. Marchionini, Ed.), Synthesis Lectures on Information Concepts, Retrieval, and Services (Vol. 8). Morgan
& Claypool.
Sedlmeier, P., & Renkewitz, F. (2007). Forschungsmethoden und Statistik in der Psychologie. München ; Boston [u.a.]:
Pearson Studium, S. 123-180.
Scholer, F., Kelly, D., Wu, W.-C., Lee, H. S., & Webber, W. (2013). The effect of threshold priming and need for
cognition on relevance calibration and assessment. In Proceedings of the 36th international ACM SIGIR
conference on Research and development in information retrieval - SIGIR ’13 (S. 623–632). New York, New York,
USA: ACM Press.
Shokouhi, M., White, R., & Yilmaz, E. (2015). Anchoring and Adjustment in Relevance Estimation. In Proceedings of the
38th International ACM SIGIR Conference on Research and Development in Information Retrieval - SIGIR ’15
(S. 963–966). New York, New York, USA: ACM Press.
Tversky, A., & Kahneman, D. (1974). Judgment under uncertainty: Heuristics and biases. Science, 185(4157), 1124–
1131.
Xie, I., & Benoit, E. (2013). Search result list evaluation versus document evaluation: similarities and differences. Journal
of Documentation, 69(1), 49–80.
Xu, Y., & Wang, D. (2008). Order effect in relevance judgment. Journal of the American Society for Information Science
and Technology, 59(8), 1264–1275.
16
VIELEN DANK FÜR EURE
AUFMERKSAMKEIT!

Weitere ähnliche Inhalte

Empfohlen

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
Marius Sescu
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
Expeed Software
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
Pixeldarts
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
ThinkNow
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
marketingartwork
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
Skeleton Technologies
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
Kurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
SpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Lily Ray
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
Rajiv Jayarajah, MAppComm, ACC
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
Christy Abraham Joy
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
Vit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
MindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
RachelPearson36
 

Empfohlen (20)

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 

Positions- (und weitere) Effekte bei Relevanzbewertungen

  • 1. POSITIONS- (UND WEITERE) EFFEKTE BEI RELEVANZBEWERTUNGEN Vortrag im Rahmen des Search Lab-Austauschs SoSe 2018 Christiane Behnert 18. Mai 2018
  • 2. DEPARTMENT INFORMATION Christiane Behnert GLIEDERUNG 1. Hintergrund (Promotionsprojekt Relevance Clues) 2. Liste vs. Surrogat 3. Effekte 4. Fazit 5. Ausblick 6. Quellen 1
  • 3. DEPARTMENT INFORMATION Christiane Behnert 1. HINTERGRUND 1/2 Forschungsziel des Promotionsprojekts Relevance Clues Popularitäts- daten  Untersuchung des Einflusses von Popularitätsdaten als potenzielle Relevanzmerkmale auf die Relevanzbewertung durch Nutzende akademischer Suchsysteme 2
  • 4. DEPARTMENT INFORMATION Christiane Behnert 1. HINTERGRUND 2/2 Experimentelles Design Unabhängige Variablen (UV):  3x3x3x3 = 81 experimentelle Bedingungen  Within-Subjects-Design Abhängige Variable: Bewertung eines Surrogats mittels Visueller Analogskala und Schieberegler (0-100 P.)  Präsentation der Surrogate (a) als Liste oder (b) einzeln nacheinander? 3 Nr. UV Ausprägung A Ausprägung B Ausprägung C 1 Anzahl Zitationen (Werk) Geringe Anzahl Hohe Anzahl Keine Angabe 2 Anzahl Zitationen (Autor) Geringe Anzahl Hohe Anzahl Keine Angabe 3 H-Index Geringe Zahl Hohe Zahl Keine Angabe 4 Anzahl Downloads Geringe Anzahl Hohe Anzahl Keine Angabe
  • 5. DEPARTMENT INFORMATION Christiane Behnert 2. LISTE VS. SURROGAT 1/2 • Bewertung von Dokumenten in traditioneller IR-Evaluierung einzeln und nacheinander • Vereinfachende Annahmen im Cranfield-Paradigma (Buckley & Vorhees, 2005, S. 68):  Judges can assess the relevance of a document from the document's content.  All relevant documents are equally desirable.  The relevance of one document is independent of the relevance of any other document.  The user information need is static.  A set of topics with corresponding judgment sets is representative of the user population.  The list of relevant documents for each topic is complete (that is, all relevant docu- ments are known). 4
  • 6. DEPARTMENT INFORMATION Christiane Behnert 2. LISTE VS. SURROGAT 2/2 • Informationssuchprozess aus Nutzersicht dynamisch - Anomylous State of Knowledge, ASK (Belkin, 1980) - Berrypicking (Bates, 1989) • Relevanz aus Nutzersicht kognitiv, situations- und aufgabenabhängig  The relevance of one document is independent of the relevance of any other document. ? • „Beyond independence“: Studien zu Order effect(s) (Saracevic, 2016) Relevanzbewertung ist abhängig von den Dokumenten, die zuvor bereits gesehen und bewertet wurden (Ergebnisset) 5
  • 7. DEPARTMENT INFORMATION Christiane Behnert 3. EFFEKTE 1/7 Order effect(s) Order effect bei Relevanzbewertungen: “[T]he same document is perceived at different levels of relevance if it appears in a different position in a sequence…” (Xu & Wang, 2008, S. 1264) • Reihenfolge der angezeigten Dokumente (Eisenberg & Barry, 1988; Purgailis Parker & Johnson, 1990; Scholer, Kelly, Wu, Lee, & Webber, 2013; Xu & Wang, 2008) • Zusammenhang zwischen Anzahl der bewerteten Dokumente und Order effect (Huang & Wang, 2004) • Reihenfolge der zu bearbeitenden Aufgaben in IIR-Studien (Clemmensen & Borlund, 2016) 6
  • 9. DEPARTMENT INFORMATION Christiane Behnert 3. EFFEKTE 3/7 Kognitive Psychologie Primäreffekt vs. Rezenzeffekt “[W]e define an order effect as a user’s different evaluations towards a document when it is placed in different positions in a list. We define a primacy (recency) effect as the situation when a document is more favorably evaluated when it is placed earlier (later) in a list than when it is placed later (earlier). Primacy and recency effects are two types of order effect outcome.” (Xu & Wang, 2008, S. 1266) 8 Serielle Positionskurve
  • 10. DEPARTMENT INFORMATION Christiane Behnert 3. EFFEKTE 4/7 Beobachtung in Experimenten Ermüdung (fatigue) • Kann Ausführung von Tätigkeiten, Leistung beeinträchtigen • Beeinflussung durch Anzahl, Komplexität, Schwierigkeitsgrad der Aufgaben • Studie von Clemmensen & Borlund, 2016: “[F]atigue is present, but the effect of it [on performance] is absent" (S. 210). Lerneffekt • Kognitive Verarbeitung Vermehrung des Wissenstands im Prozess der Informationssuche (ASK, Konzept der psychologischen Relevanz von Harter, 1992) Carry-over-Effekte (Sedlmeier & Renkewitz, 2007) • Inhaltliche Auswirkungen früherer Bedingungen auf spätere (Within-subjects-Design) Good-subject-Effekt • Der „gute Versuchsteilnehmer“; Bereitschaft zu erwartungskonformem Verhalten • „[O]rder effect can also be explained by the good-subject effect“ (Clemmensen & Borlund, 2016, S. 200) 9
  • 11. DEPARTMENT INFORMATION Christiane Behnert 3. EFFEKTE 5/7 Auswirkungen auf Relevanzbewertungen Cursoriness effect (Xu & Wang, 2008) • Bewertung anhand eher unbedeutender, nachrangiger Merkmale (peripheral cues) • „The cursoriness effect has two consequences: First, documents of lower average subjective relevance receive better evaluations and demonstrate a recency effect; second, documents of higher subjective relevance receive worse evaluations and demonstrate a primacy effect“ (S. 1268). Subneed scheduling effect (Xu & Wang, 2008) • Bewertung anhand des subneed  Anpassung durch Lerneffekt (ASK) • Relevantes Dokument erscheint zu früh  - thematische Relevanz • Relevantes Dokument erscheint zu spät  - thematische Relevanz, - Neuigkeitswert Threshold priming (Scholer et al., 2013) • Bewertung späterer Dokumente abhängig von Relevanzgraden früherer Dokumente  Bildung unterschiedlicher interner Relevanzmodelle (Heuristiken) • „A long sequence of irrelevant documents, for instance, might cause an assessor to lower their threshold of relevance, or alternatively to lose concentration and miss relevant documents“ (S. 623) 10
  • 12. DEPARTMENT INFORMATION Christiane Behnert 3. EFFEKTE 6/7 Erklärungsmodelle Elaboration-likelihood-Modell (Petty & Cacioppo, 1986) • Motivation und kognitive Kapazität bestimmen, ob ein Informationsobjekt im Prozess der Informationsverarbeitung ausführlich, detailliert evaluiert wird • „[W]hen people are motivated and able to engage in the evaluation of an information item, they are more likely to scrutinize it and base their judgment on the merit of content“ (Xu & Wang, 2008, S. 1268). Belief-adjustment-Modell (Hogarth & Einhorn, 1992) • „Our theory assumes that people handle belief-updating tasks by a general, sequential anchoring-and-adjustment process in which current opinion, or the anchor, is adjusted by the impact of succeeding pieces of evidence.“ (S. 8) Ankereffekt (Tversky & Kahneman, 1974) • Kognitive Verzerrung, erklärt menschliche Neigung bei der Urteils- und Entscheidungs- findung, sich auf zuerst präsentierte Informationen (Anker) zu beziehen • Kurzfristiger Ankereffekt (Shokouhi, White, & Yilmaz, 2015) vs. langfristiger Ankereffekt bei Relevanzbewertungen (Scholer et al., 2013) 11
  • 13. DEPARTMENT INFORMATION Christiane Behnert 3. EFFEKTE 7/7 Einflussfaktoren Need for Cognition (Cacioppo & Petty, 1982) • „[P]eople's tendency to engage in and enjoy thinking“ (S. 130) • Personen mit höherem N. verwenden mehr Zeit auf Relevanzbewertungen, vergeben höhere Punktzahl und stimmen eher mit ‘Expertenbewertungen’ überein als Personen mit niedrigerem N. (Scholer et al., 2013) Anreize schaffen, Simulated work task situations (Clemmensen & Borlund, 2016) 12 Need for Cognition (intrinsisch) Motivation Interesse Neuigkeitswert Ziel, Ergebnis (extrinsisch) individuell situativ
  • 14. DEPARTMENT INFORMATION Christiane Behnert 4. FAZIT • Die Relevanzbewertung für ein Dokument ist abhängig von den Dokumenten, die zuvor bereits gesehen und bewertet wurden. • Begründung: Zusammenspiel von Effekten bedingt durch (a) die Reihenfolge der - experimentellen Bedingungen - zu bearbeitenden Aufgaben - einzelnen Items zur Wahrnehmung / der Dokumente zur Relevanzbewertung (b) individuelle Faktoren • Erklärungsmodelle aus der Psychologie zum menschlichen Verhalten Durch Kenntnis über die Effekte können wir den Prozess der Relevanzbewertung besser verstehen. 13
  • 15. DEPARTMENT INFORMATION Christiane Behnert 5. AUSBLICK Liste oder einzelnes Surrogat? Für die Online-Experimente im Rahmen meines Promotionsprojekts: • 1 Ergebnisliste pro Aufgabe (9 x 9) • Pro Suchergebnis eine Visuelle Analogskala zur Bewertung • Randomisierung vs. Reihenfolge nach 1. Autornamen absteigend sortiert Für Studien mit Relevanzbewertungen: • Lieber Listendarstellung (Realität) als einzelne Surrogate nacheinander (TREC) • Ergebnisset berücksichtigen (Kennzahlen?) • Mehr Forschung zu Reihen-/Positionseffekten notwendig! 14
  • 16. DEPARTMENT INFORMATION Christiane Behnert 6. QUELLEN 1/2 Bates, M. J. (1989). The design of browsing and berrypicking techniques for the online search interface. Online Information Review, 13(5), 407–424. Belkin, N. J. (1980). Anomalous states of knowledge as a basis for information retrieval. Canadian Journal of Information Science, 5, 133–143. Buckley, C., & Voorhees, E. M. (2005). Retrieval System Evaluation. In E. M. Voorhees & D. K. Harman (Eds.), TREC: Experiment and Evaluation in Information Retrieval (S. 53–75). Cambridge, MA ; London, UK: MIT Press. Cacioppo, J. T., & Petty, R. E. (1982). The need for cognition. Journal of Personality and Social Psychology, 42(1), 116– 131. Clemmensen, M. L., & Borlund, P. (2016). Order effect in interactive information retrieval evaluation: an empirical study. Journal of Documentation, 72(2), 194–213. Eisenberg, M., & Barry, C. (1988). Order effects: A study of the possible influence of presentation order on user judgments of document relevance. Journal of the American Society for Information Science, 39(5), 293–300. Hogarth, R. M., & Einhorn, H. J. (1992). Order effects in belief updating: The belief-adjustment model. Cognitive Psychology, 24(1), 1–55. Huang, M., & Wang, H. (2004). The influence of document presentation order and number of documents judged on users’ judgments of relevance. Journal of the American Society for Information Science and Technology, 55(11), 970–979. Petty, R. E., & Cacioppo, J. T. (1986). The elaboration likelihood model of persuasion. Advances in Experimental Social Psychology, 19, 123–205. Purgailis Parker, L. M., & Johnson, R. E. (1990). Does order of presentation affect users’ judgment of documents? Journal of the American Society for Information Science, 41(7), 493–494. 15
  • 17. DEPARTMENT INFORMATION Christiane Behnert 6. QUELLEN 2/2 Saracevic, T. (2016). The Notion of relevance in information science: Everybody knows what relevance is. But, what is it really? (G. Marchionini, Ed.), Synthesis Lectures on Information Concepts, Retrieval, and Services (Vol. 8). Morgan & Claypool. Sedlmeier, P., & Renkewitz, F. (2007). Forschungsmethoden und Statistik in der Psychologie. München ; Boston [u.a.]: Pearson Studium, S. 123-180. Scholer, F., Kelly, D., Wu, W.-C., Lee, H. S., & Webber, W. (2013). The effect of threshold priming and need for cognition on relevance calibration and assessment. In Proceedings of the 36th international ACM SIGIR conference on Research and development in information retrieval - SIGIR ’13 (S. 623–632). New York, New York, USA: ACM Press. Shokouhi, M., White, R., & Yilmaz, E. (2015). Anchoring and Adjustment in Relevance Estimation. In Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval - SIGIR ’15 (S. 963–966). New York, New York, USA: ACM Press. Tversky, A., & Kahneman, D. (1974). Judgment under uncertainty: Heuristics and biases. Science, 185(4157), 1124– 1131. Xie, I., & Benoit, E. (2013). Search result list evaluation versus document evaluation: similarities and differences. Journal of Documentation, 69(1), 49–80. Xu, Y., & Wang, D. (2008). Order effect in relevance judgment. Journal of the American Society for Information Science and Technology, 59(8), 1264–1275. 16
  • 18. VIELEN DANK FÜR EURE AUFMERKSAMKEIT!