SlideShare ist ein Scribd-Unternehmen logo
VON ABOUTNESS BIS ZITATIONSZAHLEN:
ZUR KOMPLEXITÄT DES INFORMATIONS-
WISSENSCHAFTLICHEN RELEVANZKONZEPTS
Christiane Behnert, M.A.
Promotionsstudentin (HAW Hamburg)
Doktorandin (Universität Hildesheim)
16. Oktober 2019
Gastvortrag im Rahmen des Potsdamer
Informationswissenschaftlichen Kolloquiums
an der Fachhochschule Potsdam
DEPARTMENT INFORMATION
Christiane Behnert
GLIEDERUNG
1. Relevanz kennenlernen
2. Relevanz (besser) verstehen
3. Relevanz messen (?)
4. Fazit
Quellen
1
1. RELEVANZ KENNENLERNEN
2. RELEVANZ (BESSER) VERSTEHEN
3. RELEVANZ MESSEN (?)
DEPARTMENT INFORMATION
Christiane Behnert
1. RELEVANZ KENNENLERNEN
1.1. Relevanz als Kernkonzept der Informationswissenschaft
• Menschliches Verhalten im interaktiven Informationssuchprozess motiviert durch den
Wunsch, relevante Informationen zu finden (Saracevic, 2015)
• Informationswiss. Relevanzforschung seit Ende der 1950er Jahre (Mizzaro, 1997)
• Relevanzbasierte Kennzahlen zur Evaluierung der Retrieval-Effektivität von
Information Retrieval-Systemen (IRS)
“Nobody has to explain to users of IR systems what relevance is,
even as they struggle (sometimes in vain) to find relevant stuff.
People understand relevance intuitively.“
(Saracevic, 1996, S. 215)
Allgemeingültige Definition?
Informationswiss. Relevanztheorie?
Modelle?( )
3
DEPARTMENT INFORMATION
Christiane Behnert
1. RELEVANZ KENNENLERNEN
1.2. Relevanzformen
4
Aufgabe
Problem
Informationsbedürfnis
Suchanfrage
Informationsobjekt
Aufgabenorientierte Relevanz
Situative Relevanz
Pertinenz /
Kognitive
Relevanz
Nutzerbasierte
Relevanz
(subjektiv)
Systembasierte
Relevanz
(objektiv)
Psychologische
Relevanz
IRS Interface
Ziel
Zielorientierte Relevanz
Intrinsisch
Intrinsisch oder
extrinsisch
Thematische
Relevanz
Gesellschaftliche
Relevanz
Aboutness
DEPARTMENT INFORMATION
Christiane Behnert
1. RELEVANZ KENNENLERNEN
1.2. Relevanzformen
5
Aufgabe
Problem
Informationsbedürfnis
Suchanfrage
Informationsobjekt
Aufgabenorientierte Relevanz
Situative Relevanz
Pertinenz /
Kognitive
Relevanz
Nutzerbasierte
Relevanz
(subjektiv)
Systembasierte
Relevanz
(objektiv)
Psychologische
Relevanz
IRS Interface
Ziel
Zielorientierte Relevanz
Intrinsisch
Intrinsisch oder
extrinsisch
Thematische
Relevanz
Gesellschaftliche
Relevanz
Aboutness
DEPARTMENT INFORMATION
Christiane Behnert
1. RELEVANZ KENNENLERNEN
1.2. Relevanzformen – Quellen
6
Aufgabe
Problem
Informationsbedürfnis
Suchanfrage
Informationsobjekt
Aufgabenorientierte Relevanz
Situative Relevanz
Pertinenz /
Kognitive
Relevanz
Nutzerbasierte
Relevanz
(subjektiv)
Systembasierte
Relevanz
(objektiv)
Psychologische
Relevanz
IRS Interface
Ziel
Zielorientierte Relevanz
Intrinsisch
Intrinsisch oder
extrinsisch
Thematische
Relevanz
Gesellschaftliche
Relevanz
Huang &
Soergel, 2013
Königová (1971)
Wilson (1973)
Saracevic (1996)
Harter (1992)
Reid (1999)
Hjørland & Christensen (2002)
Haider & Sundin, 2019
Mizzaro (1997)
Borlund (2003)
Saracevic (2016)
Aboutness
Maron (1977)
Hjørland (2001)
O'Neill et al. (2017)
DEPARTMENT INFORMATION
Christiane Behnert
1. RELEVANZ KENNENLERNEN
1.3. Relevanzbewertungen in Abhängigkeit von der Relevanzperspektive
7
Relevanzbewertungen
System Mensch
Formalisierte
Relevanzbewertung
Relevanzbewertung
aus Nutzersicht
Alltag (beruflich + privat)
Systemseitige Relevanz Nutzerseitige Relevanz
vorgenommen durch
vorgenommen im
Forschungs-
kontext
Feedback
DEPARTMENT INFORMATION
Christiane Behnert
1. RELEVANZ KENNENLERNEN
1.4. Einflüsse auf Relevanzbewertungen (1/3)
8
(Schamber, 1994, S. 11)
DEPARTMENT INFORMATION
Christiane Behnert
1. RELEVANZ KENNENLERNEN
1.4. Einflüsse auf Relevanzbewertungen (2/3)
Einteilung nach Saracevic (2016):
Juroren:
• Erfahrung mit thematisch-relevanten Fragen
• Kenntnis über und Interesse an einem Thema
• Fachwissen
• Sprache
Relevanzbewertungen:
• Position des Treffers in der Ergebnisliste
• Rangfolge der Treffer
• Design, Usability
• Art der Suchaufgabe/-ergebnisse (Schwierigkeitsgrad, Informationen)
• Art der Bewertung (Skala)
9
„Relevance is affected by a host
of factors and, in turn, it affects
a host of factors as well.“
(Saracevic, 2016, S. 61)
DEPARTMENT INFORMATION
Christiane Behnert
1. RELEVANZ KENNENLERNEN
1.4. Einflüsse auf Relevanzbewertungen (3/3)
10
Kategorie Relevanzkriterien Interaktion
zwischen…
Content Topic, quality, depth, scope, currency,
treatment, clarity
Information (or
object)
characteristicsObject Characteristics of information objects,
e.g., type, organization,
representation, format, availability,
accessibility, costs
Validity Accuracy of information provided,
authority, trustworthiness of sources,
verifiability, reliability
Usefulness or
situational match
Appropriateness to situation, or tasks,
usability, urgency; value in use
Individual (or
human)
characteristics
Cognitive match Understanding, novelty, mental effort,
Link to previous knowledge
Affective match Emotional responses to information,
fun, frustration, uncertainty
Belief match Personal credence given to
information, confidence
Quelle:
Saracevic (2016, S. 57 ff.)
1. RELEVANZ KENNENLERNEN
2. RELEVANZ (BESSER) VERSTEHEN
3. RELEVANZ MESSEN (?)
DEPARTMENT INFORMATION
Christiane Behnert
2. RELEVANZ (BESSER) VERSTEHEN
2.1. Studien zu Relevanzkriterien
Forschungslücke: Keine Studien zu Relevanzkriterien, in denen die von Probanden zu
bewertenden Suchergebnisse Popularitätsdaten enthielten
12
Quelle: Wang,1994, S. 85
Heute: Popularitätsdaten
DEPARTMENT INFORMATION
Christiane Behnert
2. RELEVANZ (BESSER) VERSTEHEN
2.2. Relevanzbewertung als Prozess
• Relevanzbewertung im Prozess der Dokumentenauswahl eingebettet (Wang, 1994)
• „Predictive judgment“ (vor Zugang zum Volltext) vs.
„evaluative judgment“ (nach Zugang zum Volltext) (Rieh, 2002)
• Diverse Faktoren wirken auf den Prozess der Relevanzbewertung ein
13
DEPARTMENT INFORMATION
Christiane Behnert
14
2.3. Vorläufiges Modell zur Relevanzbewertung von Suchergebnissen in
akademischen Informationssystemen
Quelle:Behnert,C.(2019).KriterienundEinflussfaktorenbeiderRelevanzbewertungvonSurrogaten
inakademischenInformationssystemen.Information-Wissenschaft&Praxis,70(1),S.28.
1. RELEVANZ KENNENLERNEN
2. RELEVANZ (BESSER) VERSTEHEN
3. RELEVANZ MESSEN (?)
DEPARTMENT INFORMATION
Christiane Behnert
3. RELEVANZ MESSEN (?)
• Relevanz ist keine physische Einheit, die wissenschaftlich direkt messbar ist, sie
benötigt eine menschliche mentale Aktivität (Buckland, 2017)
• Mentale Aktivität in Verbindung mit menschlichem Verhalten
• Explorative Designs in Studien zu Relevanzkriterien mittels Thinking aloud-Methode
• Einen “Ersatz” für die Messung von Relevanz finden
- Elemente (Relevanzmerkmale) innerhalb eines Suchergebnisses = operationalisierte
Relevanzkriterien
- Manipulierte Elemente könnten einen beobachtbaren Effekt auf
Relevanzbewertungen verursachen
Untersuchungen von Effekten auf menschliches Verhalten mithilfe von Experimenten
16
DEPARTMENT INFORMATION
Christiane Behnert
3. RELEVANZ MESSEN (?)
3.1. Experimentelle Forschungsdesigns
17
• Erkenntnisse über tatsächliches Informationssuchverhalten
(Kelly, 2009; Kelly & Cresenzi, 2016)
• Kausale Schlussfolgerungen (Sedlmeier & Renkewitz, 2007)
Stimulus / Ursache Effekt / Wirkung
(unabhängige Variable, UV abhängige Variable, AV)
• Voraussetzungen für Kausalität (Sedlmeier & Renkewitz, 2007):
 Kovarianz zwischen UV und AV
 Zeitliche Präzedenz der UV
 Ausschluss möglicher Alternativerklärungen
(konfundierende Variablen)
• Wesensmerkmale eines Experiments:
 Manipulation der UV
 Kontrolle konfundierender Variablen (Randomisierung, Ausbalancieren)
DEPARTMENT INFORMATION
Christiane Behnert
3. RELEVANZ MESSEN (?)
3.2. Anwendungsbeispiel (1/2)
• Ein experimenteller Ansatz zur Erforschung von Relevanzkriterien am Beispiel
von Popularitätsdaten als Bestandteil von Suchergebnissen
- 3x3x3 = 27 Experimentelle Bedingungen
- Abhängige Variable: Relevanzbewertung mittels Schieberegler (0-100)
- Within-Subject-Design
18
Unabhängige Variable Stufe A Stufe B Stufe C
Anzahl Downloads (Werk) Gering Hoch Keine Angabe
Anzahl Zitationen (Werk) Gering Hoch Keine Angabe
Anzahl Zitationen (Autor) Gering Hoch Keine Angabe
DEPARTMENT INFORMATION
Christiane Behnert
3. RELEVANZ MESSEN (?)
3.2. Anwendungsbeispiel (2/2)
- Erhebung mittels Online-Fragebogen (EFS Survey, Unipark)
- Erhebungszeitraum: 6. Juni bis 31. Juli 2019
- 3 Aufgaben mit je 9 Suchergebnissen zur Bewertung in randomisierter Reihenfolge
- Benötigter Stichprobenumfang n=577
- Erzielter Stichprobenumfang für Datenanalyse n=627
- Verlosung von 444 Amazon-Gutscheinen im Wert von je 10 EUR
19
1. RELEVANZ KENNENLERNEN
2. RELEVANZ (BESSER) VERSTEHEN
3. RELEVANZ MESSEN (?)
4. FAZIT
DEPARTMENT INFORMATION
Christiane Behnert
4. FAZIT
• Komplexität des informationswissenschaftlichen Relevanzkonzepts zeigt sich durch die:
- Vielzahl an Begriffen zur Beschreibung von Relevanz
- unterschiedlichen Dimensionen (Relevanzbeziehungen)
- zwei Sichtweisen auf Relevanz (System vs. Nutzer)
- diversen Einflüssen auf den Prozess der Relevanzbewertung
- Subjektivität und Dynamik menschlicher Relevanzbewertungen
• Relevanz "remains ill-defined and not measurable in any direct way“
(Buckland, 2017, S. 164)
• Indirekte Messbarkeit von Relevanz durch Messung von operationalisierbaren
Elementen mithilfe sozialwissenschaftlicher Forschungsmethoden
21
DEPARTMENT INFORMATION
Christiane Behnert
QUELLEN (1/3)
Behnert, C. (2019). Investigating the effects of popularity data on predictive relevance judgments in academic search
systems. In Proceedings of the 2019 Conference on Human Information Interaction and Retrieval - CHIIR ’19 (pp. 437–
440). New York, New York, USA: ACM Press. https://doi.org/10.1145/3295750.3298978
Behnert, C. (2019). Kriterien und Einflussfaktoren bei der Relevanzbewertung von Surrogaten in akademischen
Informationssystemen. Information - Wissenschaft & Praxis, 70(1), 24–32. https://doi.org/10.1515/iwp-2019-0002
Borlund, P. (2003). The concept of relevance in IR. Journal of the American Society for Information Science and
Technology, 54(10), 913–925. https://doi.org/10.1002/asi.10286
Buckland, M. K. (2017). Information and society. Cambridge, MA ; London, UK: MIT Press.
Haider, J., & Sundin, O. (2019). Invisible search and online search engines: The ubiquity of search in everyday life. New
York, NY [u.a.]: Routledge.
Harter, S. P. (1992). Psychological relevance and information science. Journal of the American Society for Information
Science, 43(9), 602–615. https://doi.org/10.1002/(SICI)1097-4571(199210)43:9<602::AID-ASI3>3.0.CO;2-Q
Hjørland, B. (2001). Towards a theory of aboutness, subject, topicality, theme, domain, field, content . . . and relevance.
Journal of the American Society for Information Science and Technology, 52(9), 774–778. https://doi.org/10.1002/asi.1131
Hjørland, B., & Christensen, F. S. (2002). Work tasks and socio-cognitive relevance: A specific example. Journal of the
American Society for Information Science and Technology, 53(11), 960–965. https://doi.org/10.1002/asi.10132
Huang, X., & Soergel, D. (2013). Relevance: An improved framework for explicating the notion. Journal of the American
Society for Information Science and Technology, 64(1), 18–35. https://doi.org/10.1002/asi.22811
22
DEPARTMENT INFORMATION
Christiane Behnert
QUELLEN (2/3)
Kelly, D., & Cresenzi, A. (2016). From design to analysis: Conducting controlled laboratory experiments with users. In
Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval -
SIGIR ’16 (pp. 1207–1210). New York, New York, USA: ACM Press. https://doi.org/10.1145/2911451.2914809
Kelly, D. (2009). Methods for evaluating interactive information retrieval systems with users. Foundations and Trends® in
Information Retrieval, 3(1—2). https://doi.org/10.1561/1500000012
Königová, M. (1971). Mathematical and statistical methods of noise evaluation in a retrieval system. Information Storage
and Retrieval, 6(6), 437–444. https://doi.org/10.1016/0020-0271(71)90009-X
Maron, M. E. (1977). On indexing, retrieval and the meaning of about. Journal of the American Society for Information
Science, 28(1), 38–43. https://doi.org/10.1002/asi.4630280107
Mizzaro, S. (1997). Relevance: The whole history. Journal of the American Society for Information Science, 48(9), 810–
832. https://doi.org/10.1002/(SICI)1097-4571(199709)48:9<810::AID-ASI6>3.0.CO;2-U
O’Neill, E. T., Kammerer, K. A., & Bennett, R. (2017). The aboutness of words. Journal of the Association for
Information Science and Technology, 68(1992), 2471–2483. https://doi.org/10.1002/asi.23856
Reid, J. (1999). A new, task-oriented paradigm for information retrieval: Implications for evaluation of information retrieval
systems. In T. Aparac, T. Saracevic, P. Ingwersen, & P. Vakkari (Eds.), Digital Libraries: Interdisciplinary concepts,
challenges and opportunities. Proceedings of the Third International Conference on the Conceptions of the Library and
Information Science, Dubrovnik, Croatia (pp. 97–108). Zagreb: Lokve.
Rieh, S. Y. (2002). Judgment of information quality and cognitive authority in the Web. Journal of the American Society for
Information Science and Technology, 53(2), 145–161. https://doi.org/10.1002/asi.10017 23
DEPARTMENT INFORMATION
Christiane Behnert
QUELLEN (3/3)
Saracevic, T. (1996). Relevance reconsidered. In P. Ingwersen & N. O. Pors (Eds.), Information science: Integration in
perspectives. Proceedings of the Second Conference on Conceptions of Library and Information Science (CoLIS 2) (pp.
201–218). Copenhagen: Royal School of Librarianship.
Saracevic, T. (2012). Research on relevance in information science: A historical perspective. In T. Carbo & T. Bellardo
Hahn (Eds.), Proceedings of the American Society for Information Science and Technology (ASIS&T) 2012 Pre-
conference on the History of ASIS&T and Information Science and Technology (pp. 49–60). Information Today.
Saracevic, T. (2015). Why is relevance still the basic notion in information science? In F. Pehar, C. Schlögl, & C. Wolff
(Eds.), Re:inventing Information Science in the Networked Society. Proceedings of the 14th International Symposium on
Information Science (ISI 2015) (pp. 26–35). Glückstadt: Hülsbusch.
Saracevic, T. (2016). The Notion of relevance in information science: Everybody knows what relevance is. But, what is it
really? (G. Marchionini, Ed.), Synthesis Lectures on Information Concepts, Retrieval, and Services (Vol. 8). Morgan &
Claypool. https://doi.org/10.2200/S00723ED1V01Y201607ICR050
Schamber, L. (1994). Relevance and information behavior. Annual Review of Information Science and Technology
(ARIST), 29, 3–48.
Sedlmeier, P., & Renkewitz, F. (2018). Forschungsmethoden und Statistik für Psychologen und Sozialwissenschafter (3.
Aufl.). Hallbergmoos: Pearson Deutschland.
Wang, P. (1994). A cognitive model of document selection of real users of information retrieval systems. Dissertation,
University of Maryland; College of Library and Information Science.
Wilson, P. (1973). Situational relevance. Information Storage and Retrieval, 9(8), 457–471. https://doi.org/10.1016/0020-
0271(73)90096-X
24
Christiane Behnert, M.A.
christiane.behnert@haw-hamburg.de
HOCHSCHULE FÜR ANGEWANDTE
WISSENSCHAFTEN HAMBURG
Fakultät Design, Medien & Information
Department Information
Forschungsgruppe Search Studies
Finkenau 35 / 22081 Hamburg
haw-hamburg.de
http://searchstudies.org/christiane-behnert/
Vortragsfolien bei slideshare:
https://www.slideshare.net/ChristianeBehnert/presentations

Weitere ähnliche Inhalte

Ähnlich wie Von Aboutness bis Zitationszahlen: Zur Komplexität des informationswissenschaftlichen Relevanzkonzepts

Partizipation mit digitalen Medien in der Hochschule - JFMH 14
Partizipation mit digitalen Medien in der Hochschule - JFMH 14Partizipation mit digitalen Medien in der Hochschule - JFMH 14
Partizipation mit digitalen Medien in der Hochschule - JFMH 14
Franco Rau
 
Informelle Wissensarbeit - Die lernende Organisation im Wandel
Informelle Wissensarbeit - Die lernende Organisation im WandelInformelle Wissensarbeit - Die lernende Organisation im Wandel
Informelle Wissensarbeit - Die lernende Organisation im Wandel
Hendrik Kalb
 
Forschungspraxis aus ethischer Perspektive
Forschungspraxis aus ethischer PerspektiveForschungspraxis aus ethischer Perspektive
Forschungspraxis aus ethischer Perspektive
Nele Heise
 
Learning Analytics - Tools zur Erforschung von Lehre und Lernen?
Learning Analytics - Tools zur Erforschung von Lehre und Lernen?Learning Analytics - Tools zur Erforschung von Lehre und Lernen?
Learning Analytics - Tools zur Erforschung von Lehre und Lernen?
e-teaching.org
 
Motivation als Erfolgsfaktor des Lernens mit digitalen Medien
Motivation als Erfolgsfaktor des Lernens mit digitalen MedienMotivation als Erfolgsfaktor des Lernens mit digitalen Medien
Motivation als Erfolgsfaktor des Lernens mit digitalen Medien
You(r) Study
 
Konzeption mediengestützter Lernangebote (Einführung - WiSe 2014/2015)
Konzeption mediengestützter Lernangebote (Einführung - WiSe 2014/2015)Konzeption mediengestützter Lernangebote (Einführung - WiSe 2014/2015)
Konzeption mediengestützter Lernangebote (Einführung - WiSe 2014/2015)
Martin Rehm
 
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Dirk Lewandowski
 
Lecture: Interkulturelle Aspekte im e-Learning (German)
Lecture: Interkulturelle Aspekte im e-Learning (German)Lecture: Interkulturelle Aspekte im e-Learning (German)
Lecture: Interkulturelle Aspekte im e-Learning (German)
Richter Thomas
 
»Big data – small problems?« - Ethische Perspektiven auf Forschung unter Zuhi...
»Big data – small problems?« - Ethische Perspektiven auf Forschung unter Zuhi...»Big data – small problems?« - Ethische Perspektiven auf Forschung unter Zuhi...
»Big data – small problems?« - Ethische Perspektiven auf Forschung unter Zuhi...
Nele Heise
 
Gesteigerte Employee Experience durch mobile Ethnographie
Gesteigerte Employee Experience durch mobile EthnographieGesteigerte Employee Experience durch mobile Ethnographie
Gesteigerte Employee Experience durch mobile Ethnographie
USECON
 
ELISA Ethnographiestudie
ELISA EthnographiestudieELISA Ethnographiestudie
ELISA Ethnographiestudie
Marc Uwe Simon
 
Die Zielgruppe für Basisbildung über das Internet erreichen
Die Zielgruppe für Basisbildung über das Internet erreichenDie Zielgruppe für Basisbildung über das Internet erreichen
Die Zielgruppe für Basisbildung über das Internet erreichen
wrauter
 
Social-Media-Monitoring für Kulturinstitutionen
Social-Media-Monitoring für KulturinstitutionenSocial-Media-Monitoring für Kulturinstitutionen
Social-Media-Monitoring für Kulturinstitutionen
Christoph Deeg
 
Pflegeinformatik - Internationale Entwicklung
Pflegeinformatik - Internationale EntwicklungPflegeinformatik - Internationale Entwicklung
Pflegeinformatik - Internationale Entwicklung
Ulrich Schrader
 
Service Learning aus Lehrendenperspektive: motivationale Faktoren und institu...
Service Learning aus Lehrendenperspektive: motivationale Faktoren und institu...Service Learning aus Lehrendenperspektive: motivationale Faktoren und institu...
Service Learning aus Lehrendenperspektive: motivationale Faktoren und institu...
Philip Meyer
 
Languagecafe Present
Languagecafe PresentLanguagecafe Present
Languagecafe Present
Monika Anclin
 
Agilitätssteigerung durch Lernkulturentwicklung
Agilitätssteigerung durch LernkulturentwicklungAgilitätssteigerung durch Lernkulturentwicklung
Agilitätssteigerung durch Lernkulturentwicklung
Joël Krapf
 
Motivationale, soziale und kulturelle Faktoren im Wissensmanagement
Motivationale, soziale und kulturelle Faktoren im WissensmanagementMotivationale, soziale und kulturelle Faktoren im Wissensmanagement
Motivationale, soziale und kulturelle Faktoren im Wissensmanagement
Andreas Schmidt
 
Evidenzbasierte Bildung mit Learning Analytics - Teil 1 FRANKFURT 2019
Evidenzbasierte Bildung mit Learning Analytics - Teil 1 FRANKFURT 2019Evidenzbasierte Bildung mit Learning Analytics - Teil 1 FRANKFURT 2019
Evidenzbasierte Bildung mit Learning Analytics - Teil 1 FRANKFURT 2019
Wolfgang Greller
 

Ähnlich wie Von Aboutness bis Zitationszahlen: Zur Komplexität des informationswissenschaftlichen Relevanzkonzepts (20)

Partizipation mit digitalen Medien in der Hochschule - JFMH 14
Partizipation mit digitalen Medien in der Hochschule - JFMH 14Partizipation mit digitalen Medien in der Hochschule - JFMH 14
Partizipation mit digitalen Medien in der Hochschule - JFMH 14
 
Informelle Wissensarbeit - Die lernende Organisation im Wandel
Informelle Wissensarbeit - Die lernende Organisation im WandelInformelle Wissensarbeit - Die lernende Organisation im Wandel
Informelle Wissensarbeit - Die lernende Organisation im Wandel
 
Forschungspraxis aus ethischer Perspektive
Forschungspraxis aus ethischer PerspektiveForschungspraxis aus ethischer Perspektive
Forschungspraxis aus ethischer Perspektive
 
Learning Analytics - Tools zur Erforschung von Lehre und Lernen?
Learning Analytics - Tools zur Erforschung von Lehre und Lernen?Learning Analytics - Tools zur Erforschung von Lehre und Lernen?
Learning Analytics - Tools zur Erforschung von Lehre und Lernen?
 
Motivation als Erfolgsfaktor des Lernens mit digitalen Medien
Motivation als Erfolgsfaktor des Lernens mit digitalen MedienMotivation als Erfolgsfaktor des Lernens mit digitalen Medien
Motivation als Erfolgsfaktor des Lernens mit digitalen Medien
 
Konzeption mediengestützter Lernangebote (Einführung - WiSe 2014/2015)
Konzeption mediengestützter Lernangebote (Einführung - WiSe 2014/2015)Konzeption mediengestützter Lernangebote (Einführung - WiSe 2014/2015)
Konzeption mediengestützter Lernangebote (Einführung - WiSe 2014/2015)
 
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
 
Lecture: Interkulturelle Aspekte im e-Learning (German)
Lecture: Interkulturelle Aspekte im e-Learning (German)Lecture: Interkulturelle Aspekte im e-Learning (German)
Lecture: Interkulturelle Aspekte im e-Learning (German)
 
»Big data – small problems?« - Ethische Perspektiven auf Forschung unter Zuhi...
»Big data – small problems?« - Ethische Perspektiven auf Forschung unter Zuhi...»Big data – small problems?« - Ethische Perspektiven auf Forschung unter Zuhi...
»Big data – small problems?« - Ethische Perspektiven auf Forschung unter Zuhi...
 
Gesteigerte Employee Experience durch mobile Ethnographie
Gesteigerte Employee Experience durch mobile EthnographieGesteigerte Employee Experience durch mobile Ethnographie
Gesteigerte Employee Experience durch mobile Ethnographie
 
ELISA Ethnographiestudie
ELISA EthnographiestudieELISA Ethnographiestudie
ELISA Ethnographiestudie
 
Vo6 2010neu
Vo6 2010neuVo6 2010neu
Vo6 2010neu
 
Die Zielgruppe für Basisbildung über das Internet erreichen
Die Zielgruppe für Basisbildung über das Internet erreichenDie Zielgruppe für Basisbildung über das Internet erreichen
Die Zielgruppe für Basisbildung über das Internet erreichen
 
Social-Media-Monitoring für Kulturinstitutionen
Social-Media-Monitoring für KulturinstitutionenSocial-Media-Monitoring für Kulturinstitutionen
Social-Media-Monitoring für Kulturinstitutionen
 
Pflegeinformatik - Internationale Entwicklung
Pflegeinformatik - Internationale EntwicklungPflegeinformatik - Internationale Entwicklung
Pflegeinformatik - Internationale Entwicklung
 
Service Learning aus Lehrendenperspektive: motivationale Faktoren und institu...
Service Learning aus Lehrendenperspektive: motivationale Faktoren und institu...Service Learning aus Lehrendenperspektive: motivationale Faktoren und institu...
Service Learning aus Lehrendenperspektive: motivationale Faktoren und institu...
 
Languagecafe Present
Languagecafe PresentLanguagecafe Present
Languagecafe Present
 
Agilitätssteigerung durch Lernkulturentwicklung
Agilitätssteigerung durch LernkulturentwicklungAgilitätssteigerung durch Lernkulturentwicklung
Agilitätssteigerung durch Lernkulturentwicklung
 
Motivationale, soziale und kulturelle Faktoren im Wissensmanagement
Motivationale, soziale und kulturelle Faktoren im WissensmanagementMotivationale, soziale und kulturelle Faktoren im Wissensmanagement
Motivationale, soziale und kulturelle Faktoren im Wissensmanagement
 
Evidenzbasierte Bildung mit Learning Analytics - Teil 1 FRANKFURT 2019
Evidenzbasierte Bildung mit Learning Analytics - Teil 1 FRANKFURT 2019Evidenzbasierte Bildung mit Learning Analytics - Teil 1 FRANKFURT 2019
Evidenzbasierte Bildung mit Learning Analytics - Teil 1 FRANKFURT 2019
 

Von Aboutness bis Zitationszahlen: Zur Komplexität des informationswissenschaftlichen Relevanzkonzepts

  • 1. VON ABOUTNESS BIS ZITATIONSZAHLEN: ZUR KOMPLEXITÄT DES INFORMATIONS- WISSENSCHAFTLICHEN RELEVANZKONZEPTS Christiane Behnert, M.A. Promotionsstudentin (HAW Hamburg) Doktorandin (Universität Hildesheim) 16. Oktober 2019 Gastvortrag im Rahmen des Potsdamer Informationswissenschaftlichen Kolloquiums an der Fachhochschule Potsdam
  • 2. DEPARTMENT INFORMATION Christiane Behnert GLIEDERUNG 1. Relevanz kennenlernen 2. Relevanz (besser) verstehen 3. Relevanz messen (?) 4. Fazit Quellen 1
  • 3. 1. RELEVANZ KENNENLERNEN 2. RELEVANZ (BESSER) VERSTEHEN 3. RELEVANZ MESSEN (?)
  • 4. DEPARTMENT INFORMATION Christiane Behnert 1. RELEVANZ KENNENLERNEN 1.1. Relevanz als Kernkonzept der Informationswissenschaft • Menschliches Verhalten im interaktiven Informationssuchprozess motiviert durch den Wunsch, relevante Informationen zu finden (Saracevic, 2015) • Informationswiss. Relevanzforschung seit Ende der 1950er Jahre (Mizzaro, 1997) • Relevanzbasierte Kennzahlen zur Evaluierung der Retrieval-Effektivität von Information Retrieval-Systemen (IRS) “Nobody has to explain to users of IR systems what relevance is, even as they struggle (sometimes in vain) to find relevant stuff. People understand relevance intuitively.“ (Saracevic, 1996, S. 215) Allgemeingültige Definition? Informationswiss. Relevanztheorie? Modelle?( ) 3
  • 5. DEPARTMENT INFORMATION Christiane Behnert 1. RELEVANZ KENNENLERNEN 1.2. Relevanzformen 4 Aufgabe Problem Informationsbedürfnis Suchanfrage Informationsobjekt Aufgabenorientierte Relevanz Situative Relevanz Pertinenz / Kognitive Relevanz Nutzerbasierte Relevanz (subjektiv) Systembasierte Relevanz (objektiv) Psychologische Relevanz IRS Interface Ziel Zielorientierte Relevanz Intrinsisch Intrinsisch oder extrinsisch Thematische Relevanz Gesellschaftliche Relevanz Aboutness
  • 6. DEPARTMENT INFORMATION Christiane Behnert 1. RELEVANZ KENNENLERNEN 1.2. Relevanzformen 5 Aufgabe Problem Informationsbedürfnis Suchanfrage Informationsobjekt Aufgabenorientierte Relevanz Situative Relevanz Pertinenz / Kognitive Relevanz Nutzerbasierte Relevanz (subjektiv) Systembasierte Relevanz (objektiv) Psychologische Relevanz IRS Interface Ziel Zielorientierte Relevanz Intrinsisch Intrinsisch oder extrinsisch Thematische Relevanz Gesellschaftliche Relevanz Aboutness
  • 7. DEPARTMENT INFORMATION Christiane Behnert 1. RELEVANZ KENNENLERNEN 1.2. Relevanzformen – Quellen 6 Aufgabe Problem Informationsbedürfnis Suchanfrage Informationsobjekt Aufgabenorientierte Relevanz Situative Relevanz Pertinenz / Kognitive Relevanz Nutzerbasierte Relevanz (subjektiv) Systembasierte Relevanz (objektiv) Psychologische Relevanz IRS Interface Ziel Zielorientierte Relevanz Intrinsisch Intrinsisch oder extrinsisch Thematische Relevanz Gesellschaftliche Relevanz Huang & Soergel, 2013 Königová (1971) Wilson (1973) Saracevic (1996) Harter (1992) Reid (1999) Hjørland & Christensen (2002) Haider & Sundin, 2019 Mizzaro (1997) Borlund (2003) Saracevic (2016) Aboutness Maron (1977) Hjørland (2001) O'Neill et al. (2017)
  • 8. DEPARTMENT INFORMATION Christiane Behnert 1. RELEVANZ KENNENLERNEN 1.3. Relevanzbewertungen in Abhängigkeit von der Relevanzperspektive 7 Relevanzbewertungen System Mensch Formalisierte Relevanzbewertung Relevanzbewertung aus Nutzersicht Alltag (beruflich + privat) Systemseitige Relevanz Nutzerseitige Relevanz vorgenommen durch vorgenommen im Forschungs- kontext Feedback
  • 9. DEPARTMENT INFORMATION Christiane Behnert 1. RELEVANZ KENNENLERNEN 1.4. Einflüsse auf Relevanzbewertungen (1/3) 8 (Schamber, 1994, S. 11)
  • 10. DEPARTMENT INFORMATION Christiane Behnert 1. RELEVANZ KENNENLERNEN 1.4. Einflüsse auf Relevanzbewertungen (2/3) Einteilung nach Saracevic (2016): Juroren: • Erfahrung mit thematisch-relevanten Fragen • Kenntnis über und Interesse an einem Thema • Fachwissen • Sprache Relevanzbewertungen: • Position des Treffers in der Ergebnisliste • Rangfolge der Treffer • Design, Usability • Art der Suchaufgabe/-ergebnisse (Schwierigkeitsgrad, Informationen) • Art der Bewertung (Skala) 9 „Relevance is affected by a host of factors and, in turn, it affects a host of factors as well.“ (Saracevic, 2016, S. 61)
  • 11. DEPARTMENT INFORMATION Christiane Behnert 1. RELEVANZ KENNENLERNEN 1.4. Einflüsse auf Relevanzbewertungen (3/3) 10 Kategorie Relevanzkriterien Interaktion zwischen… Content Topic, quality, depth, scope, currency, treatment, clarity Information (or object) characteristicsObject Characteristics of information objects, e.g., type, organization, representation, format, availability, accessibility, costs Validity Accuracy of information provided, authority, trustworthiness of sources, verifiability, reliability Usefulness or situational match Appropriateness to situation, or tasks, usability, urgency; value in use Individual (or human) characteristics Cognitive match Understanding, novelty, mental effort, Link to previous knowledge Affective match Emotional responses to information, fun, frustration, uncertainty Belief match Personal credence given to information, confidence Quelle: Saracevic (2016, S. 57 ff.)
  • 12. 1. RELEVANZ KENNENLERNEN 2. RELEVANZ (BESSER) VERSTEHEN 3. RELEVANZ MESSEN (?)
  • 13. DEPARTMENT INFORMATION Christiane Behnert 2. RELEVANZ (BESSER) VERSTEHEN 2.1. Studien zu Relevanzkriterien Forschungslücke: Keine Studien zu Relevanzkriterien, in denen die von Probanden zu bewertenden Suchergebnisse Popularitätsdaten enthielten 12 Quelle: Wang,1994, S. 85 Heute: Popularitätsdaten
  • 14. DEPARTMENT INFORMATION Christiane Behnert 2. RELEVANZ (BESSER) VERSTEHEN 2.2. Relevanzbewertung als Prozess • Relevanzbewertung im Prozess der Dokumentenauswahl eingebettet (Wang, 1994) • „Predictive judgment“ (vor Zugang zum Volltext) vs. „evaluative judgment“ (nach Zugang zum Volltext) (Rieh, 2002) • Diverse Faktoren wirken auf den Prozess der Relevanzbewertung ein 13
  • 15. DEPARTMENT INFORMATION Christiane Behnert 14 2.3. Vorläufiges Modell zur Relevanzbewertung von Suchergebnissen in akademischen Informationssystemen Quelle:Behnert,C.(2019).KriterienundEinflussfaktorenbeiderRelevanzbewertungvonSurrogaten inakademischenInformationssystemen.Information-Wissenschaft&Praxis,70(1),S.28.
  • 16. 1. RELEVANZ KENNENLERNEN 2. RELEVANZ (BESSER) VERSTEHEN 3. RELEVANZ MESSEN (?)
  • 17. DEPARTMENT INFORMATION Christiane Behnert 3. RELEVANZ MESSEN (?) • Relevanz ist keine physische Einheit, die wissenschaftlich direkt messbar ist, sie benötigt eine menschliche mentale Aktivität (Buckland, 2017) • Mentale Aktivität in Verbindung mit menschlichem Verhalten • Explorative Designs in Studien zu Relevanzkriterien mittels Thinking aloud-Methode • Einen “Ersatz” für die Messung von Relevanz finden - Elemente (Relevanzmerkmale) innerhalb eines Suchergebnisses = operationalisierte Relevanzkriterien - Manipulierte Elemente könnten einen beobachtbaren Effekt auf Relevanzbewertungen verursachen Untersuchungen von Effekten auf menschliches Verhalten mithilfe von Experimenten 16
  • 18. DEPARTMENT INFORMATION Christiane Behnert 3. RELEVANZ MESSEN (?) 3.1. Experimentelle Forschungsdesigns 17 • Erkenntnisse über tatsächliches Informationssuchverhalten (Kelly, 2009; Kelly & Cresenzi, 2016) • Kausale Schlussfolgerungen (Sedlmeier & Renkewitz, 2007) Stimulus / Ursache Effekt / Wirkung (unabhängige Variable, UV abhängige Variable, AV) • Voraussetzungen für Kausalität (Sedlmeier & Renkewitz, 2007):  Kovarianz zwischen UV und AV  Zeitliche Präzedenz der UV  Ausschluss möglicher Alternativerklärungen (konfundierende Variablen) • Wesensmerkmale eines Experiments:  Manipulation der UV  Kontrolle konfundierender Variablen (Randomisierung, Ausbalancieren)
  • 19. DEPARTMENT INFORMATION Christiane Behnert 3. RELEVANZ MESSEN (?) 3.2. Anwendungsbeispiel (1/2) • Ein experimenteller Ansatz zur Erforschung von Relevanzkriterien am Beispiel von Popularitätsdaten als Bestandteil von Suchergebnissen - 3x3x3 = 27 Experimentelle Bedingungen - Abhängige Variable: Relevanzbewertung mittels Schieberegler (0-100) - Within-Subject-Design 18 Unabhängige Variable Stufe A Stufe B Stufe C Anzahl Downloads (Werk) Gering Hoch Keine Angabe Anzahl Zitationen (Werk) Gering Hoch Keine Angabe Anzahl Zitationen (Autor) Gering Hoch Keine Angabe
  • 20. DEPARTMENT INFORMATION Christiane Behnert 3. RELEVANZ MESSEN (?) 3.2. Anwendungsbeispiel (2/2) - Erhebung mittels Online-Fragebogen (EFS Survey, Unipark) - Erhebungszeitraum: 6. Juni bis 31. Juli 2019 - 3 Aufgaben mit je 9 Suchergebnissen zur Bewertung in randomisierter Reihenfolge - Benötigter Stichprobenumfang n=577 - Erzielter Stichprobenumfang für Datenanalyse n=627 - Verlosung von 444 Amazon-Gutscheinen im Wert von je 10 EUR 19
  • 21. 1. RELEVANZ KENNENLERNEN 2. RELEVANZ (BESSER) VERSTEHEN 3. RELEVANZ MESSEN (?) 4. FAZIT
  • 22. DEPARTMENT INFORMATION Christiane Behnert 4. FAZIT • Komplexität des informationswissenschaftlichen Relevanzkonzepts zeigt sich durch die: - Vielzahl an Begriffen zur Beschreibung von Relevanz - unterschiedlichen Dimensionen (Relevanzbeziehungen) - zwei Sichtweisen auf Relevanz (System vs. Nutzer) - diversen Einflüssen auf den Prozess der Relevanzbewertung - Subjektivität und Dynamik menschlicher Relevanzbewertungen • Relevanz "remains ill-defined and not measurable in any direct way“ (Buckland, 2017, S. 164) • Indirekte Messbarkeit von Relevanz durch Messung von operationalisierbaren Elementen mithilfe sozialwissenschaftlicher Forschungsmethoden 21
  • 23. DEPARTMENT INFORMATION Christiane Behnert QUELLEN (1/3) Behnert, C. (2019). Investigating the effects of popularity data on predictive relevance judgments in academic search systems. In Proceedings of the 2019 Conference on Human Information Interaction and Retrieval - CHIIR ’19 (pp. 437– 440). New York, New York, USA: ACM Press. https://doi.org/10.1145/3295750.3298978 Behnert, C. (2019). Kriterien und Einflussfaktoren bei der Relevanzbewertung von Surrogaten in akademischen Informationssystemen. Information - Wissenschaft & Praxis, 70(1), 24–32. https://doi.org/10.1515/iwp-2019-0002 Borlund, P. (2003). The concept of relevance in IR. Journal of the American Society for Information Science and Technology, 54(10), 913–925. https://doi.org/10.1002/asi.10286 Buckland, M. K. (2017). Information and society. Cambridge, MA ; London, UK: MIT Press. Haider, J., & Sundin, O. (2019). Invisible search and online search engines: The ubiquity of search in everyday life. New York, NY [u.a.]: Routledge. Harter, S. P. (1992). Psychological relevance and information science. Journal of the American Society for Information Science, 43(9), 602–615. https://doi.org/10.1002/(SICI)1097-4571(199210)43:9<602::AID-ASI3>3.0.CO;2-Q Hjørland, B. (2001). Towards a theory of aboutness, subject, topicality, theme, domain, field, content . . . and relevance. Journal of the American Society for Information Science and Technology, 52(9), 774–778. https://doi.org/10.1002/asi.1131 Hjørland, B., & Christensen, F. S. (2002). Work tasks and socio-cognitive relevance: A specific example. Journal of the American Society for Information Science and Technology, 53(11), 960–965. https://doi.org/10.1002/asi.10132 Huang, X., & Soergel, D. (2013). Relevance: An improved framework for explicating the notion. Journal of the American Society for Information Science and Technology, 64(1), 18–35. https://doi.org/10.1002/asi.22811 22
  • 24. DEPARTMENT INFORMATION Christiane Behnert QUELLEN (2/3) Kelly, D., & Cresenzi, A. (2016). From design to analysis: Conducting controlled laboratory experiments with users. In Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval - SIGIR ’16 (pp. 1207–1210). New York, New York, USA: ACM Press. https://doi.org/10.1145/2911451.2914809 Kelly, D. (2009). Methods for evaluating interactive information retrieval systems with users. Foundations and Trends® in Information Retrieval, 3(1—2). https://doi.org/10.1561/1500000012 Königová, M. (1971). Mathematical and statistical methods of noise evaluation in a retrieval system. Information Storage and Retrieval, 6(6), 437–444. https://doi.org/10.1016/0020-0271(71)90009-X Maron, M. E. (1977). On indexing, retrieval and the meaning of about. Journal of the American Society for Information Science, 28(1), 38–43. https://doi.org/10.1002/asi.4630280107 Mizzaro, S. (1997). Relevance: The whole history. Journal of the American Society for Information Science, 48(9), 810– 832. https://doi.org/10.1002/(SICI)1097-4571(199709)48:9<810::AID-ASI6>3.0.CO;2-U O’Neill, E. T., Kammerer, K. A., & Bennett, R. (2017). The aboutness of words. Journal of the Association for Information Science and Technology, 68(1992), 2471–2483. https://doi.org/10.1002/asi.23856 Reid, J. (1999). A new, task-oriented paradigm for information retrieval: Implications for evaluation of information retrieval systems. In T. Aparac, T. Saracevic, P. Ingwersen, & P. Vakkari (Eds.), Digital Libraries: Interdisciplinary concepts, challenges and opportunities. Proceedings of the Third International Conference on the Conceptions of the Library and Information Science, Dubrovnik, Croatia (pp. 97–108). Zagreb: Lokve. Rieh, S. Y. (2002). Judgment of information quality and cognitive authority in the Web. Journal of the American Society for Information Science and Technology, 53(2), 145–161. https://doi.org/10.1002/asi.10017 23
  • 25. DEPARTMENT INFORMATION Christiane Behnert QUELLEN (3/3) Saracevic, T. (1996). Relevance reconsidered. In P. Ingwersen & N. O. Pors (Eds.), Information science: Integration in perspectives. Proceedings of the Second Conference on Conceptions of Library and Information Science (CoLIS 2) (pp. 201–218). Copenhagen: Royal School of Librarianship. Saracevic, T. (2012). Research on relevance in information science: A historical perspective. In T. Carbo & T. Bellardo Hahn (Eds.), Proceedings of the American Society for Information Science and Technology (ASIS&T) 2012 Pre- conference on the History of ASIS&T and Information Science and Technology (pp. 49–60). Information Today. Saracevic, T. (2015). Why is relevance still the basic notion in information science? In F. Pehar, C. Schlögl, & C. Wolff (Eds.), Re:inventing Information Science in the Networked Society. Proceedings of the 14th International Symposium on Information Science (ISI 2015) (pp. 26–35). Glückstadt: Hülsbusch. Saracevic, T. (2016). The Notion of relevance in information science: Everybody knows what relevance is. But, what is it really? (G. Marchionini, Ed.), Synthesis Lectures on Information Concepts, Retrieval, and Services (Vol. 8). Morgan & Claypool. https://doi.org/10.2200/S00723ED1V01Y201607ICR050 Schamber, L. (1994). Relevance and information behavior. Annual Review of Information Science and Technology (ARIST), 29, 3–48. Sedlmeier, P., & Renkewitz, F. (2018). Forschungsmethoden und Statistik für Psychologen und Sozialwissenschafter (3. Aufl.). Hallbergmoos: Pearson Deutschland. Wang, P. (1994). A cognitive model of document selection of real users of information retrieval systems. Dissertation, University of Maryland; College of Library and Information Science. Wilson, P. (1973). Situational relevance. Information Storage and Retrieval, 9(8), 457–471. https://doi.org/10.1016/0020- 0271(73)90096-X 24
  • 26. Christiane Behnert, M.A. christiane.behnert@haw-hamburg.de HOCHSCHULE FÜR ANGEWANDTE WISSENSCHAFTEN HAMBURG Fakultät Design, Medien & Information Department Information Forschungsgruppe Search Studies Finkenau 35 / 22081 Hamburg haw-hamburg.de http://searchstudies.org/christiane-behnert/ Vortragsfolien bei slideshare: https://www.slideshare.net/ChristianeBehnert/presentations