SlideShare ist ein Scribd-Unternehmen logo
1 von 17
Downloaden Sie, um offline zu lesen
ENTWICKLUNG EINES NUTZERMODELLS
ZUR RELEVANZBEWERTUNG VON
SURROGATEN IM AKADEMISCHEN
KONTEXT
Vortrag im Rahmen des Search Lab-Austauschs
Christiane Behnert
12. Januar 2018
DEPARTMENT INFORMATION
Christiane Behnert
GLIEDERUNG
1. Projekt Relevance Clues
2. „Relevanzmodelle“
2.1. Wangs kognitives Modell zur Dokumentenauswahl
2.2. Riehs Modell der Bewertung der Informationsqualität und kognitiven Autorität
3. Entwurf eines Nutzermodells zur Relevanzbewertung von Surrogaten
4. Konzeptidee zur experimentellen Überprüfung des Modells
4.1. Variablen
4.2. Design
5. Quellen
1
DEPARTMENT INFORMATION
Christiane Behnert
1. PROJEKT „RELEVANCE CLUES“ 1/2
Forschungsfragen (Stand Exposé):
I. Auf Grundlage welcher Merkmale des Surrogats bewerten informationssuchende
Personen die Relevanz eines Suchergebnisses?
II. Welche Merkmale beeinflussen die Relevanzentscheidung in welchem Maße?
III. Welchen Einfluss hat die Nutzungssituation (Standort der Person, Zeitdruck) auf die
Relevanzbewertung?
IV. Welche Relevanzkriterien lassen sich nach Beantwortung der Forschungsfragen I bis
III ableiten und wie sind diese gegeneinander gewichtet?
2
DEPARTMENT INFORMATION
Christiane Behnert
1. PROJEKT „RELEVANCE CLUES“ 2/2
Methodik:
Literaturschau
Entwurf eines Nutzermodells
Online-Experimente
Statistische Datenauswertung
Überarbeitung des Nutzermodells
3
DEPARTMENT INFORMATION
Christiane Behnert
2. „RELEVANZMODELLE“
5 Kategorien von Modellen im Relevanzkontext:
a) Modelle, die den Prozess der Bewertung von Dokumenten darstellen (siehe z.B. Cole,
Beheshti, & Abuhimed, 2017; Cook, 1971);
b) Modelle, die Einflussfaktoren, Kriterien, Merkmale visualisieren (z.B. Park, 1993;
Watson, 2014; Y. (Calvin) Xu & Chen, 2006);
c) Modelle, die sowohl den Bewertungsprozess darstellen als auch Relevanzeinflüsse
berücksichtigen, d.h. eine Kombination aus Modellkategorie (a) und (b) sind (z.B.
Greisdorf, 2003; Rieh, 2002; Wang, 1994; Wathen & Burkell, 2002);
d) Modelle, die Eigenschaften von Relevanz, z.B. Multidimensionalität, beschreiben (z.B.
Li, Zhang, Song, & Wu, 2017; Mizzaro, 1997; Saracevic, 1997);
e) Modelle, die einzelne Parameter des Relevanzrankings formalisieren (siehe z.B.
Plassmeier, 2016).
4
DEPARTMENT INFORMATION
Christiane Behnert
2. „RELEVANZMODELLE“
2.1. Wangs kognitives Modell zur Dokumentenauswahl 1/2
Explorative Studie:
Think-aloud, Interviews
(n=25)
5
Quelle: Wang & Soergel, 1998, S. 118
Document selection
model for academic
users in Agricultural
Economics (Wang, 1994)
DEPARTMENT INFORMATION
Christiane Behnert
2. „RELEVANZMODELLE“
2.1. Wangs kognitives Modell zur Dokumentenauswahl 2/2
Consumer Choice Theory
Gleichsetzung Konsumgut mit Informationsgut (Informationsobjekt)
“[…] human rationality is very limited […] In real life, individual decision problems are very
specific matters rather than comprehensive choices. The individual is unlikely to work out
the detailed scenarios, conditions for alternatives, probability distributions. On the contrary,
the individual is more likely to focus on some aspects and on some values while neglecting
the others.” (Wang, 1994, S. 32)
6
DEPARTMENT INFORMATION
Christiane Behnert
2. „RELEVANZMODELLE“
2.2. Riehs Modell der Bewertung der Informationsqualität und kognitiven Autorität 1/2
Explorative Studie:
Think-aloud, Logs,
Interviews
(n=16)
7
Quelle: Rieh, 2002, S. 158.
Model of judgment of
information quality and
cognitive authority
Research | Travel
Medicine | Computer
DEPARTMENT INFORMATION
Christiane Behnert
2. „RELEVANZMODELLE“
2.2. Riehs Modell der Bewertung der Informationsqualität und kognitiven Autorität 2/2
Heterogenität der Aufgaben(typen):
(1) For the research project in which you are currently engaged, you would like to find
some good papers which are new to you, which you think will be useful (research task).
(2) You are planning for the next conference that you are going to attend, and would like to
find useful information about hotels, restaurants, and features of interest in that city (travel
task).
(3) A friend of yours has just been diagnosed as having schistosomiasis, and you want to
find credible information about the disease itself, and the best methods of treatment
(medicine task).
(4) You’ve decided that you want to buy a new computer to use at home, and now you
need to find the best price for it (computer task).
(Rieh, 2002, S. 149; Unterstreichungen im Original nicht vorhanden)
8
DEPARTMENT INFORMATION
Christiane Behnert
3. ENTWURF EINES NUTZERMODELLS ZUR
RELEVANZBEWERTUNG VON SURROGATEN 1/4
Das Ziel der Arbeit ist die Entwicklung eines Modells, welches
(1) auf den Komponenten der vorhandenen Modelle des Interactive Information Retrieval
basiert,
(2) das Bewerten von Suchergebnissen als expliziten Bestandteil des interaktiven
Informationssuchprozesses aufnimmt,
(3) die den Relevanzentscheidungen zugrunde liegenden Kriterien integriert und
(4) den Kontext der informationssuchenden Person miteinbezieht. (Stand Exposé)
Ein wichtiger Aspekt dabei ist die Gewichtung der Kriterien: Das Modell soll aufzeigen,
welche Parameter neben der thematischen Relevanz stärker oder schwächer durch die
suchende Person berücksichtigt werden.
9
DEPARTMENT INFORMATION
Christiane Behnert
3. ENTWURF EINES NUTZERMODELLS ZUR
RELEVANZBEWERTUNG VON SURROGATEN 2/4
Grundannahmen:
• Relevanz: „Something (A) is relevant to a task (T) if it increases the likelihood of
accomplishing the goal (G), which is implied by T“ (Hjørland & Christensen; 2002, S. 964)
 Task relevance / situational relevance
• Relevanzbewertung als Teil der Dokumentenauswahl (Wang, 1994)
• 2 Arten von Relevanzbewertungen: predictive und evaluative (Rieh, 2002)
• Diverse Kriterien und Faktoren beeinflussen Relevanzbewertungen
 Thematische Relevanz (topicality) als Basis
10
DEPARTMENT INFORMATION
Christiane Behnert
3. ENTWURF EINES NUTZERMODELLS ZUR
RELEVANZBEWERTUNG VON SURROGATEN 3/4
11
DEPARTMENT INFORMATION
Christiane Behnert
3. ENTWURF EINES NUTZERMODELLS ZUR
RELEVANZBEWERTUNG VON SURROGATEN 4/4
Forschungsfragen, neu gedacht:
I. Auf Grundlage welcher Merkmale des Surrogats bewerten informationssuchende
Personen die Relevanz eines Suchergebnisses?
II. Welche Merkmale beeinflussen die Relevanzentscheidung in welchem Maße?
III. Welchen Einfluss hat die Nutzungssituation (Standort der Person, Zeitdruck) auf die
Relevanzbewertung?
IV. Welche Relevanzkriterien lassen sich nach Beantwortung der Forschungsfragen I bis
III ableiten und wie sind diese gegeneinander gewichtet?
I. Welche dynamischen Merkmale des Surrogats beeinflussen, wie
informationssuchende Personen die Relevanz eines Suchergebnisses bewerten?
II. Welche dieser Merkmale beeinflussen die Relevanzentscheidung in welchem Maße?
III. Wie sind die sich aus den dynamischen Merkmalen ableitenden Kriterien
gegeneinander gewichtet?
12
DEPARTMENT INFORMATION
Christiane Behnert
4. KONZEPTIDEE ZUR EXPERIMENTELLEN ÜBERPRÜFUNG
DES MODELLS
4.1. Variablen
Abhängige Variable (AV):
Voraussagende Relevanzbewertung (predictive judgement) des Surrogates als Ergebnis zu
einer Suchaufgabe (Wert von 0 bis 100 Punkten)
Unabhängige Variablen (UV):
13
Nr. UV
Ausprägung
A
Ausprägung
B
Ausprägung
C
1 Anzahl Zitationen (Werk) Geringe Anzahl Hohe Anzahl Keine Angabe
2 Anzahl Zitationen (Autor) Geringe Anzahl Hohe Anzahl Keine Angabe
3 H-Index Geringe Zahl Hohe Zahl Keine Angabe
4
Anzahl
Downloads/Ausleihen
Geringe Anzahl Hohe Anzahl Keine Angabe
DEPARTMENT INFORMATION
Christiane Behnert
4. KONZEPTIDEE ZUR EXPERIMENTELLEN ÜBERPRÜFUNG
DES MODELLS
4.2. Design
• Mehrfaktorielles Within subjects-Design
- Vergleich innerhalb der Stichprobe
- Eine Versuchsperson wird nacheinander in randomisierter Reihenfolge allen
Bedingungen ausgesetzt
 4 UV mit je 3 Ausprägungen
 3x3x3x3 = 81 experimentelle Bedingungen
• Auswahl der Bedingungen für 1 VP: Lateinisches Quadrat
14
DEPARTMENT INFORMATION
Christiane Behnert
5. QUELLEN
Cole, C., Beheshti, J., & Abuhimed, D. (2017). A relevance model for middle school students seeking information for an inquiry-
based class history project. Information Processing & Management, 53(2), 530–546.
Cook, K. H. (1971). A predictive model of human relevance decisions. Syracuse University; Department of Mass Communications.
Greisdorf, H. (2003). Relevance thresholds: A multi-stage predictive model of how users evaluate information. Information
Processing & Management, 39(3), 403–423.
Hjørland, B., & Christensen, F. S. (2002). Work tasks and socio-cognitive relevance: A specific example. Journal of the American
Society for Information Science and Technology, 53(11), 960–965.
Li, J., Zhang, P., Song, D., & Wu, Y. (2017). Understanding an enriched multidimensional user relevance model by analyzing query
logs. Journal of the Association for Information Science and Technology, 68(12), 2743–2754.
Mizzaro, S. (1997). Relevance: The whole history. Journal of the American Society for Information Science, 48(9), 810–832.
Park, T. K. (1993). The nature of relevance in Information Retrieval: An empirical study. The Library Quarterly, 63(3), 318–351.
Plassmeier, K. (2016). Relevance model. Working paper. Abgerufen von http://www.librank.info/wp-
content/uploads/2016/10/AP3_Relevanzmodell.pdf
Rieh, S. Y. (2002). Judgment of information quality and cognitive authority in the Web. Journal of the American Society for
Information Science and Technology, 53(2), 145–161.
Saracevic, T. (1997). The stratified model of information retrieval interaction: Extension and applications. In Proceedings of the
American Society for Information Science and Technology (Bd. 34, S. 313–327).
Wang, P. (1994). A cognitive model of document selection of real users of information retrieval systems. University of Maryland;
College of Library and Information Science.
Wang, P., & Soergel, D. (1998). A cognitive model of document use during a research project. Study I. Document selection. Journal
of the American Society for Information Science, 49(2), 115–133.
Wathen, C. N., & Burkell, J. (2002). Believe it or not: Factors influencing credibility on the Web. Journal of the American Society for
Information Science and Technology, 53(2), 134–144.
Watson, C. (2014). An exploratory study of secondary students’ judgments of the relevance and reliability of information. Journal of
the Association for Information Science and Technology, 65(7), 1385–1408.
Xu, Y. (Calvin), & Chen, Z. (2006). Relevance judgment: What do information users consider beyond topicality? Journal of the
American Society for Information Science and Technology, 57(7), 961–973.
15
VIELEN DANK FÜR EURE AUFMERKSAMKEIT!

Weitere ähnliche Inhalte

Ähnlich wie Entwicklung eines Nutzermodells zur Relevanzbewertung von Surrogaten im akademischen Kontext

Flexmedia WB 2
Flexmedia WB 2Flexmedia WB 2
Flexmedia WB 2
FLEXMEDIA
 

Ähnlich wie Entwicklung eines Nutzermodells zur Relevanzbewertung von Surrogaten im akademischen Kontext (20)

»Big data – small problems?« - Ethische Perspektiven auf Forschung unter Zuhi...
»Big data – small problems?« - Ethische Perspektiven auf Forschung unter Zuhi...»Big data – small problems?« - Ethische Perspektiven auf Forschung unter Zuhi...
»Big data – small problems?« - Ethische Perspektiven auf Forschung unter Zuhi...
 
DE - Module 3 - Improving your business model using external data
DE - Module 3 - Improving your business model using external dataDE - Module 3 - Improving your business model using external data
DE - Module 3 - Improving your business model using external data
 
Learning Analytics - Die gläsernen Lerner
Learning Analytics - Die gläsernen LernerLearning Analytics - Die gläsernen Lerner
Learning Analytics - Die gläsernen Lerner
 
Forschungspraxis aus ethischer Perspektive
Forschungspraxis aus ethischer PerspektiveForschungspraxis aus ethischer Perspektive
Forschungspraxis aus ethischer Perspektive
 
Evaluierung von Empfehlungssystemen
Evaluierung von EmpfehlungssystemenEvaluierung von Empfehlungssystemen
Evaluierung von Empfehlungssystemen
 
ELISA Ethnographiestudie
ELISA EthnographiestudieELISA Ethnographiestudie
ELISA Ethnographiestudie
 
Dehnhard, I., Weiland, P. (2011, März). Toolbasierte Datendokumentation in de...
Dehnhard, I., Weiland, P. (2011, März). Toolbasierte Datendokumentation in de...Dehnhard, I., Weiland, P. (2011, März). Toolbasierte Datendokumentation in de...
Dehnhard, I., Weiland, P. (2011, März). Toolbasierte Datendokumentation in de...
 
Flexmedia WB 2
Flexmedia WB 2Flexmedia WB 2
Flexmedia WB 2
 
Learning Analytics oder wenn Big Data das Lernverhalten steuert
Learning Analytics oder wenn Big Data das Lernverhalten steuertLearning Analytics oder wenn Big Data das Lernverhalten steuert
Learning Analytics oder wenn Big Data das Lernverhalten steuert
 
Partizipation mit digitalen Medien in der Hochschule - JFMH 14
Partizipation mit digitalen Medien in der Hochschule - JFMH 14Partizipation mit digitalen Medien in der Hochschule - JFMH 14
Partizipation mit digitalen Medien in der Hochschule - JFMH 14
 
Information Broker 2.0 - Recherche im Sozialen Web
Information Broker 2.0 - Recherche im Sozialen WebInformation Broker 2.0 - Recherche im Sozialen Web
Information Broker 2.0 - Recherche im Sozialen Web
 
Social Software in Forschung und Lehre
Social Software in Forschung und LehreSocial Software in Forschung und Lehre
Social Software in Forschung und Lehre
 
Gentechnik und Ethik Biologie Jahrgansstufe 10
Gentechnik und Ethik  Biologie Jahrgansstufe 10Gentechnik und Ethik  Biologie Jahrgansstufe 10
Gentechnik und Ethik Biologie Jahrgansstufe 10
 
Bedeutung von Text Mining am Beispiel der Sozialwissenschaften
Bedeutung von Text Mining am Beispiel der SozialwissenschaftenBedeutung von Text Mining am Beispiel der Sozialwissenschaften
Bedeutung von Text Mining am Beispiel der Sozialwissenschaften
 
Social Media Analytics und individualisierte Kommunikation
Social Media Analytics und individualisierte KommunikationSocial Media Analytics und individualisierte Kommunikation
Social Media Analytics und individualisierte Kommunikation
 
Vo6 2010neu
Vo6 2010neuVo6 2010neu
Vo6 2010neu
 
Neue Räume - neue Regeln? Ethische Herausforderungen des Forschens im Netz
Neue Räume - neue Regeln? Ethische Herausforderungen des Forschens im NetzNeue Räume - neue Regeln? Ethische Herausforderungen des Forschens im Netz
Neue Räume - neue Regeln? Ethische Herausforderungen des Forschens im Netz
 
Informelle Wissensarbeit - Die lernende Organisation im Wandel
Informelle Wissensarbeit - Die lernende Organisation im WandelInformelle Wissensarbeit - Die lernende Organisation im Wandel
Informelle Wissensarbeit - Die lernende Organisation im Wandel
 
Das macht bei uns die Hilfskraft. Über Potenziale des Web 2.0 für die Sozialw...
Das macht bei uns die Hilfskraft. Über Potenziale des Web 2.0 für die Sozialw...Das macht bei uns die Hilfskraft. Über Potenziale des Web 2.0 für die Sozialw...
Das macht bei uns die Hilfskraft. Über Potenziale des Web 2.0 für die Sozialw...
 
Das IT-Instrumentarium für das kommunale Bildungsmonitoring – Erfahrungen, An...
Das IT-Instrumentarium für das kommunale Bildungsmonitoring – Erfahrungen, An...Das IT-Instrumentarium für das kommunale Bildungsmonitoring – Erfahrungen, An...
Das IT-Instrumentarium für das kommunale Bildungsmonitoring – Erfahrungen, An...
 

Entwicklung eines Nutzermodells zur Relevanzbewertung von Surrogaten im akademischen Kontext

  • 1. ENTWICKLUNG EINES NUTZERMODELLS ZUR RELEVANZBEWERTUNG VON SURROGATEN IM AKADEMISCHEN KONTEXT Vortrag im Rahmen des Search Lab-Austauschs Christiane Behnert 12. Januar 2018
  • 2. DEPARTMENT INFORMATION Christiane Behnert GLIEDERUNG 1. Projekt Relevance Clues 2. „Relevanzmodelle“ 2.1. Wangs kognitives Modell zur Dokumentenauswahl 2.2. Riehs Modell der Bewertung der Informationsqualität und kognitiven Autorität 3. Entwurf eines Nutzermodells zur Relevanzbewertung von Surrogaten 4. Konzeptidee zur experimentellen Überprüfung des Modells 4.1. Variablen 4.2. Design 5. Quellen 1
  • 3. DEPARTMENT INFORMATION Christiane Behnert 1. PROJEKT „RELEVANCE CLUES“ 1/2 Forschungsfragen (Stand Exposé): I. Auf Grundlage welcher Merkmale des Surrogats bewerten informationssuchende Personen die Relevanz eines Suchergebnisses? II. Welche Merkmale beeinflussen die Relevanzentscheidung in welchem Maße? III. Welchen Einfluss hat die Nutzungssituation (Standort der Person, Zeitdruck) auf die Relevanzbewertung? IV. Welche Relevanzkriterien lassen sich nach Beantwortung der Forschungsfragen I bis III ableiten und wie sind diese gegeneinander gewichtet? 2
  • 4. DEPARTMENT INFORMATION Christiane Behnert 1. PROJEKT „RELEVANCE CLUES“ 2/2 Methodik: Literaturschau Entwurf eines Nutzermodells Online-Experimente Statistische Datenauswertung Überarbeitung des Nutzermodells 3
  • 5. DEPARTMENT INFORMATION Christiane Behnert 2. „RELEVANZMODELLE“ 5 Kategorien von Modellen im Relevanzkontext: a) Modelle, die den Prozess der Bewertung von Dokumenten darstellen (siehe z.B. Cole, Beheshti, & Abuhimed, 2017; Cook, 1971); b) Modelle, die Einflussfaktoren, Kriterien, Merkmale visualisieren (z.B. Park, 1993; Watson, 2014; Y. (Calvin) Xu & Chen, 2006); c) Modelle, die sowohl den Bewertungsprozess darstellen als auch Relevanzeinflüsse berücksichtigen, d.h. eine Kombination aus Modellkategorie (a) und (b) sind (z.B. Greisdorf, 2003; Rieh, 2002; Wang, 1994; Wathen & Burkell, 2002); d) Modelle, die Eigenschaften von Relevanz, z.B. Multidimensionalität, beschreiben (z.B. Li, Zhang, Song, & Wu, 2017; Mizzaro, 1997; Saracevic, 1997); e) Modelle, die einzelne Parameter des Relevanzrankings formalisieren (siehe z.B. Plassmeier, 2016). 4
  • 6. DEPARTMENT INFORMATION Christiane Behnert 2. „RELEVANZMODELLE“ 2.1. Wangs kognitives Modell zur Dokumentenauswahl 1/2 Explorative Studie: Think-aloud, Interviews (n=25) 5 Quelle: Wang & Soergel, 1998, S. 118 Document selection model for academic users in Agricultural Economics (Wang, 1994)
  • 7. DEPARTMENT INFORMATION Christiane Behnert 2. „RELEVANZMODELLE“ 2.1. Wangs kognitives Modell zur Dokumentenauswahl 2/2 Consumer Choice Theory Gleichsetzung Konsumgut mit Informationsgut (Informationsobjekt) “[…] human rationality is very limited […] In real life, individual decision problems are very specific matters rather than comprehensive choices. The individual is unlikely to work out the detailed scenarios, conditions for alternatives, probability distributions. On the contrary, the individual is more likely to focus on some aspects and on some values while neglecting the others.” (Wang, 1994, S. 32) 6
  • 8. DEPARTMENT INFORMATION Christiane Behnert 2. „RELEVANZMODELLE“ 2.2. Riehs Modell der Bewertung der Informationsqualität und kognitiven Autorität 1/2 Explorative Studie: Think-aloud, Logs, Interviews (n=16) 7 Quelle: Rieh, 2002, S. 158. Model of judgment of information quality and cognitive authority Research | Travel Medicine | Computer
  • 9. DEPARTMENT INFORMATION Christiane Behnert 2. „RELEVANZMODELLE“ 2.2. Riehs Modell der Bewertung der Informationsqualität und kognitiven Autorität 2/2 Heterogenität der Aufgaben(typen): (1) For the research project in which you are currently engaged, you would like to find some good papers which are new to you, which you think will be useful (research task). (2) You are planning for the next conference that you are going to attend, and would like to find useful information about hotels, restaurants, and features of interest in that city (travel task). (3) A friend of yours has just been diagnosed as having schistosomiasis, and you want to find credible information about the disease itself, and the best methods of treatment (medicine task). (4) You’ve decided that you want to buy a new computer to use at home, and now you need to find the best price for it (computer task). (Rieh, 2002, S. 149; Unterstreichungen im Original nicht vorhanden) 8
  • 10. DEPARTMENT INFORMATION Christiane Behnert 3. ENTWURF EINES NUTZERMODELLS ZUR RELEVANZBEWERTUNG VON SURROGATEN 1/4 Das Ziel der Arbeit ist die Entwicklung eines Modells, welches (1) auf den Komponenten der vorhandenen Modelle des Interactive Information Retrieval basiert, (2) das Bewerten von Suchergebnissen als expliziten Bestandteil des interaktiven Informationssuchprozesses aufnimmt, (3) die den Relevanzentscheidungen zugrunde liegenden Kriterien integriert und (4) den Kontext der informationssuchenden Person miteinbezieht. (Stand Exposé) Ein wichtiger Aspekt dabei ist die Gewichtung der Kriterien: Das Modell soll aufzeigen, welche Parameter neben der thematischen Relevanz stärker oder schwächer durch die suchende Person berücksichtigt werden. 9
  • 11. DEPARTMENT INFORMATION Christiane Behnert 3. ENTWURF EINES NUTZERMODELLS ZUR RELEVANZBEWERTUNG VON SURROGATEN 2/4 Grundannahmen: • Relevanz: „Something (A) is relevant to a task (T) if it increases the likelihood of accomplishing the goal (G), which is implied by T“ (Hjørland & Christensen; 2002, S. 964)  Task relevance / situational relevance • Relevanzbewertung als Teil der Dokumentenauswahl (Wang, 1994) • 2 Arten von Relevanzbewertungen: predictive und evaluative (Rieh, 2002) • Diverse Kriterien und Faktoren beeinflussen Relevanzbewertungen  Thematische Relevanz (topicality) als Basis 10
  • 12. DEPARTMENT INFORMATION Christiane Behnert 3. ENTWURF EINES NUTZERMODELLS ZUR RELEVANZBEWERTUNG VON SURROGATEN 3/4 11
  • 13. DEPARTMENT INFORMATION Christiane Behnert 3. ENTWURF EINES NUTZERMODELLS ZUR RELEVANZBEWERTUNG VON SURROGATEN 4/4 Forschungsfragen, neu gedacht: I. Auf Grundlage welcher Merkmale des Surrogats bewerten informationssuchende Personen die Relevanz eines Suchergebnisses? II. Welche Merkmale beeinflussen die Relevanzentscheidung in welchem Maße? III. Welchen Einfluss hat die Nutzungssituation (Standort der Person, Zeitdruck) auf die Relevanzbewertung? IV. Welche Relevanzkriterien lassen sich nach Beantwortung der Forschungsfragen I bis III ableiten und wie sind diese gegeneinander gewichtet? I. Welche dynamischen Merkmale des Surrogats beeinflussen, wie informationssuchende Personen die Relevanz eines Suchergebnisses bewerten? II. Welche dieser Merkmale beeinflussen die Relevanzentscheidung in welchem Maße? III. Wie sind die sich aus den dynamischen Merkmalen ableitenden Kriterien gegeneinander gewichtet? 12
  • 14. DEPARTMENT INFORMATION Christiane Behnert 4. KONZEPTIDEE ZUR EXPERIMENTELLEN ÜBERPRÜFUNG DES MODELLS 4.1. Variablen Abhängige Variable (AV): Voraussagende Relevanzbewertung (predictive judgement) des Surrogates als Ergebnis zu einer Suchaufgabe (Wert von 0 bis 100 Punkten) Unabhängige Variablen (UV): 13 Nr. UV Ausprägung A Ausprägung B Ausprägung C 1 Anzahl Zitationen (Werk) Geringe Anzahl Hohe Anzahl Keine Angabe 2 Anzahl Zitationen (Autor) Geringe Anzahl Hohe Anzahl Keine Angabe 3 H-Index Geringe Zahl Hohe Zahl Keine Angabe 4 Anzahl Downloads/Ausleihen Geringe Anzahl Hohe Anzahl Keine Angabe
  • 15. DEPARTMENT INFORMATION Christiane Behnert 4. KONZEPTIDEE ZUR EXPERIMENTELLEN ÜBERPRÜFUNG DES MODELLS 4.2. Design • Mehrfaktorielles Within subjects-Design - Vergleich innerhalb der Stichprobe - Eine Versuchsperson wird nacheinander in randomisierter Reihenfolge allen Bedingungen ausgesetzt  4 UV mit je 3 Ausprägungen  3x3x3x3 = 81 experimentelle Bedingungen • Auswahl der Bedingungen für 1 VP: Lateinisches Quadrat 14
  • 16. DEPARTMENT INFORMATION Christiane Behnert 5. QUELLEN Cole, C., Beheshti, J., & Abuhimed, D. (2017). A relevance model for middle school students seeking information for an inquiry- based class history project. Information Processing & Management, 53(2), 530–546. Cook, K. H. (1971). A predictive model of human relevance decisions. Syracuse University; Department of Mass Communications. Greisdorf, H. (2003). Relevance thresholds: A multi-stage predictive model of how users evaluate information. Information Processing & Management, 39(3), 403–423. Hjørland, B., & Christensen, F. S. (2002). Work tasks and socio-cognitive relevance: A specific example. Journal of the American Society for Information Science and Technology, 53(11), 960–965. Li, J., Zhang, P., Song, D., & Wu, Y. (2017). Understanding an enriched multidimensional user relevance model by analyzing query logs. Journal of the Association for Information Science and Technology, 68(12), 2743–2754. Mizzaro, S. (1997). Relevance: The whole history. Journal of the American Society for Information Science, 48(9), 810–832. Park, T. K. (1993). The nature of relevance in Information Retrieval: An empirical study. The Library Quarterly, 63(3), 318–351. Plassmeier, K. (2016). Relevance model. Working paper. Abgerufen von http://www.librank.info/wp- content/uploads/2016/10/AP3_Relevanzmodell.pdf Rieh, S. Y. (2002). Judgment of information quality and cognitive authority in the Web. Journal of the American Society for Information Science and Technology, 53(2), 145–161. Saracevic, T. (1997). The stratified model of information retrieval interaction: Extension and applications. In Proceedings of the American Society for Information Science and Technology (Bd. 34, S. 313–327). Wang, P. (1994). A cognitive model of document selection of real users of information retrieval systems. University of Maryland; College of Library and Information Science. Wang, P., & Soergel, D. (1998). A cognitive model of document use during a research project. Study I. Document selection. Journal of the American Society for Information Science, 49(2), 115–133. Wathen, C. N., & Burkell, J. (2002). Believe it or not: Factors influencing credibility on the Web. Journal of the American Society for Information Science and Technology, 53(2), 134–144. Watson, C. (2014). An exploratory study of secondary students’ judgments of the relevance and reliability of information. Journal of the Association for Information Science and Technology, 65(7), 1385–1408. Xu, Y. (Calvin), & Chen, Z. (2006). Relevance judgment: What do information users consider beyond topicality? Journal of the American Society for Information Science and Technology, 57(7), 961–973. 15
  • 17. VIELEN DANK FÜR EURE AUFMERKSAMKEIT!