SlideShare ist ein Scribd-Unternehmen logo
UNTERSUCHUNG DES EINFLUSSES VON
POPULARITÄTSDATEN AUF DIE
RELEVANZBEWERTUNG IN AKADEMISCHEN
INFORMATIONSSYSTEMEN
Christiane Behnert, M.A.
Hochschule für Angewandte Wissenschaften Hamburg
PhD Student Workshop IWiSt – DIPF
17. Oktober 2018 in Hildesheim
DEPARTMENT INFORMATION
Christiane Behnert
GLIEDERUNG
1. Hintergrund
2. Forschungsziel und Methodik
3. Zwischenergebnis
3.1. Nutzermodell
3.2. Forschungsfragen
4. Experimentelles Design
5. Datenerhebung
6. Nächste Schritte
7. Quellen
1
DEPARTMENT INFORMATION
Christiane Behnert
1. HINTERGRUND
2
Abb.1: Screenshot eines Suchergebnisses in Google Scholar (oben) und in der
ACM Digital Library (unten).
DEPARTMENT INFORMATION
Christiane Behnert
2. FORSCHUNGSZIEL UND METHODIK
Ziel meiner Forschung ist es, die Kriterien zu identifizieren, nach denen Nutzer von
akademischen Suchsystemen die Relevanz eines Suchergebnisses beurteilen.
Literaturschau
Vorläufiges Nutzermodell
Online-Experiment
Datenanalyse
Anpassung des Nutzermodells
3
DEPARTMENT INFORMATION
Christiane Behnert
3. ZWISCHENERGEBNIS
3.1. Ein vorläufiges Nutzermodell der Relevanzbewertung von Suchergebnissen in
wissenschaftlichen Informationssystemen
Basiert auf Ergebnissen der Literaturschau über Studien zu Relevanz & Relevanzkriterien
[z.B. 4,6,9] sowie Modellen zur
- Auswahl von Dokumenten von Wang und Soergel [8] und der
- Bewertung der Glaubwürdigkeit bei der Websuche von Rieh [5]
→ Fehlende Definitionen / keine klare Abgrenzung von Merkmal – Kriterium – Faktor
4
DEPARTMENT INFORMATION
Christiane Behnert
5
DEPARTMENT INFORMATION
Christiane Behnert
3. ZWISCHENERGEBNIS
3.2. Konkretisierte Forschungsfragen
F1 Welche dynamischen, nutzerunabhängigen Merkmale des Surrogats beeinflussen,
wie informationssuchende Personen die Relevanz eines Suchergebnisses bewerten?
F2 Welche dieser Merkmale beeinflussen die Relevanzentscheidung in welchem Maße?
F3 Wie sind die sich aus diesen Merkmalen ableitenden Kriterien gegeneinander
gewichtet?
Nutzerstudie zur Untersuchung des Effekts von Popularitätsdaten auf die
Relevanzbewertung von Suchergebnissen
6
DEPARTMENT INFORMATION
Christiane Behnert
4. EXPERIMENTELLES DESIGN 1/2
Warum ein Experiment?
Erkenntnisse über tatsächliches Verhalten [2, 3]
Kausale Schlussfolgerungen [7]
Stimulus / Ursache Effekt / Wirkung
(unabhängige Variable, UV abhängige Variable, AV)
Voraussetzungen für Kausalität:
→ Kovarianz zwischen UV und AV
→ Zeitliche Präzedenz der UV
→ Ausschluss möglicher Alternativerklärungen
(konfundierende Variablen)
Wesensmerkmale eines Experiments:
→ Manipulation der UV
→ Kontrolle konfundierender Variablen (Randomisierung, Ausbalancieren)
7
DEPARTMENT INFORMATION
Christiane Behnert
4. EXPERIMENTELLES DESIGN 2/2
Multifaktorielles Within-Subjects-Design
Bei 4 UV mit 3 Ausprägungen ergeben sich 3x3x3x3 = 81 Experimentalbedingungen
Vorteile von Within-Subjects-Designs [7]:
- Geringere Anzahl an Versuchspersonen erforderlich
- Keine Konfundierung durch personengebundene Störvariablen
- Sinnvoll bei subjektiven Urteilen über Merkmale von Stimuli (kontextabhängig)
- Höhere Sensitivität durch Differenzberechnung je Versuchsperson
8
Nr. UV Ausprägung A Ausprägung B Ausprägung C AV
1 Anzahl Zitationen (Werk) Geringe Anzahl Hohe Anzahl Keine Angabe
Relevanz-
bewertung
(0-100)
2 Anzahl Zitationen (Autor) Geringe Anzahl Hohe Anzahl Keine Angabe
3 Autor-Impact Gering Hoch Keine Angabe
4 Anzahl Downloads Geringe Anzahl Hohe Anzahl Keine Angabe
DEPARTMENT INFORMATION
Christiane Behnert
5. DATENERHEBUNG 1/4
Aufbau des Online-Fragebogens
(A) Begrüßung, Erläuterung, Hinweise zum Datenschutz
(B) Teil 1
- Demografische Angaben (Geschlecht, Alter, Muttersprache, Bildungsabschluss,
Aktueller Status, Fachdisziplin, Affiliation)
- Selbsteinschätzung (Sucherfahrung, Suchfähigkeit, Selbstsicherheit, Big5)
(C) Teil 2 - Experiment
- Erläuterung zu den Aufgaben und zur Bewertung
- Neun Aufgaben in randomisierter Reihenfolge
(D) Ende
- Abschließende Anmerkungen
- Aufklärung zum Experiment
- Selbstausschluss
- Abfrage E-Mail-Adresse für Gutschein
- Danksagung 9
DEPARTMENT INFORMATION
Christiane Behnert
5. DATENERHEBUNG 2/4
Suchaufgaben
Beschreibungstexte in Anlehnung an simulated work task situations [1]
Informationswissenschaftliche Themen
- Social Media/Altmetrics, Peer-Review
- Wikipedia, Forschungsdaten/Data sharing, Big data, UX/Usability, Open Access,
Informationsethik, Informationskompetenz
Beispiel: Task „Altmetrics“
10
DEPARTMENT INFORMATION
Christiane Behnert
5. DATENERHEBUNG 3/4
Erstellung der Surrogate
Auswahl anhand von Quellen in Überblicksartikeln
Manipulation der UV-Ausprägungen mittels heuristischem Ansatz:
11
Geringe Ausprägung Hohe Ausprägung
UV von.. bis.. von.. bis..
Downloads 50 80 250 450
Zitationszahl Werk 2 9 21 30
Zitationszahl Autor 350 700 2100 2450
Autor-Impact 1 2 4 5
DEPARTMENT INFORMATION
Christiane Behnert
5. DATENERHEBUNG 4/4
Präsentation der Surrogate
 Template
Surrogat →
12
<Titel> Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed
diam nonumy eirmod eirmod tempor invidunt ut labore et dolore
<Autor> • <Erscheinungsjahr> • <Quelle>
<Abstract> Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed
diam nonumy eirmod tempor invidunt ut labore et dolore magna
aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo
dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus
est. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam
nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam
erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et
ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem
Zitationen (Artikel) Xxxx Zitationen (Autor) Xxxx
Downloads xxxx Autor-Impact xxxx
+ Merkliste „“ Zitieren ≈ Ähnliche Artikel Genesis of altmetrics or article-level metrics for measuring efficacy
of scholarly communications: Current perspectives
Das, A.K.• 2014 • Journal of Scientometric Research
The article-level metrics (ALMs) or altmetrics becomes a new
trendsetter in recent times for measuring the impact of scientific
publications and their social outreach to intended audiences. The
popular social networks such as Facebook, Twitter, and LinkedIn and
social bookmarks such as Mendeley and CiteULike are nowadays
widely used for communicating research to larger transnational
audiences. In 2012, the San Francisco Declaration on Research
Assessment got signed by the scientific and researchers communities …
Zitationen (Artikel) 6 Zitationen (Autor) 2418
Downloads k.A. Autor-Impact
+ Merkliste „“ Zitieren ≈ Ähnliche Artikel
DEPARTMENT INFORMATION
Christiane Behnert
6. NÄCHSTE SCHRITTE
- Entwicklung der weiteren Suchaufgaben und Surrogate
- Projekttest mit automatisch generierten Testdaten in Unipark
- Statistische Methoden-Beratung
- Pretest mit Versuchspersonen der Zielgruppe
- Erhebung, Probandenakquise (n ≈ 400)
https://ww3.unipark.de/www/front.php?module=&controller=login&act=&message=logout_o
k&lang=de
13
DEPARTMENT INFORMATION
Christiane Behnert
7. QUELLEN
[1] Borlund, P., & Ingwersen, P. (1997). The development of a method for the evaluation of interactive
information retrieval systems. Journal of Documentation, 53(3), 225–250.
https://doi.org/10.1108/EUM0000000007198
[2] Kelly, D. (2009). Methods for evaluating interactive information retrieval systems with users.
Foundations and Trends® in Information Retrieval, 3(1—2).
[3] Kelly, D., & Cresenzi, A. (2016). From design to analysis: Conducting controlled laboratory
experiments with users. In Proceedings of the 39th International ACM SIGIR Conference on Research
and Development in Information Retrieval - SIGIR ’16 (1207–1210). New York, New York, USA: ACM
Press.
[4] Mizzaro, S. (1997). Relevance: The whole history. Journal of the American Society for Information
Science, 48(9), 810–832.
[5] Rieh, S. Y. (2002). Judgment of information quality and cognitive authority in the Web. Journal of the
American Society for Information Science and Technology, 53(2), 145–161.
[6] Saracevic, T. (2016). The notion of relevance in Information Science: Everybody knows what
relevance is. But, what is it really? (G. Marchionini, Ed.), Synthesis Lectures on Information Concepts,
Retrieval, and Services; 50. Morgan & Claypool.
[7] Sedlmeier, P., & Renkewitz, F. (2007). Forschungsmethoden und Statistik in der Psychologie.
München ; Boston [u.a.]: Pearson Studium, 123-180.
[8] Wang, P., & Soergel, D. (1998). A cognitive model of document use during a research project. Study
I. Document selection. Journal of the American Society for Information Science, 49(2), 115–133.
[9] Wilson, P. (1983). Second-hand knowledge: An inquiry into cognitive authority. Westport, Conn.;
London, UK: Greenwood Press.
14

Weitere ähnliche Inhalte

Ähnlich wie Untersuchung des Einflusses von Popularitätsdaten auf die Relevanzbewertung in akademischen Informationssystemen

Positions- (und weitere) Effekte bei Relevanzbewertungen
Positions- (und weitere) Effekte bei RelevanzbewertungenPositions- (und weitere) Effekte bei Relevanzbewertungen
Positions- (und weitere) Effekte bei Relevanzbewertungen
Christiane Behnert
 
Ethnographische Studien und Kontextinterviews bei eResult
Ethnographische Studien und Kontextinterviews bei eResultEthnographische Studien und Kontextinterviews bei eResult
Ethnographische Studien und Kontextinterviews bei eResult
eResult_GmbH
 
SICHERUNG VON WISSEN DURCH IMPLEMENTIERUNG EINER SEMANTISCHEN WISSENSMANAGEME...
SICHERUNG VON WISSEN DURCH IMPLEMENTIERUNG EINER SEMANTISCHEN WISSENSMANAGEME...SICHERUNG VON WISSEN DURCH IMPLEMENTIERUNG EINER SEMANTISCHEN WISSENSMANAGEME...
SICHERUNG VON WISSEN DURCH IMPLEMENTIERUNG EINER SEMANTISCHEN WISSENSMANAGEME...
Thorsten Roth
 
Learning Analytics oder wenn Big Data das Lernverhalten steuert
Learning Analytics oder wenn Big Data das Lernverhalten steuertLearning Analytics oder wenn Big Data das Lernverhalten steuert
Learning Analytics oder wenn Big Data das Lernverhalten steuert
Martin Ebner
 
Diplomverteidigung Blicking
Diplomverteidigung BlickingDiplomverteidigung Blicking
Diplomverteidigung Blicking
Communardo Software GmbH
 
Statistiken für Repositories
Statistiken für RepositoriesStatistiken für Repositories
Statistiken für Repositories
uherb
 
Virtuelle Forschungsumgebungen in Digitalen Bibliotheken
Virtuelle Forschungsumgebungen in Digitalen BibliothekenVirtuelle Forschungsumgebungen in Digitalen Bibliotheken
Virtuelle Forschungsumgebungen in Digitalen Bibliotheken
webis-Blog
 
Crowdfunding, Wissenschaft & Open Science
Crowdfunding, Wissenschaft & Open ScienceCrowdfunding, Wissenschaft & Open Science
Crowdfunding, Wissenschaft & Open Scienceuherb
 
Was lernen wir von Learning Analytics?
Was lernen wir von Learning Analytics?Was lernen wir von Learning Analytics?
Was lernen wir von Learning Analytics?
Martin Ebner
 
Sharing, Liking, (Re)tweeting: Konzeption als zweiter Schritt des Two-Step-Flow?
Sharing, Liking, (Re)tweeting: Konzeption als zweiter Schritt des Two-Step-Flow?Sharing, Liking, (Re)tweeting: Konzeption als zweiter Schritt des Two-Step-Flow?
Sharing, Liking, (Re)tweeting: Konzeption als zweiter Schritt des Two-Step-Flow?
Axel Maireder
 
Akzeptanz von Sprachanalyse im Bewerbungsprozess - Vortrag AOWI-Tagung 2023.pdf
Akzeptanz von Sprachanalyse im Bewerbungsprozess -  Vortrag AOWI-Tagung 2023.pdfAkzeptanz von Sprachanalyse im Bewerbungsprozess -  Vortrag AOWI-Tagung 2023.pdf
Akzeptanz von Sprachanalyse im Bewerbungsprozess - Vortrag AOWI-Tagung 2023.pdf
Christian Bosau
 
Workforce Design Projekt 3T
Workforce Design Projekt 3TWorkforce Design Projekt 3T
Workforce Design Projekt 3T
Markus Frosch
 
ELISA Ethnographiestudie
ELISA EthnographiestudieELISA Ethnographiestudie
ELISA Ethnographiestudie
Marc Uwe Simon
 
USECON Experience Webinar: Mobile Ethnographie & User Research
USECON Experience Webinar: Mobile Ethnographie & User ResearchUSECON Experience Webinar: Mobile Ethnographie & User Research
USECON Experience Webinar: Mobile Ethnographie & User Research
USECON
 
Bozen Summerschool Digital Libraries
Bozen Summerschool Digital LibrariesBozen Summerschool Digital Libraries
Bozen Summerschool Digital Libraries
René Schneider
 
DE - Module 3 - Improving your business model using external data
DE - Module 3 - Improving your business model using external dataDE - Module 3 - Improving your business model using external data
DE - Module 3 - Improving your business model using external data
caniceconsulting
 
Internetöffentliche Netzwerkwissenschaft & Vertrauen09
Internetöffentliche Netzwerkwissenschaft & Vertrauen09Internetöffentliche Netzwerkwissenschaft & Vertrauen09
Internetöffentliche Netzwerkwissenschaft & Vertrauen09
Tina Guenther
 
Personalvorauswahl und –beurteilung durch eAssessment9.09.10_v1_jd
Personalvorauswahl und –beurteilung durch eAssessment9.09.10_v1_jdPersonalvorauswahl und –beurteilung durch eAssessment9.09.10_v1_jd
Personalvorauswahl und –beurteilung durch eAssessment9.09.10_v1_jdJoachim Diercks
 
Was lernen wir von Learning Analytics?
Was lernen wir von Learning Analytics?Was lernen wir von Learning Analytics?
Was lernen wir von Learning Analytics?
Martin Ebner
 
NRWConf 2013 - Effort Estimation in Agile Projects
NRWConf 2013 - Effort Estimation in Agile ProjectsNRWConf 2013 - Effort Estimation in Agile Projects
NRWConf 2013 - Effort Estimation in Agile Projects
Rainer Stropek
 

Ähnlich wie Untersuchung des Einflusses von Popularitätsdaten auf die Relevanzbewertung in akademischen Informationssystemen (20)

Positions- (und weitere) Effekte bei Relevanzbewertungen
Positions- (und weitere) Effekte bei RelevanzbewertungenPositions- (und weitere) Effekte bei Relevanzbewertungen
Positions- (und weitere) Effekte bei Relevanzbewertungen
 
Ethnographische Studien und Kontextinterviews bei eResult
Ethnographische Studien und Kontextinterviews bei eResultEthnographische Studien und Kontextinterviews bei eResult
Ethnographische Studien und Kontextinterviews bei eResult
 
SICHERUNG VON WISSEN DURCH IMPLEMENTIERUNG EINER SEMANTISCHEN WISSENSMANAGEME...
SICHERUNG VON WISSEN DURCH IMPLEMENTIERUNG EINER SEMANTISCHEN WISSENSMANAGEME...SICHERUNG VON WISSEN DURCH IMPLEMENTIERUNG EINER SEMANTISCHEN WISSENSMANAGEME...
SICHERUNG VON WISSEN DURCH IMPLEMENTIERUNG EINER SEMANTISCHEN WISSENSMANAGEME...
 
Learning Analytics oder wenn Big Data das Lernverhalten steuert
Learning Analytics oder wenn Big Data das Lernverhalten steuertLearning Analytics oder wenn Big Data das Lernverhalten steuert
Learning Analytics oder wenn Big Data das Lernverhalten steuert
 
Diplomverteidigung Blicking
Diplomverteidigung BlickingDiplomverteidigung Blicking
Diplomverteidigung Blicking
 
Statistiken für Repositories
Statistiken für RepositoriesStatistiken für Repositories
Statistiken für Repositories
 
Virtuelle Forschungsumgebungen in Digitalen Bibliotheken
Virtuelle Forschungsumgebungen in Digitalen BibliothekenVirtuelle Forschungsumgebungen in Digitalen Bibliotheken
Virtuelle Forschungsumgebungen in Digitalen Bibliotheken
 
Crowdfunding, Wissenschaft & Open Science
Crowdfunding, Wissenschaft & Open ScienceCrowdfunding, Wissenschaft & Open Science
Crowdfunding, Wissenschaft & Open Science
 
Was lernen wir von Learning Analytics?
Was lernen wir von Learning Analytics?Was lernen wir von Learning Analytics?
Was lernen wir von Learning Analytics?
 
Sharing, Liking, (Re)tweeting: Konzeption als zweiter Schritt des Two-Step-Flow?
Sharing, Liking, (Re)tweeting: Konzeption als zweiter Schritt des Two-Step-Flow?Sharing, Liking, (Re)tweeting: Konzeption als zweiter Schritt des Two-Step-Flow?
Sharing, Liking, (Re)tweeting: Konzeption als zweiter Schritt des Two-Step-Flow?
 
Akzeptanz von Sprachanalyse im Bewerbungsprozess - Vortrag AOWI-Tagung 2023.pdf
Akzeptanz von Sprachanalyse im Bewerbungsprozess -  Vortrag AOWI-Tagung 2023.pdfAkzeptanz von Sprachanalyse im Bewerbungsprozess -  Vortrag AOWI-Tagung 2023.pdf
Akzeptanz von Sprachanalyse im Bewerbungsprozess - Vortrag AOWI-Tagung 2023.pdf
 
Workforce Design Projekt 3T
Workforce Design Projekt 3TWorkforce Design Projekt 3T
Workforce Design Projekt 3T
 
ELISA Ethnographiestudie
ELISA EthnographiestudieELISA Ethnographiestudie
ELISA Ethnographiestudie
 
USECON Experience Webinar: Mobile Ethnographie & User Research
USECON Experience Webinar: Mobile Ethnographie & User ResearchUSECON Experience Webinar: Mobile Ethnographie & User Research
USECON Experience Webinar: Mobile Ethnographie & User Research
 
Bozen Summerschool Digital Libraries
Bozen Summerschool Digital LibrariesBozen Summerschool Digital Libraries
Bozen Summerschool Digital Libraries
 
DE - Module 3 - Improving your business model using external data
DE - Module 3 - Improving your business model using external dataDE - Module 3 - Improving your business model using external data
DE - Module 3 - Improving your business model using external data
 
Internetöffentliche Netzwerkwissenschaft & Vertrauen09
Internetöffentliche Netzwerkwissenschaft & Vertrauen09Internetöffentliche Netzwerkwissenschaft & Vertrauen09
Internetöffentliche Netzwerkwissenschaft & Vertrauen09
 
Personalvorauswahl und –beurteilung durch eAssessment9.09.10_v1_jd
Personalvorauswahl und –beurteilung durch eAssessment9.09.10_v1_jdPersonalvorauswahl und –beurteilung durch eAssessment9.09.10_v1_jd
Personalvorauswahl und –beurteilung durch eAssessment9.09.10_v1_jd
 
Was lernen wir von Learning Analytics?
Was lernen wir von Learning Analytics?Was lernen wir von Learning Analytics?
Was lernen wir von Learning Analytics?
 
NRWConf 2013 - Effort Estimation in Agile Projects
NRWConf 2013 - Effort Estimation in Agile ProjectsNRWConf 2013 - Effort Estimation in Agile Projects
NRWConf 2013 - Effort Estimation in Agile Projects
 

Mehr von Christiane Behnert

Investigating the effects of popularity data on predictive relevance judgment...
Investigating the effects of popularity data on predictive relevance judgment...Investigating the effects of popularity data on predictive relevance judgment...
Investigating the effects of popularity data on predictive relevance judgment...
Christiane Behnert
 
Relevance Clues: Developing an experimental research design to investigate a ...
Relevance Clues: Developing an experimental research design to investigate a ...Relevance Clues: Developing an experimental research design to investigate a ...
Relevance Clues: Developing an experimental research design to investigate a ...
Christiane Behnert
 
Evaluierungsläufe
EvaluierungsläufeEvaluierungsläufe
Evaluierungsläufe
Christiane Behnert
 
Relevanzkriterien: Forschungsstand und erste Ideen des Nutzermodells im Rahme...
Relevanzkriterien: Forschungsstand und erste Ideen des Nutzermodells im Rahme...Relevanzkriterien: Forschungsstand und erste Ideen des Nutzermodells im Rahme...
Relevanzkriterien: Forschungsstand und erste Ideen des Nutzermodells im Rahme...
Christiane Behnert
 
Relevance Clues: Developing an Experimental Design to Examine the Criteria Be...
Relevance Clues: Developing an Experimental Design to Examine the Criteria Be...Relevance Clues: Developing an Experimental Design to Examine the Criteria Be...
Relevance Clues: Developing an Experimental Design to Examine the Criteria Be...
Christiane Behnert
 
Rankingfaktoren für Bibliothekssysteme
Rankingfaktoren für BibliothekssystemeRankingfaktoren für Bibliothekssysteme
Rankingfaktoren für Bibliothekssysteme
Christiane Behnert
 

Mehr von Christiane Behnert (6)

Investigating the effects of popularity data on predictive relevance judgment...
Investigating the effects of popularity data on predictive relevance judgment...Investigating the effects of popularity data on predictive relevance judgment...
Investigating the effects of popularity data on predictive relevance judgment...
 
Relevance Clues: Developing an experimental research design to investigate a ...
Relevance Clues: Developing an experimental research design to investigate a ...Relevance Clues: Developing an experimental research design to investigate a ...
Relevance Clues: Developing an experimental research design to investigate a ...
 
Evaluierungsläufe
EvaluierungsläufeEvaluierungsläufe
Evaluierungsläufe
 
Relevanzkriterien: Forschungsstand und erste Ideen des Nutzermodells im Rahme...
Relevanzkriterien: Forschungsstand und erste Ideen des Nutzermodells im Rahme...Relevanzkriterien: Forschungsstand und erste Ideen des Nutzermodells im Rahme...
Relevanzkriterien: Forschungsstand und erste Ideen des Nutzermodells im Rahme...
 
Relevance Clues: Developing an Experimental Design to Examine the Criteria Be...
Relevance Clues: Developing an Experimental Design to Examine the Criteria Be...Relevance Clues: Developing an Experimental Design to Examine the Criteria Be...
Relevance Clues: Developing an Experimental Design to Examine the Criteria Be...
 
Rankingfaktoren für Bibliothekssysteme
Rankingfaktoren für BibliothekssystemeRankingfaktoren für Bibliothekssysteme
Rankingfaktoren für Bibliothekssysteme
 

Untersuchung des Einflusses von Popularitätsdaten auf die Relevanzbewertung in akademischen Informationssystemen

  • 1. UNTERSUCHUNG DES EINFLUSSES VON POPULARITÄTSDATEN AUF DIE RELEVANZBEWERTUNG IN AKADEMISCHEN INFORMATIONSSYSTEMEN Christiane Behnert, M.A. Hochschule für Angewandte Wissenschaften Hamburg PhD Student Workshop IWiSt – DIPF 17. Oktober 2018 in Hildesheim
  • 2. DEPARTMENT INFORMATION Christiane Behnert GLIEDERUNG 1. Hintergrund 2. Forschungsziel und Methodik 3. Zwischenergebnis 3.1. Nutzermodell 3.2. Forschungsfragen 4. Experimentelles Design 5. Datenerhebung 6. Nächste Schritte 7. Quellen 1
  • 3. DEPARTMENT INFORMATION Christiane Behnert 1. HINTERGRUND 2 Abb.1: Screenshot eines Suchergebnisses in Google Scholar (oben) und in der ACM Digital Library (unten).
  • 4. DEPARTMENT INFORMATION Christiane Behnert 2. FORSCHUNGSZIEL UND METHODIK Ziel meiner Forschung ist es, die Kriterien zu identifizieren, nach denen Nutzer von akademischen Suchsystemen die Relevanz eines Suchergebnisses beurteilen. Literaturschau Vorläufiges Nutzermodell Online-Experiment Datenanalyse Anpassung des Nutzermodells 3
  • 5. DEPARTMENT INFORMATION Christiane Behnert 3. ZWISCHENERGEBNIS 3.1. Ein vorläufiges Nutzermodell der Relevanzbewertung von Suchergebnissen in wissenschaftlichen Informationssystemen Basiert auf Ergebnissen der Literaturschau über Studien zu Relevanz & Relevanzkriterien [z.B. 4,6,9] sowie Modellen zur - Auswahl von Dokumenten von Wang und Soergel [8] und der - Bewertung der Glaubwürdigkeit bei der Websuche von Rieh [5] → Fehlende Definitionen / keine klare Abgrenzung von Merkmal – Kriterium – Faktor 4
  • 7. DEPARTMENT INFORMATION Christiane Behnert 3. ZWISCHENERGEBNIS 3.2. Konkretisierte Forschungsfragen F1 Welche dynamischen, nutzerunabhängigen Merkmale des Surrogats beeinflussen, wie informationssuchende Personen die Relevanz eines Suchergebnisses bewerten? F2 Welche dieser Merkmale beeinflussen die Relevanzentscheidung in welchem Maße? F3 Wie sind die sich aus diesen Merkmalen ableitenden Kriterien gegeneinander gewichtet? Nutzerstudie zur Untersuchung des Effekts von Popularitätsdaten auf die Relevanzbewertung von Suchergebnissen 6
  • 8. DEPARTMENT INFORMATION Christiane Behnert 4. EXPERIMENTELLES DESIGN 1/2 Warum ein Experiment? Erkenntnisse über tatsächliches Verhalten [2, 3] Kausale Schlussfolgerungen [7] Stimulus / Ursache Effekt / Wirkung (unabhängige Variable, UV abhängige Variable, AV) Voraussetzungen für Kausalität: → Kovarianz zwischen UV und AV → Zeitliche Präzedenz der UV → Ausschluss möglicher Alternativerklärungen (konfundierende Variablen) Wesensmerkmale eines Experiments: → Manipulation der UV → Kontrolle konfundierender Variablen (Randomisierung, Ausbalancieren) 7
  • 9. DEPARTMENT INFORMATION Christiane Behnert 4. EXPERIMENTELLES DESIGN 2/2 Multifaktorielles Within-Subjects-Design Bei 4 UV mit 3 Ausprägungen ergeben sich 3x3x3x3 = 81 Experimentalbedingungen Vorteile von Within-Subjects-Designs [7]: - Geringere Anzahl an Versuchspersonen erforderlich - Keine Konfundierung durch personengebundene Störvariablen - Sinnvoll bei subjektiven Urteilen über Merkmale von Stimuli (kontextabhängig) - Höhere Sensitivität durch Differenzberechnung je Versuchsperson 8 Nr. UV Ausprägung A Ausprägung B Ausprägung C AV 1 Anzahl Zitationen (Werk) Geringe Anzahl Hohe Anzahl Keine Angabe Relevanz- bewertung (0-100) 2 Anzahl Zitationen (Autor) Geringe Anzahl Hohe Anzahl Keine Angabe 3 Autor-Impact Gering Hoch Keine Angabe 4 Anzahl Downloads Geringe Anzahl Hohe Anzahl Keine Angabe
  • 10. DEPARTMENT INFORMATION Christiane Behnert 5. DATENERHEBUNG 1/4 Aufbau des Online-Fragebogens (A) Begrüßung, Erläuterung, Hinweise zum Datenschutz (B) Teil 1 - Demografische Angaben (Geschlecht, Alter, Muttersprache, Bildungsabschluss, Aktueller Status, Fachdisziplin, Affiliation) - Selbsteinschätzung (Sucherfahrung, Suchfähigkeit, Selbstsicherheit, Big5) (C) Teil 2 - Experiment - Erläuterung zu den Aufgaben und zur Bewertung - Neun Aufgaben in randomisierter Reihenfolge (D) Ende - Abschließende Anmerkungen - Aufklärung zum Experiment - Selbstausschluss - Abfrage E-Mail-Adresse für Gutschein - Danksagung 9
  • 11. DEPARTMENT INFORMATION Christiane Behnert 5. DATENERHEBUNG 2/4 Suchaufgaben Beschreibungstexte in Anlehnung an simulated work task situations [1] Informationswissenschaftliche Themen - Social Media/Altmetrics, Peer-Review - Wikipedia, Forschungsdaten/Data sharing, Big data, UX/Usability, Open Access, Informationsethik, Informationskompetenz Beispiel: Task „Altmetrics“ 10
  • 12. DEPARTMENT INFORMATION Christiane Behnert 5. DATENERHEBUNG 3/4 Erstellung der Surrogate Auswahl anhand von Quellen in Überblicksartikeln Manipulation der UV-Ausprägungen mittels heuristischem Ansatz: 11 Geringe Ausprägung Hohe Ausprägung UV von.. bis.. von.. bis.. Downloads 50 80 250 450 Zitationszahl Werk 2 9 21 30 Zitationszahl Autor 350 700 2100 2450 Autor-Impact 1 2 4 5
  • 13. DEPARTMENT INFORMATION Christiane Behnert 5. DATENERHEBUNG 4/4 Präsentation der Surrogate  Template Surrogat → 12 <Titel> Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod eirmod tempor invidunt ut labore et dolore <Autor> • <Erscheinungsjahr> • <Quelle> <Abstract> Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem Zitationen (Artikel) Xxxx Zitationen (Autor) Xxxx Downloads xxxx Autor-Impact xxxx + Merkliste „“ Zitieren ≈ Ähnliche Artikel Genesis of altmetrics or article-level metrics for measuring efficacy of scholarly communications: Current perspectives Das, A.K.• 2014 • Journal of Scientometric Research The article-level metrics (ALMs) or altmetrics becomes a new trendsetter in recent times for measuring the impact of scientific publications and their social outreach to intended audiences. The popular social networks such as Facebook, Twitter, and LinkedIn and social bookmarks such as Mendeley and CiteULike are nowadays widely used for communicating research to larger transnational audiences. In 2012, the San Francisco Declaration on Research Assessment got signed by the scientific and researchers communities … Zitationen (Artikel) 6 Zitationen (Autor) 2418 Downloads k.A. Autor-Impact + Merkliste „“ Zitieren ≈ Ähnliche Artikel
  • 14. DEPARTMENT INFORMATION Christiane Behnert 6. NÄCHSTE SCHRITTE - Entwicklung der weiteren Suchaufgaben und Surrogate - Projekttest mit automatisch generierten Testdaten in Unipark - Statistische Methoden-Beratung - Pretest mit Versuchspersonen der Zielgruppe - Erhebung, Probandenakquise (n ≈ 400) https://ww3.unipark.de/www/front.php?module=&controller=login&act=&message=logout_o k&lang=de 13
  • 15. DEPARTMENT INFORMATION Christiane Behnert 7. QUELLEN [1] Borlund, P., & Ingwersen, P. (1997). The development of a method for the evaluation of interactive information retrieval systems. Journal of Documentation, 53(3), 225–250. https://doi.org/10.1108/EUM0000000007198 [2] Kelly, D. (2009). Methods for evaluating interactive information retrieval systems with users. Foundations and Trends® in Information Retrieval, 3(1—2). [3] Kelly, D., & Cresenzi, A. (2016). From design to analysis: Conducting controlled laboratory experiments with users. In Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval - SIGIR ’16 (1207–1210). New York, New York, USA: ACM Press. [4] Mizzaro, S. (1997). Relevance: The whole history. Journal of the American Society for Information Science, 48(9), 810–832. [5] Rieh, S. Y. (2002). Judgment of information quality and cognitive authority in the Web. Journal of the American Society for Information Science and Technology, 53(2), 145–161. [6] Saracevic, T. (2016). The notion of relevance in Information Science: Everybody knows what relevance is. But, what is it really? (G. Marchionini, Ed.), Synthesis Lectures on Information Concepts, Retrieval, and Services; 50. Morgan & Claypool. [7] Sedlmeier, P., & Renkewitz, F. (2007). Forschungsmethoden und Statistik in der Psychologie. München ; Boston [u.a.]: Pearson Studium, 123-180. [8] Wang, P., & Soergel, D. (1998). A cognitive model of document use during a research project. Study I. Document selection. Journal of the American Society for Information Science, 49(2), 115–133. [9] Wilson, P. (1983). Second-hand knowledge: An inquiry into cognitive authority. Westport, Conn.; London, UK: Greenwood Press. 14