PhD Student Workshop 2018 in Hildesheim

1. UNTERSUCHUNG DES EINFLUSSES VON
POPULARITÄTSDATEN AUF DIE
RELEVANZBEWERTUNG IN AKADEMISCHEN
INFORMATIONSSYSTEMEN
Christiane Behnert, M.A.
Hochschule für Angewandte Wissenschaften Hamburg
PhD Student Workshop IWiSt – DIPF
17. Oktober 2018 in Hildesheim

2. DEPARTMENT INFORMATION
Christiane Behnert
GLIEDERUNG
1. Hintergrund
2. Forschungsziel und Methodik
3. Zwischenergebnis
3.1. Nutzermodell
3.2. Forschungsfragen
4. Experimentelles Design
5. Datenerhebung
6. Nächste Schritte
7. Quellen
1

3. DEPARTMENT INFORMATION
Christiane Behnert
1. HINTERGRUND
2
Abb.1: Screenshot eines Suchergebnisses in Google Scholar (oben) und in der
ACM Digital Library (unten).

4. DEPARTMENT INFORMATION
Christiane Behnert
2. FORSCHUNGSZIEL UND METHODIK
Ziel meiner Forschung ist es, die Kriterien zu identifizieren, nach denen Nutzer von
akademischen Suchsystemen die Relevanz eines Suchergebnisses beurteilen.
Literaturschau
Vorläufiges Nutzermodell
Online-Experiment
Datenanalyse
Anpassung des Nutzermodells
3

5. DEPARTMENT INFORMATION
Christiane Behnert
3. ZWISCHENERGEBNIS
3.1. Ein vorläufiges Nutzermodell der Relevanzbewertung von Suchergebnissen in
wissenschaftlichen Informationssystemen
Basiert auf Ergebnissen der Literaturschau über Studien zu Relevanz & Relevanzkriterien
[z.B. 4,6,9] sowie Modellen zur
- Auswahl von Dokumenten von Wang und Soergel [8] und der
- Bewertung der Glaubwürdigkeit bei der Websuche von Rieh [5]
→ Fehlende Definitionen / keine klare Abgrenzung von Merkmal – Kriterium – Faktor
4

6. DEPARTMENT INFORMATION
Christiane Behnert
5

7. DEPARTMENT INFORMATION
Christiane Behnert
3. ZWISCHENERGEBNIS
3.2. Konkretisierte Forschungsfragen
F1 Welche dynamischen, nutzerunabhängigen Merkmale des Surrogats beeinflussen,
wie informationssuchende Personen die Relevanz eines Suchergebnisses bewerten?
F2 Welche dieser Merkmale beeinflussen die Relevanzentscheidung in welchem Maße?
F3 Wie sind die sich aus diesen Merkmalen ableitenden Kriterien gegeneinander
gewichtet?
Nutzerstudie zur Untersuchung des Effekts von Popularitätsdaten auf die
Relevanzbewertung von Suchergebnissen
6

8. DEPARTMENT INFORMATION
Christiane Behnert
4. EXPERIMENTELLES DESIGN 1/2
Warum ein Experiment?
Erkenntnisse über tatsächliches Verhalten [2, 3]
Kausale Schlussfolgerungen [7]
Stimulus / Ursache Effekt / Wirkung
(unabhängige Variable, UV abhängige Variable, AV)
Voraussetzungen für Kausalität:
→ Kovarianz zwischen UV und AV
→ Zeitliche Präzedenz der UV
→ Ausschluss möglicher Alternativerklärungen
(konfundierende Variablen)
Wesensmerkmale eines Experiments:
→ Manipulation der UV
→ Kontrolle konfundierender Variablen (Randomisierung, Ausbalancieren)
7

9. DEPARTMENT INFORMATION
Christiane Behnert
4. EXPERIMENTELLES DESIGN 2/2
Multifaktorielles Within-Subjects-Design
Bei 4 UV mit 3 Ausprägungen ergeben sich 3x3x3x3 = 81 Experimentalbedingungen
Vorteile von Within-Subjects-Designs [7]:
- Geringere Anzahl an Versuchspersonen erforderlich
- Keine Konfundierung durch personengebundene Störvariablen
- Sinnvoll bei subjektiven Urteilen über Merkmale von Stimuli (kontextabhängig)
- Höhere Sensitivität durch Differenzberechnung je Versuchsperson
8
Nr. UV Ausprägung A Ausprägung B Ausprägung C AV
1 Anzahl Zitationen (Werk) Geringe Anzahl Hohe Anzahl Keine Angabe
Relevanz-
bewertung
(0-100)
2 Anzahl Zitationen (Autor) Geringe Anzahl Hohe Anzahl Keine Angabe
3 Autor-Impact Gering Hoch Keine Angabe
4 Anzahl Downloads Geringe Anzahl Hohe Anzahl Keine Angabe

10. DEPARTMENT INFORMATION
Christiane Behnert
5. DATENERHEBUNG 1/4
Aufbau des Online-Fragebogens
(A) Begrüßung, Erläuterung, Hinweise zum Datenschutz
(B) Teil 1
- Demografische Angaben (Geschlecht, Alter, Muttersprache, Bildungsabschluss,
Aktueller Status, Fachdisziplin, Affiliation)
- Selbsteinschätzung (Sucherfahrung, Suchfähigkeit, Selbstsicherheit, Big5)
(C) Teil 2 - Experiment
- Erläuterung zu den Aufgaben und zur Bewertung
- Neun Aufgaben in randomisierter Reihenfolge
(D) Ende
- Abschließende Anmerkungen
- Aufklärung zum Experiment
- Selbstausschluss
- Abfrage E-Mail-Adresse für Gutschein
- Danksagung 9

11. DEPARTMENT INFORMATION
Christiane Behnert
5. DATENERHEBUNG 2/4
Suchaufgaben
Beschreibungstexte in Anlehnung an simulated work task situations [1]
Informationswissenschaftliche Themen
- Social Media/Altmetrics, Peer-Review
- Wikipedia, Forschungsdaten/Data sharing, Big data, UX/Usability, Open Access,
Informationsethik, Informationskompetenz
Beispiel: Task „Altmetrics“
10

12. DEPARTMENT INFORMATION
Christiane Behnert
5. DATENERHEBUNG 3/4
Erstellung der Surrogate
Auswahl anhand von Quellen in Überblicksartikeln
Manipulation der UV-Ausprägungen mittels heuristischem Ansatz:
11
Geringe Ausprägung Hohe Ausprägung
UV von.. bis.. von.. bis..
Downloads 50 80 250 450
Zitationszahl Werk 2 9 21 30
Zitationszahl Autor 350 700 2100 2450
Autor-Impact 1 2 4 5

13. DEPARTMENT INFORMATION
Christiane Behnert
5. DATENERHEBUNG 4/4
Präsentation der Surrogate
 Template
Surrogat →
12
<Titel> Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed
diam nonumy eirmod eirmod tempor invidunt ut labore et dolore
<Autor> • <Erscheinungsjahr> • <Quelle>
<Abstract> Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed
diam nonumy eirmod tempor invidunt ut labore et dolore magna
aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo
dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus
est. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam
nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam
erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et
ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem
Zitationen (Artikel) Xxxx Zitationen (Autor) Xxxx
Downloads xxxx Autor-Impact xxxx
+ Merkliste „“ Zitieren ≈ Ähnliche Artikel Genesis of altmetrics or article-level metrics for measuring efficacy
of scholarly communications: Current perspectives
Das, A.K.• 2014 • Journal of Scientometric Research
The article-level metrics (ALMs) or altmetrics becomes a new
trendsetter in recent times for measuring the impact of scientific
publications and their social outreach to intended audiences. The
popular social networks such as Facebook, Twitter, and LinkedIn and
social bookmarks such as Mendeley and CiteULike are nowadays
widely used for communicating research to larger transnational
audiences. In 2012, the San Francisco Declaration on Research
Assessment got signed by the scientific and researchers communities …
Zitationen (Artikel) 6 Zitationen (Autor) 2418
Downloads k.A. Autor-Impact
+ Merkliste „“ Zitieren ≈ Ähnliche Artikel

14. DEPARTMENT INFORMATION
Christiane Behnert
6. NÄCHSTE SCHRITTE
- Entwicklung der weiteren Suchaufgaben und Surrogate
- Projekttest mit automatisch generierten Testdaten in Unipark
- Statistische Methoden-Beratung
- Pretest mit Versuchspersonen der Zielgruppe
- Erhebung, Probandenakquise (n ≈ 400)
https://ww3.unipark.de/www/front.php?module=&controller=login&act=&message=logout_o
k&lang=de
13

15. DEPARTMENT INFORMATION
Christiane Behnert
7. QUELLEN
[1] Borlund, P., & Ingwersen, P. (1997). The development of a method for the evaluation of interactive
information retrieval systems. Journal of Documentation, 53(3), 225–250.
https://doi.org/10.1108/EUM0000000007198
[2] Kelly, D. (2009). Methods for evaluating interactive information retrieval systems with users.
Foundations and Trends® in Information Retrieval, 3(1—2).
[3] Kelly, D., & Cresenzi, A. (2016). From design to analysis: Conducting controlled laboratory
experiments with users. In Proceedings of the 39th International ACM SIGIR Conference on Research
and Development in Information Retrieval - SIGIR ’16 (1207–1210). New York, New York, USA: ACM
Press.
[4] Mizzaro, S. (1997). Relevance: The whole history. Journal of the American Society for Information
Science, 48(9), 810–832.
[5] Rieh, S. Y. (2002). Judgment of information quality and cognitive authority in the Web. Journal of the
American Society for Information Science and Technology, 53(2), 145–161.
[6] Saracevic, T. (2016). The notion of relevance in Information Science: Everybody knows what
relevance is. But, what is it really? (G. Marchionini, Ed.), Synthesis Lectures on Information Concepts,
Retrieval, and Services; 50. Morgan & Claypool.
[7] Sedlmeier, P., & Renkewitz, F. (2007). Forschungsmethoden und Statistik in der Psychologie.
München ; Boston [u.a.]: Pearson Studium, 123-180.
[8] Wang, P., & Soergel, D. (1998). A cognitive model of document use during a research project. Study
I. Document selection. Journal of the American Society for Information Science, 49(2), 115–133.
[9] Wilson, P. (1983). Second-hand knowledge: An inquiry into cognitive authority. Westport, Conn.;
London, UK: Greenwood Press.
14