Presentation during Best Practice in Marketing Workshop; Universität St. Gallen, Switzerland.
Prof. Dr. Holger Lütters, Hochschule für Technik und Wirtschaft Berlin
Presentation during Best Practice in Marketing Workshop; Universität St. Gallen, Switzerland.
Prof. Dr. Holger Lütters, Hochschule für Technik und Wirtschaft Berlin
Information on the frequency and patterns of document usage on open access repositories may give feedback about
a) the value of a document for users
b) the importance of research for the authors
c) the impact of a document (that enhances citation based impact metrics)
Additionally usage information gathered on the repository level may give feedback about
a) how visitors are using a repository (in terms of penetration or navigation)
b) how effectively a repository is connected to other retrieval systems
c) how repository managers may improve their repositories
This presentation discusses
a) the opportunities to utilize usage information as impact scores
b) the opportunities to analyze repository services by usage information
c) an infrastructure to gather interoperable usage information from distributed open access repositories. This infrastructure was implemented in the project OpenAccess Statistics, http://www.dini.de/projekte/oa-statistik/english/ (funded by the German Research Foundation, DFG http://www.dfg.de).
Additionally the results of three surveys focussing on repository services based on ussage information are presented.
Lit:
Bollen, J., Van de Sompel, H., Hagberg, A., Chute, R.: A principal component analysis of 39 scientific impact measures. PLoS ONE 4 (6), art. no. e6022
Bollen, J., Van De Sompel, H., Rodriguez, M.A.: Towards usage-based impact metrics: First results from the MESUR project. Proceedings of the ACM International Conference on Digital Libraries, pp. 231-240
Nicholas, D., Clark, D., Rowlands, I., Jamali, H.R.: Online use and information seeking behaviour: Institutional and subject comparisons of UK researchers. Journal of Information Science 35 (6), pp. 660-676
Herb, U., Scholze, F.: Nutzungsstatistiken elektronischer Publikationen. Zeitschrift fur Bibliothekswesen und Bibliographie 54 (4-5), pp. 234-237
Akzeptanz von Sprachanalyse im Bewerbungsprozess - Vortrag AOWI-Tagung 2023.pdfChristian Bosau
Sprachanalysen werden immer öfter in der Personalauswahl eingesetzt. In arbeitnehmerdominierten Rekrutierungsmärkten wird jedoch die Akzeptanz des Auswahlverfahrens seitens der Bewerber immer wichtiger. Die vorliegende Studie testen verschiedene Maßnahmen, wie man die Akzeptanz auf Seiten der Bewerber erhöhen könnte.
USECON Experience Webinar: Mobile Ethnographie & User ResearchUSECON
Mobile Ethnografie ermöglicht einen Einblick in das reale Benutzerverhalten und in die Gewohnheiten von Mitarbeitern und Kunden. Mittels Smartphone werden Erlebnisse festgehalten und generieren somit einen wesentlichen Input für zukünftige Customer Experience Entscheidungen.
Was erleben die Benutzer? Welche Tools werden wann und wie verwendet? Auf diese und viele weitere Fragen bietet “Mobile Ethnografie” Antworten und Insights zu zukünftigen Lösungen.
Am Beispiel einer Mitarbeiter Experience Studie, beantworten Klaus Schwarzenberger (ExperienceFellow) und Carina Hauser (USECON) folgende Fragen:
Was ist mobile Ethnografie?
Welche Fragestellungen können mit mobiler Ethnografie beantwortet werden?
Wie unterstützt mobile Ethnografie im Bereich User Research?
Welche Design Inputs können gewonnen werden?
Die Mobile Ethnografie ist die Mischung aus einer altbewährten Methode mit einem neuartigen und innovativen Tool (ExperienceFellow), das es Unternehmen ermöglicht, die Bedürfnisse Ihrer Benutzer (Kunden, Mitarbeiter,…) zu verstehen.
Was meint der Begriff "internetöffentliche Netzwerkwissenschaft"? Weshalb ist Vertrauen bezüglich dieser internetöffentlichen Netzwerkwissenschaft ein Problem? Wie könnte Vertrauen konstituiert werden? Eine Skizze. Vortrag bei Meilensteintagung "Interactive Science", Schloss Rauischholzhausen bei Giessen, 10.09.09
NRWConf 2013 - Effort Estimation in Agile ProjectsRainer Stropek
Last week I travelled to Wuppertal to participate in the community conference NRWConf 2013. With time cockpit we have been sponsors and speakers for this event for years. At NRWConf I did a conference about effort estimation in agile projects. This is the slide deck I used. Sorry for mixing up German and English. I combined two existing talks for this session and by now I couldn't find the time to translate all the slides to German.
Information on the frequency and patterns of document usage on open access repositories may give feedback about
a) the value of a document for users
b) the importance of research for the authors
c) the impact of a document (that enhances citation based impact metrics)
Additionally usage information gathered on the repository level may give feedback about
a) how visitors are using a repository (in terms of penetration or navigation)
b) how effectively a repository is connected to other retrieval systems
c) how repository managers may improve their repositories
This presentation discusses
a) the opportunities to utilize usage information as impact scores
b) the opportunities to analyze repository services by usage information
c) an infrastructure to gather interoperable usage information from distributed open access repositories. This infrastructure was implemented in the project OpenAccess Statistics, http://www.dini.de/projekte/oa-statistik/english/ (funded by the German Research Foundation, DFG http://www.dfg.de).
Additionally the results of three surveys focussing on repository services based on ussage information are presented.
Lit:
Bollen, J., Van de Sompel, H., Hagberg, A., Chute, R.: A principal component analysis of 39 scientific impact measures. PLoS ONE 4 (6), art. no. e6022
Bollen, J., Van De Sompel, H., Rodriguez, M.A.: Towards usage-based impact metrics: First results from the MESUR project. Proceedings of the ACM International Conference on Digital Libraries, pp. 231-240
Nicholas, D., Clark, D., Rowlands, I., Jamali, H.R.: Online use and information seeking behaviour: Institutional and subject comparisons of UK researchers. Journal of Information Science 35 (6), pp. 660-676
Herb, U., Scholze, F.: Nutzungsstatistiken elektronischer Publikationen. Zeitschrift fur Bibliothekswesen und Bibliographie 54 (4-5), pp. 234-237
Akzeptanz von Sprachanalyse im Bewerbungsprozess - Vortrag AOWI-Tagung 2023.pdfChristian Bosau
Sprachanalysen werden immer öfter in der Personalauswahl eingesetzt. In arbeitnehmerdominierten Rekrutierungsmärkten wird jedoch die Akzeptanz des Auswahlverfahrens seitens der Bewerber immer wichtiger. Die vorliegende Studie testen verschiedene Maßnahmen, wie man die Akzeptanz auf Seiten der Bewerber erhöhen könnte.
USECON Experience Webinar: Mobile Ethnographie & User ResearchUSECON
Mobile Ethnografie ermöglicht einen Einblick in das reale Benutzerverhalten und in die Gewohnheiten von Mitarbeitern und Kunden. Mittels Smartphone werden Erlebnisse festgehalten und generieren somit einen wesentlichen Input für zukünftige Customer Experience Entscheidungen.
Was erleben die Benutzer? Welche Tools werden wann und wie verwendet? Auf diese und viele weitere Fragen bietet “Mobile Ethnografie” Antworten und Insights zu zukünftigen Lösungen.
Am Beispiel einer Mitarbeiter Experience Studie, beantworten Klaus Schwarzenberger (ExperienceFellow) und Carina Hauser (USECON) folgende Fragen:
Was ist mobile Ethnografie?
Welche Fragestellungen können mit mobiler Ethnografie beantwortet werden?
Wie unterstützt mobile Ethnografie im Bereich User Research?
Welche Design Inputs können gewonnen werden?
Die Mobile Ethnografie ist die Mischung aus einer altbewährten Methode mit einem neuartigen und innovativen Tool (ExperienceFellow), das es Unternehmen ermöglicht, die Bedürfnisse Ihrer Benutzer (Kunden, Mitarbeiter,…) zu verstehen.
Was meint der Begriff "internetöffentliche Netzwerkwissenschaft"? Weshalb ist Vertrauen bezüglich dieser internetöffentlichen Netzwerkwissenschaft ein Problem? Wie könnte Vertrauen konstituiert werden? Eine Skizze. Vortrag bei Meilensteintagung "Interactive Science", Schloss Rauischholzhausen bei Giessen, 10.09.09
NRWConf 2013 - Effort Estimation in Agile ProjectsRainer Stropek
Last week I travelled to Wuppertal to participate in the community conference NRWConf 2013. With time cockpit we have been sponsors and speakers for this event for years. At NRWConf I did a conference about effort estimation in agile projects. This is the slide deck I used. Sorry for mixing up German and English. I combined two existing talks for this session and by now I couldn't find the time to translate all the slides to German.
Ähnlich wie Untersuchung des Einflusses von Popularitätsdaten auf die Relevanzbewertung in akademischen Informationssystemen (20)
Teaching and Learning Experience Design – der Ruf nach besserer Lehre: aber wie?Isa Jahnke
Der Ruf danach, dass es bessere Lehre geben muss oder das Lehre verbessert werden sollte, ist nicht neu. Es gibt auch schon seit längerer Zeit Rufe danach, dass Lehre der Forschung in Universitäten gleichgestellt werden soll. (Und in den letzten Jahren ist in Deutschland auch einiges an positiven Entwicklungen geschehen, z.B. durch die Aktivitäten des Stifterverbands). Wie kann die Verbesserung der Lehre weitergehen? Fehlt etwas in dieser Entwicklung? Ja, sagt dieser Beitrag, der zum Nachdenken und Diskutieren anregen soll. In diesem Beitrag wird ein forschungsbasierter Ansatz zur Diskussion gestellt. Es wird argumentiert, dass Lehre nur dann besser wird, wenn es mit den Prinzipen der Wissenschaft und Forschung angegangen wird (d.h. gestalten, Daten erheben, auswerten, verbessern). Es benötigt neue Verhaltensregeln oder -prinzipien bei der Gestaltung von Lehrveranstaltungen. Das bedeutet zum Beispiel das Prinzipien der Evidenzbasierung und wissenschaftliche Herangehensweisen im Lehr-Lerndesign als zentrales Fundament etabliert werden sollte. Evidenzbasierung hier meint, folgt man der Logik der Forschung, dass Lehrveranstaltungen als Intervention verstanden werden. Mit dieser Intervention werden Studierende befähigt, bestimmte vorab festgelegte Kompetenzen zu entwickeln. Und die Frage, die sich bei jeder Lehr-Lernveranstaltung dann stellt, ist, ob diese Objectives bzw. Learning Outcomes auch erreicht wurden. Klar ist, dass die subjektive Lehrevaluation der Studierenden oder auch die Notengebnung nicht ausreichen, um diese Frage zu beantworten. Hierfür gibt es eine Reihe von Methoden, die genutzt werden können, z.B. aus dem Bereich des User- / Learning Experience Design. Diese Methoden umfassen unter anderem Usability-Tests, Learner Experience Studies, Pre-/Post-Tests, und Follow-up Interviews. Diese können zur Gestaltung und Erfassung von effektiven, effizienten und ansprechenden digitalen Lerndesigns verwendet (Reigeluth 1983, Honebein & Reigeluth, 2022).
Der Beitrag will die Entwicklung zur Verbesserung von Lehre weiter pushen. Neue Ideen in die Bewegung bringen. Als Gründungsvizepräsidentin der UTN hab ich die Chance, hier ein neues Fundament für eine gesamte Uni zu legen. Wird das Gelingen? Ist dieser Ansatz, den ich hier vorstelle, eine erfolgsversprechende Option dafür? Hier können sich die TeilnehmerInnen an dieser Entwicklung beteiligen.
Brandschutzhelfer Modul 1 rechtliche Grundlagen.pptx
Untersuchung des Einflusses von Popularitätsdaten auf die Relevanzbewertung in akademischen Informationssystemen
1. UNTERSUCHUNG DES EINFLUSSES VON
POPULARITÄTSDATEN AUF DIE
RELEVANZBEWERTUNG IN AKADEMISCHEN
INFORMATIONSSYSTEMEN
Christiane Behnert, M.A.
Hochschule für Angewandte Wissenschaften Hamburg
PhD Student Workshop IWiSt – DIPF
17. Oktober 2018 in Hildesheim
2. DEPARTMENT INFORMATION
Christiane Behnert
GLIEDERUNG
1. Hintergrund
2. Forschungsziel und Methodik
3. Zwischenergebnis
3.1. Nutzermodell
3.2. Forschungsfragen
4. Experimentelles Design
5. Datenerhebung
6. Nächste Schritte
7. Quellen
1
4. DEPARTMENT INFORMATION
Christiane Behnert
2. FORSCHUNGSZIEL UND METHODIK
Ziel meiner Forschung ist es, die Kriterien zu identifizieren, nach denen Nutzer von
akademischen Suchsystemen die Relevanz eines Suchergebnisses beurteilen.
Literaturschau
Vorläufiges Nutzermodell
Online-Experiment
Datenanalyse
Anpassung des Nutzermodells
3
5. DEPARTMENT INFORMATION
Christiane Behnert
3. ZWISCHENERGEBNIS
3.1. Ein vorläufiges Nutzermodell der Relevanzbewertung von Suchergebnissen in
wissenschaftlichen Informationssystemen
Basiert auf Ergebnissen der Literaturschau über Studien zu Relevanz & Relevanzkriterien
[z.B. 4,6,9] sowie Modellen zur
- Auswahl von Dokumenten von Wang und Soergel [8] und der
- Bewertung der Glaubwürdigkeit bei der Websuche von Rieh [5]
→ Fehlende Definitionen / keine klare Abgrenzung von Merkmal – Kriterium – Faktor
4
7. DEPARTMENT INFORMATION
Christiane Behnert
3. ZWISCHENERGEBNIS
3.2. Konkretisierte Forschungsfragen
F1 Welche dynamischen, nutzerunabhängigen Merkmale des Surrogats beeinflussen,
wie informationssuchende Personen die Relevanz eines Suchergebnisses bewerten?
F2 Welche dieser Merkmale beeinflussen die Relevanzentscheidung in welchem Maße?
F3 Wie sind die sich aus diesen Merkmalen ableitenden Kriterien gegeneinander
gewichtet?
Nutzerstudie zur Untersuchung des Effekts von Popularitätsdaten auf die
Relevanzbewertung von Suchergebnissen
6
8. DEPARTMENT INFORMATION
Christiane Behnert
4. EXPERIMENTELLES DESIGN 1/2
Warum ein Experiment?
Erkenntnisse über tatsächliches Verhalten [2, 3]
Kausale Schlussfolgerungen [7]
Stimulus / Ursache Effekt / Wirkung
(unabhängige Variable, UV abhängige Variable, AV)
Voraussetzungen für Kausalität:
→ Kovarianz zwischen UV und AV
→ Zeitliche Präzedenz der UV
→ Ausschluss möglicher Alternativerklärungen
(konfundierende Variablen)
Wesensmerkmale eines Experiments:
→ Manipulation der UV
→ Kontrolle konfundierender Variablen (Randomisierung, Ausbalancieren)
7
9. DEPARTMENT INFORMATION
Christiane Behnert
4. EXPERIMENTELLES DESIGN 2/2
Multifaktorielles Within-Subjects-Design
Bei 4 UV mit 3 Ausprägungen ergeben sich 3x3x3x3 = 81 Experimentalbedingungen
Vorteile von Within-Subjects-Designs [7]:
- Geringere Anzahl an Versuchspersonen erforderlich
- Keine Konfundierung durch personengebundene Störvariablen
- Sinnvoll bei subjektiven Urteilen über Merkmale von Stimuli (kontextabhängig)
- Höhere Sensitivität durch Differenzberechnung je Versuchsperson
8
Nr. UV Ausprägung A Ausprägung B Ausprägung C AV
1 Anzahl Zitationen (Werk) Geringe Anzahl Hohe Anzahl Keine Angabe
Relevanz-
bewertung
(0-100)
2 Anzahl Zitationen (Autor) Geringe Anzahl Hohe Anzahl Keine Angabe
3 Autor-Impact Gering Hoch Keine Angabe
4 Anzahl Downloads Geringe Anzahl Hohe Anzahl Keine Angabe
10. DEPARTMENT INFORMATION
Christiane Behnert
5. DATENERHEBUNG 1/4
Aufbau des Online-Fragebogens
(A) Begrüßung, Erläuterung, Hinweise zum Datenschutz
(B) Teil 1
- Demografische Angaben (Geschlecht, Alter, Muttersprache, Bildungsabschluss,
Aktueller Status, Fachdisziplin, Affiliation)
- Selbsteinschätzung (Sucherfahrung, Suchfähigkeit, Selbstsicherheit, Big5)
(C) Teil 2 - Experiment
- Erläuterung zu den Aufgaben und zur Bewertung
- Neun Aufgaben in randomisierter Reihenfolge
(D) Ende
- Abschließende Anmerkungen
- Aufklärung zum Experiment
- Selbstausschluss
- Abfrage E-Mail-Adresse für Gutschein
- Danksagung 9
11. DEPARTMENT INFORMATION
Christiane Behnert
5. DATENERHEBUNG 2/4
Suchaufgaben
Beschreibungstexte in Anlehnung an simulated work task situations [1]
Informationswissenschaftliche Themen
- Social Media/Altmetrics, Peer-Review
- Wikipedia, Forschungsdaten/Data sharing, Big data, UX/Usability, Open Access,
Informationsethik, Informationskompetenz
Beispiel: Task „Altmetrics“
10
12. DEPARTMENT INFORMATION
Christiane Behnert
5. DATENERHEBUNG 3/4
Erstellung der Surrogate
Auswahl anhand von Quellen in Überblicksartikeln
Manipulation der UV-Ausprägungen mittels heuristischem Ansatz:
11
Geringe Ausprägung Hohe Ausprägung
UV von.. bis.. von.. bis..
Downloads 50 80 250 450
Zitationszahl Werk 2 9 21 30
Zitationszahl Autor 350 700 2100 2450
Autor-Impact 1 2 4 5
13. DEPARTMENT INFORMATION
Christiane Behnert
5. DATENERHEBUNG 4/4
Präsentation der Surrogate
Template
Surrogat →
12
<Titel> Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed
diam nonumy eirmod eirmod tempor invidunt ut labore et dolore
<Autor> • <Erscheinungsjahr> • <Quelle>
<Abstract> Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed
diam nonumy eirmod tempor invidunt ut labore et dolore magna
aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo
dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus
est. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam
nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam
erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et
ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem
Zitationen (Artikel) Xxxx Zitationen (Autor) Xxxx
Downloads xxxx Autor-Impact xxxx
+ Merkliste „“ Zitieren ≈ Ähnliche Artikel Genesis of altmetrics or article-level metrics for measuring efficacy
of scholarly communications: Current perspectives
Das, A.K.• 2014 • Journal of Scientometric Research
The article-level metrics (ALMs) or altmetrics becomes a new
trendsetter in recent times for measuring the impact of scientific
publications and their social outreach to intended audiences. The
popular social networks such as Facebook, Twitter, and LinkedIn and
social bookmarks such as Mendeley and CiteULike are nowadays
widely used for communicating research to larger transnational
audiences. In 2012, the San Francisco Declaration on Research
Assessment got signed by the scientific and researchers communities …
Zitationen (Artikel) 6 Zitationen (Autor) 2418
Downloads k.A. Autor-Impact
+ Merkliste „“ Zitieren ≈ Ähnliche Artikel
14. DEPARTMENT INFORMATION
Christiane Behnert
6. NÄCHSTE SCHRITTE
- Entwicklung der weiteren Suchaufgaben und Surrogate
- Projekttest mit automatisch generierten Testdaten in Unipark
- Statistische Methoden-Beratung
- Pretest mit Versuchspersonen der Zielgruppe
- Erhebung, Probandenakquise (n ≈ 400)
https://ww3.unipark.de/www/front.php?module=&controller=login&act=&message=logout_o
k&lang=de
13
15. DEPARTMENT INFORMATION
Christiane Behnert
7. QUELLEN
[1] Borlund, P., & Ingwersen, P. (1997). The development of a method for the evaluation of interactive
information retrieval systems. Journal of Documentation, 53(3), 225–250.
https://doi.org/10.1108/EUM0000000007198
[2] Kelly, D. (2009). Methods for evaluating interactive information retrieval systems with users.
Foundations and Trends® in Information Retrieval, 3(1—2).
[3] Kelly, D., & Cresenzi, A. (2016). From design to analysis: Conducting controlled laboratory
experiments with users. In Proceedings of the 39th International ACM SIGIR Conference on Research
and Development in Information Retrieval - SIGIR ’16 (1207–1210). New York, New York, USA: ACM
Press.
[4] Mizzaro, S. (1997). Relevance: The whole history. Journal of the American Society for Information
Science, 48(9), 810–832.
[5] Rieh, S. Y. (2002). Judgment of information quality and cognitive authority in the Web. Journal of the
American Society for Information Science and Technology, 53(2), 145–161.
[6] Saracevic, T. (2016). The notion of relevance in Information Science: Everybody knows what
relevance is. But, what is it really? (G. Marchionini, Ed.), Synthesis Lectures on Information Concepts,
Retrieval, and Services; 50. Morgan & Claypool.
[7] Sedlmeier, P., & Renkewitz, F. (2007). Forschungsmethoden und Statistik in der Psychologie.
München ; Boston [u.a.]: Pearson Studium, 123-180.
[8] Wang, P., & Soergel, D. (1998). A cognitive model of document use during a research project. Study
I. Document selection. Journal of the American Society for Information Science, 49(2), 115–133.
[9] Wilson, P. (1983). Second-hand knowledge: An inquiry into cognitive authority. Westport, Conn.;
London, UK: Greenwood Press.
14