a talk concerning usability and usefulness in digital libraries

1. Usability & usefulness in digital libraries
Summer School Digital Libraries
20‐24. September 2010 Bozen‐Bolzano
Prof. Dr. René Schneider, Haute Ecole de Gestion, Genf

2. Warum?
4. Aktuelle Trends in der Evaluation kennenlernen
3. Lernen, selbst zu evaluieren oder Evaluationen zu beauftragen
2. Grundkenntnisse vermeiden Fehler in der Konzeption von DL
1. Usability und Usefulness sind essentiell für die Kundenarbeit

3. Überblick
4. Forschungsprojekt ACCEPT
2. Usability (in Digital Libraries) 3. Usefulness (in Digital Libraries)
1. Begriffe & Definitionen

4. 1. Begriffe & Definitionen

5. Definition: Digital Libraries
"Digital libraries are organized collections of digital
information.
They combine the structuring and gathering of
information, which libraries and archives have
always done, with the digital representation that
computers have made possible."
Practical Digital Libraries. Michael Lesk. Morgan Kaufmann. 1997.

6. Beispiel
http://sunsite.berkeley.edu

7. Frage
Welcher Prozess steckt hinter diesen Begriffen?

8. Enwicklungsprozess
http://www.slideshare.net/UIEpreviews/search‐discovery‐patterns‐a‐uie‐virtual‐seminar

9. Definition: Evaluation
Evaluation (Evaluierung) ist in der allgemeinsten
Bedeutung die Bewertung von
Organisationseinheiten, Prozessen und
Ergebnissen dieser Prozesse gemeint.
Darunter fällt auch Software bzw. besondere
Bestandteile dieser Software, also
Benutzerschnittstellen und Inhalte.

10. Evaluation: Prinzipien
“Regardless of methodology, evaluation
is a social activity.”
Hirschman/Mani 2003
http://findability.org/images/uxpeople.png

11. Frage
Welche Eigenschaften sollte eine
benutzerfreundliche digitale Bibliothek besitzen ?

12. Beispiel
http://semanticstudios.com/publications/semantics/images/honeycombbig.jpg

13. Barrierefreiheit & Universal Design

14. Evaluation: Motivation
 Wie können diese unterschiedlichen Eigenschaften
während
• der Entwicklung (development)
• des Testens (testing)
• der Auslieferung (deployment)
in objektive Qualitätskriterien gefasst werden?
 Zielgruppen / Interessenten
• Geldgeber,
• Projektmanager,
• Entwickler,
• Benutzer.

15. Evaluationstypen
 Bewertende Evaluation: How good?
• Hier wird eine bestimmte gewünschte oder geforderte
Systemeigenschaft geprüft.
 Analysierende Evaluation: Why bad?
• Ziel dieser Evaluation ist es, Hinweise auf Schwachstellen zu
erhalten, um direkte Gestaltungsvorschläge zu liefern.
 Vergleichende Evaluation: Which is better?
• Zwei oder mehr Systeme werden miteinander verglichen

16. Objektive vs. subjektive Methoden(1)
objektive Methoden
versucht, die subjektiven Einflüsse weitgehend auszuschalten.
Objektive Methoden ermitteln harte Daten, beispielsweise
präzise Angaben über Bearbeitungszeiten und Fehlerzahlen.
Ziel der objektiven Methoden ist die Beobachtung der
tatsächlichen Benutzung der Anwendung. Die Beobachtung
ohne technische Unterstützung erfolgt mit Hilfe von
Beobachtungsprotokollen, die in der Regel in strukturierter
Form vorliegen und die zu beobachteten Sachverhalte vorgeben.
Beispiel: Logfile‐Analyse

17. Objektive vs. subjektive Methoden(2)
subjektive Methoden
Bei subjektiven Methoden steht die Bewertung der
Benutzungsschnittstelle durch den Benutzer im Vordergrund.
Es werden hier sogenannte weiche Daten ermittelt,
beispielsweise ob die Benutzung des Systems einfach,
angenehm und verständlich ist. Vorwiegend werden hier
Befragungen der Benutzer eingesetzt. Dabei können die
Befragungen per Fragebogen oder als Interview erfolgen.
Beispiel: Usability‐Test

18. Kriterien für die Wahl einer Methode
 Was ist das Ziel der Evaluation?
• Geht es um einen abschließenden Test des Gesamtsystems,
oder sollen bestimmte Aspekte überprüft werden?
 Wer soll die Evaluation durchführen?
• Ist es besser, dass ein Experte das System inspiziert, oder
sollten auch Benutzer die Evaluation durchführen?
 Wo soll die Evaluation durchgeführt werden?
• Soll sie in einem Labor oder einem Arbeitsplatz
durchgeführt werden?

19. Kriterien für die Wahl einer Methode
 Welche Informationen werden gesammelt?
• Was soll gemessen werden, welche Daten sind von
Bedeutung?
 Wie groß sind die Ressourcen?
• Wieviel Geld und Zeit stehen für die Evaluation zur
Verfügung?

20. Vorgehen
Für die Durchführung einer gelungenen Evaluation geht
es also darum, eine Vielzahl von Parameter a priori
abzuschätzen.
Dabei kann es hilfreich sein, diese Parameter als Online‐
Beratungshilfe zur Verfügung zu stellen, um die
Entscheidungsfindung zu erleichtern.
Evaluierungsplattform CHEVAL der HTW Chur:
http://www.cheval‐lab.ch/online‐beratungskomponente

21. Das « LHC‐Problem »
Für fast alle Evaluationsmethoden muss beachtet werden,
dass ein erheblicher Arbeitsaufwand für die Auswertung
entsteht, der Tage, in vielen Fällen Wochen beansprucht.

22. Definition: Usability
In design, Usability is the study
of the ease with which people
can employ a particular tool or
other human‐made object in
order to achieve a particular
goal. ...
en.wikipedia.org/wiki/Usability
The state or condition of being
usable; The degree to which an
object, device, software
application, etc. is easy to use
with no specific training
en.wiktionary.org/wiki/usability

23. Usability: Charakterisika (Nielsen)
 Effizienz (efficient to use)
 Zufriedenheit (subjective satisfaction)
 Erlernbarkeit (easy to learn)
 Merkbarkeit (easy to remember)
 Fehlertoleranz (few errors)

24. Usability: Methoden
 Expertenorientierte Methoden
 Cognitive Walkthrough
 Heuristische Evaluation
 Benutzerorientierte Methoden
 Fokusgruppen
 Benutzerbefragung
 Usability‐Test
s. Schweibenz/Thissen: Qualität im Web

25. Qualität ‐ Quantität
Jakob Nielsen, alertbox, 19 März 2010

26. Mythen zur Software‐Evaluierung
 Fünf Testteilnehmer reichen aus.
 Das Hauptziel eines Usability Tests ist es, Usability
Probleme zu finden.
 Ein Usability Test wird sehr viel besser, wenn er in
einem Usability Lab durchgeführt wird.
 Usability Tests sind besser als Experten‐Reviews.
 Gefundene Probleme sind einfach zu korrigieren.
Rolf Molich
http://www.slideshare.net/uxhh/5‐mythen‐ber‐usability‐testing

27. Definition: Usefulness
utility: the quality of being of
practical use
wordnetweb.princeton.edu/perl/webwn
the quality of having utility and
especially practical worth or
applicability
Merriam Webster Online Dictionary

28. 2. / 3. Usability & Usefulness in DL

29. Frage
Wie verhalten sich
Usability & Usefulness
zueinander?

30. Usability & Usefulness
Etwas kann leicht zu
bedienen, aber völlig
nutzlos sein:
Usability ist unabhängig
von Usefulness. Hingegen kann nicht
nützlich sein, was
schwer zu bedienen ist:
Usefulness ist abhängig
von Usability.

31. Usability & Usefulness in DL
Bei Usability (in
digitalen Bibliotheken)
geht es um die
Schnittstelle zum Bei der Usefulness (in
System, genauer um die digitalen Bibliotheken)
Beziehung zwischen geht es um den Inhalt,
System und Benutzer. genauer um die
Beziehung zwischen
Inhalt und Benutzer.

32. The Elements of User Experience
http://www.jjg.net/elements/pdf/elements.pdf

34. Usability & Usefulness
In beiden Fällen geht es bei der Evaluation der
Usability und der Usefulness um die Feststellung
qualitativer Merkmale und deren Beurteilung
durch den Benutzer.

35. Interaction triptych framework
http://www.is.informatik.uni‐duisburg.de/wiki/index.php/JPA_2_‐_WP7

36. Frage
Welche Merkmale kennzeichnen die Relationen zwischen
Benutzer, Inhalt und System in einer digitalen Bibliothek?

37. Interaction triptych framework
Tsakonas, Papatheodorou, 2008,
Exploring usefulness and usability in the evaluation of open access digital libraries

39. Usefulness in DL: Ausgangspunkt
Die Evaluation der Usefulness ist für Bibliotheken von
besonderem Interesse, da diese Evaluation häufig intern
(in house), d.h. durch den Bibliothekar geschehen kann.
Allerdings existieren im Gegensatz zur Evaluation der
Usability wenige ausgereifte Methoden, sondern eher
eine Vielzahl von Modellen zur Bestimmung der
Nützlichkeit.

40. Usefulness in DL: Problematik
Der Grund scheint in einem prinzipiellen Antagonismus
zwischen
• den Bibliothekaren, die die Systeme erstellen und
betreuen,
• sowie den Nutzern, die die Inhalte konsultieren
zu liegen.
Bibliothekare und Nutzer haben häufig unterschiedliche
Sichtweisen bzgl. der Nützlichkeit einer Ressource.

41. Usefulness in DL: P3 Modell
Dillon & Morris, 1999,
Power, Perception and Performance: From Usability Engineering to
Technology Acceptance with the P3 Model of User Response

42. Usefulness: Modelle
Fuhr et al., 2001,
Digital libraries: a generic classification scheme

44. Usefulness in DL: Evaluationskriterien
Fuhr et al., 2001, S. 193

46. Usefulness in DL: Voraussetzungen
Khani‐Zabihi, Ghinea & Chen, 2006,
„Digital libraries: what do users want?“

47. Usefulness in DL: Verbesserungsvorschläge
Khani‐Zabihi, Ghinea & Chen, 2006,
„Digital libraries: what do users want?“

48. Usefulness in DL: Verbesserungsvorschläge
Khani‐Zabihi, Ghinea & Chen, 2006,
„Digital libraries: what do users want?“

49. Usefulness in DL: Verbesserungsvorschläge
Khani‐Zabihi, Ghinea & Chen. 2006,
„Digital libraries: what do users want?“

50. Usefulness in DL: Verbesserungsvorschläge
Khani‐Zabihi, Ghinea & Chen. 2006,
„Digital libraries: what do users want?“

51. Das erste Mittel der Wahl bleibt …
der Fragebogen,
dessen Zusammenstellung und Auswertung alles
andere als trivial ist.

52. Überblick
4. Forschungsprojekt ACCEPT

53. 4. Forschungsprojekt ACCEPT

54. ACCEPT
Das Projekt ACCEPT untersucht die Faktoren und Hindernisse, die
eine Relevanz für die Bereitstellung digitaler Angebote im Kontext
wissenschaftlicher Bibliotheken besitzen. Dabei soll überprüft
werden, welche konkrete Wirkung die Bereitstellung elektronischer
Ressourcen in digitalen Bibliotheken hat und wie die
Erfahrungswerte der Nutzerseite auf die Gestaltung
benutzerfreundlicher Schnittstellen zu übertragen sind. Aufbauend
auf diesen Ergebnissen zum Thema "usefulness" wird die
Benutzerfreundlichkeit der Benutzerschnittstellen von E‐lib.ch mit
dem Ziel getestet, eine maximale Nutzungsbreite sowie einen
maximalen Nutzungsgrad von digitalen Ressourcen in
wissenschaftlichen Bibliotheken zu erreichen.

55. E‐lib.ch
Strategisches Ziel ist es, E‐lib.ch als
das führende und zentrale nationale
Portal im Sinne eines "Single‐Point‐
of‐Access" für die wissenschaftliche
Informationsrecherche und
Bereitstellung in der Schweiz
aufzubauen und nachhaltig zu
etablieren.

56. PERSONAS‐Studie: Universität Genf
In der ersten Projektphase wurde ein Verfahren zur Überprüfung
der Nützlichkeit der Online‐Ressourcen in Zusammenarbeit mit der
Universitätsbibliothek Genf durchgeführt.
Fokus der Umfrage:
‐ Format: Präferenz Papier – Digitale Ressource
‐ Datenträger – Kommunikationsmittel (Laptop, Smartphone, …)
‐ Zugriff: Uni – Zuhause
‐ Wichtigkeit von Volltextzugriff
‐ Verhalten bei Nichtvorhandensein einer Ressource
‐ Zeitaufwand für Suche

57. Vorgehen:
a) Erstellung und statistische Auswertung der Umfrage
b) Analyse von Gruppen und Profilen der Studenten,
wissenschaftlichen Mitarbeiter und Professoren der Universtät
Genf: Extraktion von authentischen Persönlichkeitsmerkmalen
c) Download von Public Domain Photos
d) Erstellung von PERSONAS‐Profilen für charakteristische
Benutzergruppen der einzelnen Fakultäten

58. PERSONAS‐Studie (für die Universität Genf)
1. Umfrage 2. Soziale Netzwerke 3. Publ. Dom. Photos
4. Personas‐Profile

59. PERSONA: Sophie

60. PERSONA: Philippe

61. Frage
Was sind Vor‐ und Nachteile des Personas‐Verfahrens?

62. Vorteile des Personas‐Verfahrens
 Sie helfen dem Team, sich an die Stelle des Benutzers zu
setzen.
 Benutzer werden „fassbar“: Entwickler fragen sich nicht
„Wie würde ich diese Aufgabe erledigen?“ sondern
„Wie würde John diese Aufgabe erfüllen?“.
 Grössere Identifizierung mit dem Benutzer: Personae
erhöhen die Empathie der Entwickler für den Benutzer.
 Ökonomisches Werkzeug: Personae können schnell und
unkompliziert erstellt werden. (Zeitaufwand etwa ein
bis zwei Wochen.)

63. Nachteile des Personas‐Verfahrens
 Es besteht die Gefahr der Künstlichkeit der Personen.
 Der direkte Kundenkontakt kann verloren gehen.
 Probleme bei heterogenen Benutzergruppen.
 Jedes Projekt braucht eigene Personae.
 Personen wandeln sich, (auch im Umgang mit
Systemen).

64. PERSONAS‐Studie: Universität Genf
Um auf den Kontext von digitalen Bibliotheken zurückzukommen:
es geht nicht darum, was Bibliothekare von einer Ressource oder
einer Dienstleistung wollen oder halten.
Es geht um die Bedürfnisse und Erwartungen der Kunden.
Personas sind eine einfache und effiziente Methode, diese
Bedürfnisse zu illustrieren.

65. Usability‐Tests: E‐codices
Zu Beginn der zweiten Projektphase wurden zwei
Testserien zur Evaluation der Benutzerfreundlichkeit von
E‐codices.ch (www.e‐codices.ch), einer virtuellen
Bibliothek für mittelalterliche Handschriften der Schweiz.
Die Testserien beschäftigten sich mit der Such nach
Dokumenten, insb. der fassettierten Suche sowie der
Arbeit mit dem Manuskript.
In beiden Fällen wurden vergleichende Studien
durchgeführt, d.h. E‐codices wurde direkt mit jeweils
einem anderen System verglichen.

66. Frage
Welchen Verlauf und welche Aufgaben könnte ein
solcher Test haben?

67. Testablauf: Fassettiertes Browsen
1. Bisherige Erfahrungen / Freies Surfen
2. Suchstrategie erläutern
3. Dokumente suchen
4. Dokument mit Fassette suchen
(Wechsel zur anderen Plattform)
5. Direkter Vergleich des „look&feel“
6. Gleiches Dokument suchen
7. Wissensgebiet mit Fassetten einschränken
8. Post‐hoc Interview zu Fassettierung

68. Testablauf: Arbeiten mit dem Dokument
1. Bisherige Erfahrungen / Freies Surfen
2. Suchstrategie erläutern
3. Dokumente suchen
4. Arbeiten mit dem Faksimile: Funktionen erläutern
(Wechsel zur anderen Plattform)
5. Direkter Vergleich des „look&feel“
6. Arbeiten mit dem Faksimile: Funktionen erläutern
7. Gesonderte Funktionen: RSS / Material / DFG‐Viewer
8. Post‐hoc Interview zur Arbeit mit dem Dokument

69. Analyse

70. Ergebnisse

71. Ergebnisse

72. Verbesserungsvorschläge

73. Verbesserungsvorschläge: Fassettierung

74. Suche mit Suchfenster

75. Verbesserungsvorschläge: Faksimile

76. Literatur
• ACCEPT Forschungsberichte:
http://campus.hesge.ch/id_bilingue/projekte_partner/projekte/accept/kont
ext.asp
• Schweibenz, Thissen, 2003, • Kani‐Zabihi, Ghinea & Chen, 2006,
Qualität im Web, Springer. “Digital Libraries: what do users
• Krug, 2005, Don’t make me think. want?”, Online Information Review,
New Riders. vol. 30, no. 4, pp. 395‐412.
• www.useit.com • Tsakonas, Papatheodoru (ed.),
2009, Evaluation of Digital Libraries:
An Insight into Useful Applications
and Methods, Chandos.
• Hegner, Methoden zur Evaluation von Software, IZ‐Arbeitsbericht Nr. 29,
2003

77. Fragen?
Danke für Ihre Aufmerksamkeit!