Wie können wir (Suchmaschinen-)Nutzer besserverstehen?Dirk LewandowskiHochschule für Angewandte Wissenschaften Hamburg
Suchmaschinen
E-Commerce
Site-intern und andere Datenbestände
Nutzer verstehen – was heißt das eigentlich?•    Die Wünsche der Nutzer an ein ideales Suchsystem kennen?•    Die Suchanfr...
Modell der Suchmaschinen-Qualität(Lewandowski & Höchstötter 2007, ergänzt)•  Qualität des Index     –  Größe des Datenbest...
Modell der Suchmaschinen-Qualität(Lewandowski & Höchstötter 2007, ergänzt)•  Qualität des Index     –  Größe des Datenbest...
Methoden•    Logfile-Analysen      –  Alle Nutzerinteraktionen in einer Suchmaschine•    Online-Umfrage      –  Befragung ...
Logfile-Analysen•    Verständnis des Nutzerverhaltens aus den echten Interaktionen mit einer     Suchmaschine.+  Komplette...
Sonderfall: Suchanfragen verstehen•    bbl•    vatikan•    stockbrot•    motonetix•    nedcom•    fußball•    drehscheibe•...
Beispiel: Navigationsorientierte Suchanfragen anhand von Klicksbestimmen                  (Lewandowski, Drechsler & von Ma...
Suchanfragen im Kontext
Online-Umfrage•    Befragung der echten Nutzer einer Suchmaschine+  Es lässt sich relativ schnell eine große Nutzerzahl be...
Retrievaltest•    (Anonymisierte) Bewertung der Qualität der Ergebnisse.+  Etablierte Methode zur Bewertung der Ergebnisqu...
Retrievaltest
Retrievaltest: Ergebnisse
Protokollbasierte Nutzerstudie•    Protokollierung der Interaktionen ausgewählter Nutzer mit der Suchmaschine; basiert    ...
Usability-Test•    Bei der Bearbeitung von Aufgaben werden die Nutzer im Labor beobachtet und     befragt.+  Gute Methode,...
Beispiel: Beobachtung der Nutzung von Suchvorschlägen
Beispiel: Vergleich von anonymisierten Vorschlagssets
Eyetracking•    Beobachtung des Blickverhaltens während der Arbeit am Bildschirm.+  Gute Methode, um die Platzierung von E...
xxxx•    xxxx
xxxx•    xxxx
xxxx•    xxxx
Methodenkombinationen
Methodenkombinationen•    Typische Beispiele für Grenzen der Untersuchungsmethoden:      –  Der Retrievaltest ergibt, dass...
Methodenkombination: BeispieleEvaluierung und Verbesserung derMusiksuche•    Laborstudie      –  Aufgabenbasierte Usabilit...
Methodenkombination: BeispieleUsability-Studie zur lokalen Suche bei T-Online•    Laborstudie      –  Aufgabenbasierte Usa...
Methodenkombination: BeispieleInterpretation von Suchanfragen•    Logfile-Analyse•    Online-Umfrage (getriggert)à U.a. k...
Fazit        1.  Bislang keine etablierte Methodik zur Evaluierung von Suchsystemen.        2.  Bei der Evaluierung von Su...
Vielen Dank für Ihre AufmerksamkeitDirk Lewandowskidirk.lewandowski@haw-hamburg,dehttp://www.bui.haw-hamburg.de/lewandowsk...
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Nächste SlideShare
Wird geladen in …5
×

Wie können wir (Suchmaschinen-)Nutzer besser verstehen?

600 Aufrufe

Veröffentlicht am

Veröffentlicht in: Technologie
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
600
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
2
Aktionen
Geteilt
0
Downloads
2
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Wie können wir (Suchmaschinen-)Nutzer besser verstehen?

  1. 1. Wie können wir (Suchmaschinen-)Nutzer besserverstehen?Dirk LewandowskiHochschule für Angewandte Wissenschaften Hamburg
  2. 2. Suchmaschinen
  3. 3. E-Commerce
  4. 4. Site-intern und andere Datenbestände
  5. 5. Nutzer verstehen – was heißt das eigentlich?•  Die Wünsche der Nutzer an ein ideales Suchsystem kennen?•  Die Suchanfragen der Nutzer interpretieren?•  Die konkreten Probleme der Nutzer mit einem konkreten System kennen?•  Die Informationsbedürfnisse der Nutzer eines konkreten Systems kennen?•  ... ?
  6. 6. Modell der Suchmaschinen-Qualität(Lewandowski & Höchstötter 2007, ergänzt)•  Qualität des Index –  Größe des Datenbestands, Abdeckung des Web –  Abdeckung bestimmter Bereiche (Sprachräume, Länder) –  Überschneidungen der Indices –  Aktualität des Datenbestands•  Qualität der Suchresultate –  Retrievaleffektivität –  Zuverlässigkeit der Suchergebnisse –  Zufriedenheit der Nutzer –  Überschneidungen der (Top-)Ergebnisse•  Qualität der Suchfunktionen•  Nutzerfreundlichkeit + Benutzerführung –  Aufbau der Trefferseiten
  7. 7. Modell der Suchmaschinen-Qualität(Lewandowski & Höchstötter 2007, ergänzt)•  Qualität des Index –  Größe des Datenbestands, Abdeckung des Web –  Abdeckung bestimmter Bereiche (Sprachräume, Länder) –  Überschneidungen der Indices –  Aktualität des Datenbestands•  Qualität der Suchresultate –  Retrievaleffektivität –  Zuverlässigkeit der Suchergebnisse –  Zufriedenheit der Nutzer –  Überschneidungen der (Top-)Ergebnisse•  Qualität der Suchfunktionen•  Nutzerfreundlichkeit + Benutzerführung –  Aufbau der Trefferseiten
  8. 8. Methoden•  Logfile-Analysen –  Alle Nutzerinteraktionen in einer Suchmaschine•  Online-Umfrage –  Befragung mittels Online-Fomularen•  Retrievaltest –  Abfrage der Qualität von Suchergebnissen mittels Befragung•  Protokollbasierte Nutzerstudie –  Beobachtung analog der Logfile-Analyse, aber gezielt ausgewählte Nutzer•  Usability-Test –  Aufgabenbasierte Befragung i.d.R. im Labor; Frage nach Beurteilung und Beweggründen•  Eyetracking –  Aufzeichnung von Blickverläufen und Fixationen, Frage nach der Wahrnehmung von Angeboten/Elementen von Webseiten
  9. 9. Logfile-Analysen•  Verständnis des Nutzerverhaltens aus den echten Interaktionen mit einer Suchmaschine.+  Komplette Erfassung aller Interaktionen mit der Suchmaschine, daraus in der Regel eine große Stichprobe.+  Gut geeignet, um einen Einblick in die Suchanfragen der Nutzer zu bekommen.-  Keine Informationen über die Nutzer.-  Keine Vergleiche möglich, da Daten nur von der eigenen Suchmaschine vorliegen.-  Kann erst eingesetzt werden, wenn ein fertiges System mit echten Nutzern vorliegt.
  10. 10. Sonderfall: Suchanfragen verstehen•  bbl•  vatikan•  stockbrot•  motonetix•  nedcom•  fußball•  drehscheibe•  frauentausch•  seelenfarben•  kachelmannwetter•  osterei•  wie ich•  wow
  11. 11. Beispiel: Navigationsorientierte Suchanfragen anhand von Klicksbestimmen (Lewandowski, Drechsler & von Mach, im Druck)
  12. 12. Suchanfragen im Kontext
  13. 13. Online-Umfrage•  Befragung der echten Nutzer einer Suchmaschine+  Es lässt sich relativ schnell eine große Nutzerzahl befragen.+  Auswertung wenig problematisch.-  Selbstselektion der Befragten.-  Es können nur Nutzer erreicht werden, keine Nichtnutzer.
  14. 14. Retrievaltest•  (Anonymisierte) Bewertung der Qualität der Ergebnisse.+  Etablierte Methode zur Bewertung der Ergebnisqualität.+  Möglichkeit, große Mengen von Treffern bewerten zu lassen.+  Die Ergebnisse werden ohne Kenntnis der Suchmaschine(n) bewertet, Markeneffekte u.ä. entfallen daher.-  Ergebnisse werden isoliert betrachtet, daher Rückschlüsse auf Ergebnismengen problematisch.-  Suchaufgaben artifiziell, dadurch Verzerrung der Ergebnisse möglich.
  15. 15. Retrievaltest
  16. 16. Retrievaltest: Ergebnisse
  17. 17. Protokollbasierte Nutzerstudie•  Protokollierung der Interaktionen ausgewählter Nutzer mit der Suchmaschine; basiert auf konkreten Aufgabestellungen.+  Verbindung von echten Interaktionsdaten mit Daten über die konkreten Nutzer.+  Vor- und Nachbefragungen möglich.+  Erfassung problemlos möglich; Protokollierung während des Tests ist nicht störend.-  In der Regel auf eine relativ kleine Nutzerzahl beschränkt.-  Rückmeldungen werden nur über Fragebögen erfasst.
  18. 18. Usability-Test•  Bei der Bearbeitung von Aufgaben werden die Nutzer im Labor beobachtet und befragt.+  Gute Methode, um Probleme bei der Nutzung und Nutzerwünsche herauszufinden.+  Möglichkeit der Nachfrage; Eingehen auf den individuellen Nutzer.-  In der Regel geringe Nutzerzahlen, da jeder Nutzer einzeln ins Labor eingeladen werden muss.-  Verfälschung durch Laborsituation.
  19. 19. Beispiel: Beobachtung der Nutzung von Suchvorschlägen
  20. 20. Beispiel: Vergleich von anonymisierten Vorschlagssets
  21. 21. Eyetracking•  Beobachtung des Blickverhaltens während der Arbeit am Bildschirm.+  Gute Methode, um die Platzierung von Elementen auf den Seiten zu prüfen.-  In der Regel geringe Nutzerzahlen, da jeder Nutzer einzeln ins Labor eingeladen werden muss.-  Verfälschung durch Laborsituation.
  22. 22. xxxx•  xxxx
  23. 23. xxxx•  xxxx
  24. 24. xxxx•  xxxx
  25. 25. Methodenkombinationen
  26. 26. Methodenkombinationen•  Typische Beispiele für Grenzen der Untersuchungsmethoden: –  Der Retrievaltest ergibt, dass die Ergebnisse im Vergleich zur Konkurrenz gut sind. Die Nutzer verwenden die Suchmaschine trotzdem nicht. –  Der Usabilitytest ergibt, dass die Qualität der Ergebnisse schlecht ist. –  Die Logfileanalyse ergibt, dass Nutzer immer wieder an einer bestimmten Stelle in der Interaktion abbrechen. –  Das Eyetracking zeigt, dass die Drill-Down-Menüs nicht wahrgenommen werden. à Nur durch Methodenkombination können Suchsysteme adäquat evaluiert werden.
  27. 27. Methodenkombination: BeispieleEvaluierung und Verbesserung derMusiksuche•  Laborstudie –  Aufgabenbasierte Usability-Tests –  Eyetracking•  Retrievaltestà U.a. konnten Gründe für die von denNutzern bemängelte Ergebnisqualitätgefunden werden.
  28. 28. Methodenkombination: BeispieleUsability-Studie zur lokalen Suche bei T-Online•  Laborstudie –  Aufgabenbasierte Usability-Tests –  Eyetracking•  Logfile-Analyseà U.a. konnten in der Laborstudieaufgetretene Schwierigkeiten mit mehrerenEingabefeldern anhand der Logfiles belegtwerden.
  29. 29. Methodenkombination: BeispieleInterpretation von Suchanfragen•  Logfile-Analyse•  Online-Umfrage (getriggert)à U.a. konnte gezeigt werden, dass NutzerSchwierigkeiten bei der Beschreibung/Klassifizierung ihrer eigenenInformationsbedürfnisse haben.
  30. 30. Fazit 1.  Bislang keine etablierte Methodik zur Evaluierung von Suchsystemen. 2.  Bei der Evaluierung von Suchsystemen sollte jeweils eine geeignete Methodenkombination gewählt werden. 3.  Evaluierung des Suchprozesses und der Suchergebnisse sind essentiell für die Verbesserung von Suchsystemen.
  31. 31. Vielen Dank für Ihre AufmerksamkeitDirk Lewandowskidirk.lewandowski@haw-hamburg,dehttp://www.bui.haw-hamburg.de/lewandowski.html

×