SlideShare ist ein Scribd-Unternehmen logo
Wie können wir (Suchmaschinen-)Nutzer besser
verstehen?

Dirk Lewandowski
Hochschule für Angewandte Wissenschaften Hamburg
Suchmaschinen
E-Commerce
Site-intern und andere Datenbestände
Nutzer verstehen – was heißt das eigentlich?

•    Die Wünsche der Nutzer an ein ideales Suchsystem kennen?
•    Die Suchanfragen der Nutzer interpretieren?
•    Die konkreten Probleme der Nutzer mit einem konkreten System kennen?
•    Die Informationsbedürfnisse der Nutzer eines konkreten Systems kennen?
•    ... ?
Modell der Suchmaschinen-Qualität
(Lewandowski & Höchstötter 2007, ergänzt)

•  Qualität des Index
     –  Größe des Datenbestands, Abdeckung des Web
     –  Abdeckung bestimmter Bereiche (Sprachräume, Länder)
     –  Überschneidungen der Indices
     –  Aktualität des Datenbestands
•  Qualität der Suchresultate
     –  Retrievaleffektivität
     –  Zuverlässigkeit der Suchergebnisse
     –  Zufriedenheit der Nutzer
     –  Überschneidungen der (Top-)Ergebnisse
•  Qualität der Suchfunktionen
•  Nutzerfreundlichkeit + Benutzerführung
     –  Aufbau der Trefferseiten
Modell der Suchmaschinen-Qualität
(Lewandowski & Höchstötter 2007, ergänzt)

•  Qualität des Index
     –  Größe des Datenbestands, Abdeckung des Web
     –  Abdeckung bestimmter Bereiche (Sprachräume, Länder)
     –  Überschneidungen der Indices
     –  Aktualität des Datenbestands
•  Qualität der Suchresultate
     –  Retrievaleffektivität
     –  Zuverlässigkeit der Suchergebnisse
     –  Zufriedenheit der Nutzer
     –  Überschneidungen der (Top-)Ergebnisse
•  Qualität der Suchfunktionen
•  Nutzerfreundlichkeit + Benutzerführung
     –  Aufbau der Trefferseiten
Methoden

•    Logfile-Analysen
      –  Alle Nutzerinteraktionen in einer Suchmaschine
•    Online-Umfrage
      –  Befragung mittels Online-Fomularen
•    Retrievaltest
      –  Abfrage der Qualität von Suchergebnissen mittels Befragung
•    Protokollbasierte Nutzerstudie
      –  Beobachtung analog der Logfile-Analyse, aber gezielt ausgewählte Nutzer
•    Usability-Test
      –  Aufgabenbasierte Befragung i.d.R. im Labor; Frage nach Beurteilung und Beweggründen
•    Eyetracking
      –  Aufzeichnung von Blickverläufen und Fixationen, Frage nach der Wahrnehmung von
         Angeboten/Elementen von Webseiten
Logfile-Analysen

•    Verständnis des Nutzerverhaltens aus den echten Interaktionen mit einer
     Suchmaschine.


+  Komplette Erfassung aller Interaktionen mit der Suchmaschine, daraus in der Regel
   eine große Stichprobe.
+  Gut geeignet, um einen Einblick in die Suchanfragen der Nutzer zu bekommen.


-  Keine Informationen über die Nutzer.
-  Keine Vergleiche möglich, da Daten nur von der eigenen Suchmaschine vorliegen.
-  Kann erst eingesetzt werden, wenn ein fertiges System mit echten Nutzern vorliegt.
Sonderfall: Suchanfragen verstehen

•    bbl
•    vatikan
•    stockbrot
•    motonetix
•    nedcom
•    fußball
•    drehscheibe
•    frauentausch
•    seelenfarben
•    kachelmannwetter
•    osterei
•    wie ich
•    wow
Beispiel: Navigationsorientierte Suchanfragen anhand von Klicks
bestimmen




                  (Lewandowski, Drechsler & von Mach, im Druck)
Suchanfragen im Kontext
Online-Umfrage

•    Befragung der echten Nutzer einer Suchmaschine


+  Es lässt sich relativ schnell eine große Nutzerzahl befragen.
+  Auswertung wenig problematisch.


-  Selbstselektion der Befragten.
-  Es können nur Nutzer erreicht werden, keine Nichtnutzer.
Retrievaltest

•    (Anonymisierte) Bewertung der Qualität der Ergebnisse.


+  Etablierte Methode zur Bewertung der Ergebnisqualität.
+  Möglichkeit, große Mengen von Treffern bewerten zu lassen.
+  Die Ergebnisse werden ohne Kenntnis der Suchmaschine(n) bewertet, Markeneffekte
   u.ä. entfallen daher.


-  Ergebnisse werden isoliert betrachtet, daher Rückschlüsse auf Ergebnismengen
   problematisch.
-  Suchaufgaben artifiziell, dadurch Verzerrung der Ergebnisse möglich.
Retrievaltest
Retrievaltest: Ergebnisse
Protokollbasierte Nutzerstudie

•    Protokollierung der Interaktionen ausgewählter Nutzer mit der Suchmaschine; basiert
     auf konkreten Aufgabestellungen.


+  Verbindung von echten Interaktionsdaten mit Daten über die konkreten Nutzer.
+  Vor- und Nachbefragungen möglich.
+  Erfassung problemlos möglich; Protokollierung während des Tests ist nicht störend.


-  In der Regel auf eine relativ kleine Nutzerzahl beschränkt.
-  Rückmeldungen werden nur über Fragebögen erfasst.
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Usability-Test

•    Bei der Bearbeitung von Aufgaben werden die Nutzer im Labor beobachtet und
     befragt.


+  Gute Methode, um Probleme bei der Nutzung und Nutzerwünsche herauszufinden.
+  Möglichkeit der Nachfrage; Eingehen auf den individuellen Nutzer.


-  In der Regel geringe Nutzerzahlen, da jeder Nutzer einzeln ins Labor eingeladen
   werden muss.
-  Verfälschung durch Laborsituation.
Beispiel: Beobachtung der Nutzung von Suchvorschlägen
Beispiel: Vergleich von anonymisierten Vorschlagssets
Eyetracking

•    Beobachtung des Blickverhaltens während der Arbeit am Bildschirm.


+  Gute Methode, um die Platzierung von Elementen auf den Seiten zu prüfen.


-  In der Regel geringe Nutzerzahlen, da jeder Nutzer einzeln ins Labor eingeladen
   werden muss.
-  Verfälschung durch Laborsituation.
xxxx

•    xxxx
xxxx

•    xxxx
xxxx

•    xxxx
Methodenkombinationen
Methodenkombinationen

•    Typische Beispiele für Grenzen der Untersuchungsmethoden:
      –  Der Retrievaltest ergibt, dass die Ergebnisse im Vergleich zur Konkurrenz gut
         sind. Die Nutzer verwenden die Suchmaschine trotzdem nicht.
      –  Der Usabilitytest ergibt, dass die Qualität der Ergebnisse schlecht ist.
      –  Die Logfileanalyse ergibt, dass Nutzer immer wieder an einer bestimmten Stelle
         in der Interaktion abbrechen.
      –  Das Eyetracking zeigt, dass die Drill-Down-Menüs nicht wahrgenommen werden.


 à Nur durch Methodenkombination können Suchsysteme adäquat evaluiert werden.
Methodenkombination: Beispiele

Evaluierung und Verbesserung der
Musiksuche
•    Laborstudie
      –  Aufgabenbasierte Usability-Tests
      –  Eyetracking
•    Retrievaltest


à U.a. konnten Gründe für die von den
Nutzern bemängelte Ergebnisqualität
gefunden werden.
Methodenkombination: Beispiele

Usability-Studie zur lokalen Suche bei T-
Online
•    Laborstudie
      –  Aufgabenbasierte Usability-Tests
      –  Eyetracking
•    Logfile-Analyse


à U.a. konnten in der Laborstudie
aufgetretene Schwierigkeiten mit mehreren
Eingabefeldern anhand der Logfiles belegt
werden.
Methodenkombination: Beispiele

Interpretation von Suchanfragen
•    Logfile-Analyse
•    Online-Umfrage (getriggert)


à U.a. konnte gezeigt werden, dass Nutzer
Schwierigkeiten bei der Beschreibung/
Klassifizierung ihrer eigenen
Informationsbedürfnisse haben.
Fazit




        1.  Bislang keine etablierte Methodik zur Evaluierung von Suchsystemen.

        2.  Bei der Evaluierung von Suchsystemen sollte jeweils eine geeignete
            Methodenkombination gewählt werden.

        3.  Evaluierung des Suchprozesses und der Suchergebnisse sind
            essentiell für die Verbesserung von Suchsystemen.
Vielen Dank für Ihre Aufmerksamkeit


Dirk Lewandowski
dirk.lewandowski@haw-hamburg,de




http://www.bui.haw-hamburg.de/lewandowski.html

Weitere ähnliche Inhalte

Ähnlich wie Wie können wir (Suchmaschinen-)Nutzer besser verstehen?

Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
Dirk Lewandowski
 
[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...
[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...
[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...
UserZoom Deutschland
 
Wie Suchmaschinen (immer noch) die Bibliotheken herausfordern
Wie Suchmaschinen (immer noch) die Bibliotheken herausfordernWie Suchmaschinen (immer noch) die Bibliotheken herausfordern
Wie Suchmaschinen (immer noch) die Bibliotheken herausfordern
Dirk Lewandowski
 
Ethnographische Studien und Kontextinterviews bei eResult
Ethnographische Studien und Kontextinterviews bei eResultEthnographische Studien und Kontextinterviews bei eResult
Ethnographische Studien und Kontextinterviews bei eResult
eResult_GmbH
 
Workshop "Direkte Nutzerunterstützung durch Suchvorschläge während der Eingab...
Workshop "Direkte Nutzerunterstützung durch Suchvorschläge während der Eingab...Workshop "Direkte Nutzerunterstützung durch Suchvorschläge während der Eingab...
Workshop "Direkte Nutzerunterstützung durch Suchvorschläge während der Eingab...
Dirk Lewandowski
 
Usability Methoden
Usability  MethodenUsability  Methoden
Usability Methoden
Nina Rebele
 
TWT Usability Testing
TWT Usability Testing TWT Usability Testing
TWT Usability Testing
TWT
 
Wissensarmut trotz (oder gar durch) Nutzung von Suchmaschinen
Wissensarmut trotz (oder gar durch) Nutzung von SuchmaschinenWissensarmut trotz (oder gar durch) Nutzung von Suchmaschinen
Wissensarmut trotz (oder gar durch) Nutzung von Suchmaschinen
Dirk Lewandowski
 
Low Budget Usability Testing Webtreff Konstanz Patric Schmid Benutzerzentrale
Low Budget Usability Testing Webtreff Konstanz Patric Schmid BenutzerzentraleLow Budget Usability Testing Webtreff Konstanz Patric Schmid Benutzerzentrale
Low Budget Usability Testing Webtreff Konstanz Patric Schmid Benutzerzentrale
Patric Schmid
 
[Webinar] So geht UX Research heute
[Webinar] So geht UX Research heute[Webinar] So geht UX Research heute
[Webinar] So geht UX Research heute
UserZoom Deutschland
 
Wie gut sind Google und Co.?
Wie gut sind Google und Co.?Wie gut sind Google und Co.?
Wie gut sind Google und Co.?
Dirk Lewandowski
 
Wie gut sind Google und Co.?
Wie gut sind Google und Co.?Wie gut sind Google und Co.?
Wie gut sind Google und Co.?
Dirk Lewandowski
 
Ausgewählte Forschungsfragen im Bereich Suche
Ausgewählte Forschungsfragen im Bereich SucheAusgewählte Forschungsfragen im Bereich Suche
Ausgewählte Forschungsfragen im Bereich Suche
Dirk Lewandowski
 
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...
Hamburg University of Applied Sciences (HAW)
 
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
Dirk Lewandowski
 
Webanalyse-Methoden zur Optimierung von Onlinehilfe
Webanalyse-Methoden zur Optimierung von OnlinehilfeWebanalyse-Methoden zur Optimierung von Onlinehilfe
Webanalyse-Methoden zur Optimierung von Onlinehilfe
Axel Regnet
 
German Web Usability Training
German Web Usability TrainingGerman Web Usability Training
German Web Usability Training
Paulina
 
Wie Web 2.0 und Suche zusammenwachsen
Wie Web 2.0 und Suche zusammenwachsenWie Web 2.0 und Suche zusammenwachsen
Wie Web 2.0 und Suche zusammenwachsen
Dirk Lewandowski
 
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
USECON
 

Ähnlich wie Wie können wir (Suchmaschinen-)Nutzer besser verstehen? (20)

Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
 
[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...
[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...
[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...
 
Wie Suchmaschinen (immer noch) die Bibliotheken herausfordern
Wie Suchmaschinen (immer noch) die Bibliotheken herausfordernWie Suchmaschinen (immer noch) die Bibliotheken herausfordern
Wie Suchmaschinen (immer noch) die Bibliotheken herausfordern
 
Ethnographische Studien und Kontextinterviews bei eResult
Ethnographische Studien und Kontextinterviews bei eResultEthnographische Studien und Kontextinterviews bei eResult
Ethnographische Studien und Kontextinterviews bei eResult
 
Workshop "Direkte Nutzerunterstützung durch Suchvorschläge während der Eingab...
Workshop "Direkte Nutzerunterstützung durch Suchvorschläge während der Eingab...Workshop "Direkte Nutzerunterstützung durch Suchvorschläge während der Eingab...
Workshop "Direkte Nutzerunterstützung durch Suchvorschläge während der Eingab...
 
Usability Methoden
Usability  MethodenUsability  Methoden
Usability Methoden
 
TWT Usability Testing
TWT Usability Testing TWT Usability Testing
TWT Usability Testing
 
Wissensarmut trotz (oder gar durch) Nutzung von Suchmaschinen
Wissensarmut trotz (oder gar durch) Nutzung von SuchmaschinenWissensarmut trotz (oder gar durch) Nutzung von Suchmaschinen
Wissensarmut trotz (oder gar durch) Nutzung von Suchmaschinen
 
Low Budget Usability Testing Webtreff Konstanz Patric Schmid Benutzerzentrale
Low Budget Usability Testing Webtreff Konstanz Patric Schmid BenutzerzentraleLow Budget Usability Testing Webtreff Konstanz Patric Schmid Benutzerzentrale
Low Budget Usability Testing Webtreff Konstanz Patric Schmid Benutzerzentrale
 
[Webinar] So geht UX Research heute
[Webinar] So geht UX Research heute[Webinar] So geht UX Research heute
[Webinar] So geht UX Research heute
 
Wie gut sind Google und Co.?
Wie gut sind Google und Co.?Wie gut sind Google und Co.?
Wie gut sind Google und Co.?
 
Wie gut sind Google und Co.?
Wie gut sind Google und Co.?Wie gut sind Google und Co.?
Wie gut sind Google und Co.?
 
Ausgewählte Forschungsfragen im Bereich Suche
Ausgewählte Forschungsfragen im Bereich SucheAusgewählte Forschungsfragen im Bereich Suche
Ausgewählte Forschungsfragen im Bereich Suche
 
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...
 
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
 
Webanalyse-Methoden zur Optimierung von Onlinehilfe
Webanalyse-Methoden zur Optimierung von OnlinehilfeWebanalyse-Methoden zur Optimierung von Onlinehilfe
Webanalyse-Methoden zur Optimierung von Onlinehilfe
 
German Web Usability Training
German Web Usability TrainingGerman Web Usability Training
German Web Usability Training
 
Suchmaschinen vs. OPAC
Suchmaschinen vs. OPACSuchmaschinen vs. OPAC
Suchmaschinen vs. OPAC
 
Wie Web 2.0 und Suche zusammenwachsen
Wie Web 2.0 und Suche zusammenwachsenWie Web 2.0 und Suche zusammenwachsen
Wie Web 2.0 und Suche zusammenwachsen
 
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
 

Mehr von Dirk Lewandowski

The Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web IndexThe Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web Index
Dirk Lewandowski
 
In a World of Biased Search Engines
In a World of Biased Search EnginesIn a World of Biased Search Engines
In a World of Biased Search Engines
Dirk Lewandowski
 
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
Dirk Lewandowski
 
Künstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei SuchmaschinenKünstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei Suchmaschinen
Dirk Lewandowski
 
Analysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topicsAnalysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topics
Dirk Lewandowski
 
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändertGoogle Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Dirk Lewandowski
 
Suchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von SuchdienstenSuchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von Suchdiensten
Dirk Lewandowski
 
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Dirk Lewandowski
 
Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?
Dirk Lewandowski
 
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Dirk Lewandowski
 
Wie Suchmaschinen die Inhalte des Web interpretieren
Wie Suchmaschinen die Inhalte des Web interpretierenWie Suchmaschinen die Inhalte des Web interpretieren
Wie Suchmaschinen die Inhalte des Web interpretieren
Dirk Lewandowski
 
Perspektiven eines Open Web Index
Perspektiven eines Open Web IndexPerspektiven eines Open Web Index
Perspektiven eines Open Web Index
Dirk Lewandowski
 
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Dirk Lewandowski
 
Suchmaschinen verstehen
Suchmaschinen verstehenSuchmaschinen verstehen
Suchmaschinen verstehen
Dirk Lewandowski
 
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und EntwicklungsperspektivenInternet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Dirk Lewandowski
 
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Dirk Lewandowski
 
Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von SuchmaschinenVerwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Dirk Lewandowski
 

Mehr von Dirk Lewandowski (20)

The Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web IndexThe Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web Index
 
In a World of Biased Search Engines
In a World of Biased Search EnginesIn a World of Biased Search Engines
In a World of Biased Search Engines
 
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
 
Künstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei SuchmaschinenKünstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei Suchmaschinen
 
Analysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topicsAnalysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topics
 
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändertGoogle Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
 
Suchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von SuchdienstenSuchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von Suchdiensten
 
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
 
Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?
 
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
 
Wie Suchmaschinen die Inhalte des Web interpretieren
Wie Suchmaschinen die Inhalte des Web interpretierenWie Suchmaschinen die Inhalte des Web interpretieren
Wie Suchmaschinen die Inhalte des Web interpretieren
 
Perspektiven eines Open Web Index
Perspektiven eines Open Web IndexPerspektiven eines Open Web Index
Perspektiven eines Open Web Index
 
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
 
Suchmaschinen verstehen
Suchmaschinen verstehenSuchmaschinen verstehen
Suchmaschinen verstehen
 
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und EntwicklungsperspektivenInternet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
 
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
 
Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von SuchmaschinenVerwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
 

Wie können wir (Suchmaschinen-)Nutzer besser verstehen?

  • 1. Wie können wir (Suchmaschinen-)Nutzer besser verstehen? Dirk Lewandowski Hochschule für Angewandte Wissenschaften Hamburg
  • 4. Site-intern und andere Datenbestände
  • 5. Nutzer verstehen – was heißt das eigentlich? •  Die Wünsche der Nutzer an ein ideales Suchsystem kennen? •  Die Suchanfragen der Nutzer interpretieren? •  Die konkreten Probleme der Nutzer mit einem konkreten System kennen? •  Die Informationsbedürfnisse der Nutzer eines konkreten Systems kennen? •  ... ?
  • 6. Modell der Suchmaschinen-Qualität (Lewandowski & Höchstötter 2007, ergänzt) •  Qualität des Index –  Größe des Datenbestands, Abdeckung des Web –  Abdeckung bestimmter Bereiche (Sprachräume, Länder) –  Überschneidungen der Indices –  Aktualität des Datenbestands •  Qualität der Suchresultate –  Retrievaleffektivität –  Zuverlässigkeit der Suchergebnisse –  Zufriedenheit der Nutzer –  Überschneidungen der (Top-)Ergebnisse •  Qualität der Suchfunktionen •  Nutzerfreundlichkeit + Benutzerführung –  Aufbau der Trefferseiten
  • 7. Modell der Suchmaschinen-Qualität (Lewandowski & Höchstötter 2007, ergänzt) •  Qualität des Index –  Größe des Datenbestands, Abdeckung des Web –  Abdeckung bestimmter Bereiche (Sprachräume, Länder) –  Überschneidungen der Indices –  Aktualität des Datenbestands •  Qualität der Suchresultate –  Retrievaleffektivität –  Zuverlässigkeit der Suchergebnisse –  Zufriedenheit der Nutzer –  Überschneidungen der (Top-)Ergebnisse •  Qualität der Suchfunktionen •  Nutzerfreundlichkeit + Benutzerführung –  Aufbau der Trefferseiten
  • 8. Methoden •  Logfile-Analysen –  Alle Nutzerinteraktionen in einer Suchmaschine •  Online-Umfrage –  Befragung mittels Online-Fomularen •  Retrievaltest –  Abfrage der Qualität von Suchergebnissen mittels Befragung •  Protokollbasierte Nutzerstudie –  Beobachtung analog der Logfile-Analyse, aber gezielt ausgewählte Nutzer •  Usability-Test –  Aufgabenbasierte Befragung i.d.R. im Labor; Frage nach Beurteilung und Beweggründen •  Eyetracking –  Aufzeichnung von Blickverläufen und Fixationen, Frage nach der Wahrnehmung von Angeboten/Elementen von Webseiten
  • 9. Logfile-Analysen •  Verständnis des Nutzerverhaltens aus den echten Interaktionen mit einer Suchmaschine. +  Komplette Erfassung aller Interaktionen mit der Suchmaschine, daraus in der Regel eine große Stichprobe. +  Gut geeignet, um einen Einblick in die Suchanfragen der Nutzer zu bekommen. -  Keine Informationen über die Nutzer. -  Keine Vergleiche möglich, da Daten nur von der eigenen Suchmaschine vorliegen. -  Kann erst eingesetzt werden, wenn ein fertiges System mit echten Nutzern vorliegt.
  • 10. Sonderfall: Suchanfragen verstehen •  bbl •  vatikan •  stockbrot •  motonetix •  nedcom •  fußball •  drehscheibe •  frauentausch •  seelenfarben •  kachelmannwetter •  osterei •  wie ich •  wow
  • 11. Beispiel: Navigationsorientierte Suchanfragen anhand von Klicks bestimmen (Lewandowski, Drechsler & von Mach, im Druck)
  • 13. Online-Umfrage •  Befragung der echten Nutzer einer Suchmaschine +  Es lässt sich relativ schnell eine große Nutzerzahl befragen. +  Auswertung wenig problematisch. -  Selbstselektion der Befragten. -  Es können nur Nutzer erreicht werden, keine Nichtnutzer.
  • 14. Retrievaltest •  (Anonymisierte) Bewertung der Qualität der Ergebnisse. +  Etablierte Methode zur Bewertung der Ergebnisqualität. +  Möglichkeit, große Mengen von Treffern bewerten zu lassen. +  Die Ergebnisse werden ohne Kenntnis der Suchmaschine(n) bewertet, Markeneffekte u.ä. entfallen daher. -  Ergebnisse werden isoliert betrachtet, daher Rückschlüsse auf Ergebnismengen problematisch. -  Suchaufgaben artifiziell, dadurch Verzerrung der Ergebnisse möglich.
  • 17. Protokollbasierte Nutzerstudie •  Protokollierung der Interaktionen ausgewählter Nutzer mit der Suchmaschine; basiert auf konkreten Aufgabestellungen. +  Verbindung von echten Interaktionsdaten mit Daten über die konkreten Nutzer. +  Vor- und Nachbefragungen möglich. +  Erfassung problemlos möglich; Protokollierung während des Tests ist nicht störend. -  In der Regel auf eine relativ kleine Nutzerzahl beschränkt. -  Rückmeldungen werden nur über Fragebögen erfasst.
  • 19. Usability-Test •  Bei der Bearbeitung von Aufgaben werden die Nutzer im Labor beobachtet und befragt. +  Gute Methode, um Probleme bei der Nutzung und Nutzerwünsche herauszufinden. +  Möglichkeit der Nachfrage; Eingehen auf den individuellen Nutzer. -  In der Regel geringe Nutzerzahlen, da jeder Nutzer einzeln ins Labor eingeladen werden muss. -  Verfälschung durch Laborsituation.
  • 20. Beispiel: Beobachtung der Nutzung von Suchvorschlägen
  • 21. Beispiel: Vergleich von anonymisierten Vorschlagssets
  • 22. Eyetracking •  Beobachtung des Blickverhaltens während der Arbeit am Bildschirm. +  Gute Methode, um die Platzierung von Elementen auf den Seiten zu prüfen. -  In der Regel geringe Nutzerzahlen, da jeder Nutzer einzeln ins Labor eingeladen werden muss. -  Verfälschung durch Laborsituation.
  • 23. xxxx •  xxxx
  • 24. xxxx •  xxxx
  • 25. xxxx •  xxxx
  • 27. Methodenkombinationen •  Typische Beispiele für Grenzen der Untersuchungsmethoden: –  Der Retrievaltest ergibt, dass die Ergebnisse im Vergleich zur Konkurrenz gut sind. Die Nutzer verwenden die Suchmaschine trotzdem nicht. –  Der Usabilitytest ergibt, dass die Qualität der Ergebnisse schlecht ist. –  Die Logfileanalyse ergibt, dass Nutzer immer wieder an einer bestimmten Stelle in der Interaktion abbrechen. –  Das Eyetracking zeigt, dass die Drill-Down-Menüs nicht wahrgenommen werden. à Nur durch Methodenkombination können Suchsysteme adäquat evaluiert werden.
  • 28. Methodenkombination: Beispiele Evaluierung und Verbesserung der Musiksuche •  Laborstudie –  Aufgabenbasierte Usability-Tests –  Eyetracking •  Retrievaltest à U.a. konnten Gründe für die von den Nutzern bemängelte Ergebnisqualität gefunden werden.
  • 29. Methodenkombination: Beispiele Usability-Studie zur lokalen Suche bei T- Online •  Laborstudie –  Aufgabenbasierte Usability-Tests –  Eyetracking •  Logfile-Analyse à U.a. konnten in der Laborstudie aufgetretene Schwierigkeiten mit mehreren Eingabefeldern anhand der Logfiles belegt werden.
  • 30. Methodenkombination: Beispiele Interpretation von Suchanfragen •  Logfile-Analyse •  Online-Umfrage (getriggert) à U.a. konnte gezeigt werden, dass Nutzer Schwierigkeiten bei der Beschreibung/ Klassifizierung ihrer eigenen Informationsbedürfnisse haben.
  • 31. Fazit 1.  Bislang keine etablierte Methodik zur Evaluierung von Suchsystemen. 2.  Bei der Evaluierung von Suchsystemen sollte jeweils eine geeignete Methodenkombination gewählt werden. 3.  Evaluierung des Suchprozesses und der Suchergebnisse sind essentiell für die Verbesserung von Suchsystemen.
  • 32. Vielen Dank für Ihre Aufmerksamkeit Dirk Lewandowski dirk.lewandowski@haw-hamburg,de http://www.bui.haw-hamburg.de/lewandowski.html