SlideShare ist ein Scribd-Unternehmen logo
Ist meine Suchmaschine wirklich so gut, wie ich glaube?
Evaluierung unter Berücksichtigung von Anfragetyp, Aufgabenkomplexität und
Ergebnispräsentation
Prof. Dr. Dirk Lewandowski
Hochschule für Angewandte Wissenschaften Hamburg
dirk.lewandowski@haw-hamburg.de
@Dirk_Lew
Berlin, 9. Oktober 2012
Esemos Barcamp Search
Suchmaschinen
E-Commerce
Fragestellung
•  Evaluierung von Suchmaschinen ist meist eindimensional; Problem
der Validität und Reliabilität.
•  Resultate aus vereinfachenden Studien geben falsche bzw. ungenaue
Empfehlungen für die Praxis.
•  Drei Punkte
–  Anfragetypen
–  Aufgabenkomplexität
–  Ergebnispräsentation
Evaluierungsmethoden (Standard)
•  Retrievaltests
–  Qualität der Suchergebnisse wird anhand einer bestimmten Anzahl von
Suchanfragen und der Ergebnisse dazu überprüft.
•  Usabilitytests
–  Nutzer bekommen im Labor Aufgaben gestellt und werden bei deren Lösung
beobachtet.
Drei Problembereiche
Anfragetypen in der Websuche
nach Broder (2002)
•  Informational (informationsorientiert)
–  Nutzer möchte sich zu einem Thema informieren.
–  Ziel sind mehrere Dokumente.
•  Navigational (navigationsorientiert)
–  Ziel ist es, eine bestimmte Seite (wieder) zu finden.
–  Typisch: Suche nach Homepage („Ebay“).
–  Ziel ist i.d.R. ein Dokument.
•  Transactional (transaktionsorientiert)
–  Ziel ist das Auffinden einer Website, auf der dann eine Transaktion stattfinden soll.
–  Beispiele für Transaktionen: Kauf eines Produkts, Download einer Datei.
Anwendungsfälle: Konkreter vs. problemorientierter
Informationsbedarf
Anwendungsfall Konkret Problemorientiert
Websuche Ebay-Homepage Informationen über die
neue Sherlock-Holmes-
Serie der BBC
Bibliothekskatalog Ist das Buch „Information
Retrieval“ von Stock in
der HAW-Bibliothek
vorhanden?
Welche Bücher gibt es
zum Thema kollaborative
Suche?
Online-Dating Welche Hobbies hat
Natalia73?
Wer passt zu mir?
Produktsuche Was kostet der Roomba
581?
Welcher
Staubsaugroboter ist der
beste?
Anfragetypen
•  Anfragetypen sind teils maschinell
ermittelbar
•  Die Qualität der Studien (vor allem
aus dem SEO-Bereich) ist gering.
Lewandowski, Dirk; Drechsler, Jessica; von Mach, Sonja: Deriving Query Intents From Web Search Engine Queries.
Journal of the American Society for Information Science & Technology 63(2012)9, 1773-1788.
Aufgabenkomplexität
•  Einfache vs. komplexe Aufgaben
–  Wenn man nur mit einfachen Aufgaben evaluiert, greift man zu kurz.
–  Komplexe Aufgaben bislang nur in Usabilitytests abgefragt, dort aber i.d.R. zu
wenige Probanden und kein Fokus auf die unterschiedliche Herangehensweise
der Probanden.
–  Beispielaufgabe: „Von Zeit zu Zeit werden die Motive auf britischen Banknoten gewechselt.
Im Jahr 2003 musste ein Schriftsteller einem Wissenschaftler auf dem 10 Pfund Schein
Platz machen. Beide Persönlichkeiten haben denselben Vornamen - bitte finden Sie den
Vornamen!“
Singer, G..; Norbisrath, U.; Lewandowski, D.: Ordinary Search Engine Users assessing Difficulty, Effort, and
Outcome for Simple and Complex Search Tasks. Proceedings of the Fourth Information Interaction in Context Symposium.
New York: ACM, 2012, 110-119.
Ist meine Suchmaschine wirklich so gut, wie ich glaube?
Trefferpräsentation in Suchmaschinen
•  Text
8 |
•  x
Anzeigen
Organische
Ergebnisse
Universal-
Search-
Ergebnisse
Ergebnispräsentation
•  Retrievaltests orientieren sich an gerankten Ergebnislisten.
•  Ergebnisdarstellung hat sich aber geändert.
–  Kennzahlen in Retrievaltests modifizieren?
•  Sichtbarkeit (sichtbarer Bereich, unsichtbarer Bereich)
•  Screen real estate
•  Click-through rates
Methodenspektrum und Softwareunterstützung
Methodenspektrum
•  Logfile-Analysen
•  Alle Nutzerinteraktionen in einer Suchmaschine; keine Informationen über die Nutzer
•  Relevanztests
•  Abfrage der Qualität von Suchergebnissen mittels Befragung; ausgewählte
Nutzer(gruppen)
•  Online-Umfrage
•  Befragung mittels Online-Fomularen; Problematik der Selbstauskunft und
Selbstselektion
•  Protokollbasierte Nutzerstudien
•  Beobachtung analog der Logfile-Analyse, aber gezielt ausgewählte Nutzer
(zusätzliche Informationen über den Nutzer; ergänzende Befragung)
•  Usability-Test
•  Aufgabenbasierte Befragung i.d.R. im Labor; Frage nach Beurteilung und
Beweggründen; Problem der geringen Fallzahlen
•  Eyetracking
–  Aufzeichnung von Blickverläufen und Fixationen, Frage nach der Wahrnehmung von
Angeboten/Elementen von Webseiten
16 |
x
•  x
Methodenspektrum
•  Logfile-Analysen
•  Alle Nutzerinteraktionen in einer Suchmaschine; keine Informationen über die Nutzer
•  Relevanztests
•  Abfrage der Qualität von Suchergebnissen mittels Befragung; ausgewählte
Nutzer(gruppen)
•  Online-Umfrage
•  Befragung mittels Online-Fomularen; Problematik der Selbstauskunft und
Selbstselektion
•  Protokollbasierte Nutzerstudien
•  Beobachtung analog der Logfile-Analyse, aber gezielt ausgewählte Nutzer
(zusätzliche Informationen über den Nutzer; ergänzende Befragung)
•  Usability-Test
•  Aufgabenbasierte Befragung i.d.R. im Labor; Frage nach Beurteilung und
Beweggründen; Problem der geringen Fallzahlen
•  Eyetracking
–  Aufzeichnung von Blickverläufen und Fixationen, Frage nach der Wahrnehmung von
Angeboten/Elementen von Webseiten
Was suchen die Nutzer tatsächlich?
Wie gut sind die angezeigten Ergebnisse?
Wie bewerten Nutzer Musicload im Vergleich
mit anderen Anbietern?
Welche Wünsche haben die Nutzer an eine
ideale Musiksuche?
Welche Elemente auf den Musicload-Seiten
werden wahrgenommen? Wie verlaufen die
Blicke auf den Konkurrenzangeboten?
„Korrelationsstudien“
•  Kombination aus Retrievaltests und Klassifikationsaufgaben
–  Jurorenurteile (Laien) + Klassifikation (Expertenbewertungen)
–  Beispiele
•  Werden Suchergebnisse, hinter denen eine kommerzielle Intention steht, von den
Nutzern schlechter bewertet?
•  Ist die hohe Positionierung von Wikipedia-Ergebnissen in den Suchmaschinen-
Trefferlisten gerechtfertigt?
Lewandowski, Dirk: The influence of commercial intent of search results on their perceived relevance.
Proceedings of the 2011 iConference (iConference '11). ACM, New York, NY, USA, 2011, 452-458.
Lewandowski, Dirk; Spree, Ulrike: Ranking of Wikipedia articles revisited: Fair ranking for reasonable quality?
Journal of the American Society for Information Science and Technology 62(2011)1, 117-132.
Tool Support
•  Relevance Assessment Tool (RAT)
–  Testdesign im Baukastenprinzip
–  Automatisches Erfassen von Suchergebnissen von Google, Bing, T-Online,
Amazon, Ebay, ...
–  Verteilte Bewertung durch Juroren
•  Search Logger
–  Aufgabenbasiertes Loggingtool (Entwicklung der Uni Tartu, Estland)
•  Search Logger + RAT
–  Erst Aufgabe bearbeiten, dann die Relevanz der Dokumente (ob gefunden oder
nicht gefunden) bewerten.
Singer, Georg; Norbisrath, Ulrich; Vainikko, Eero; Kikkas, Hannu: Search Logger: Analyzing Exploratory Search Tasks.
Proceedings of SAC 2011. ACM, New York, USA, 2011, 751-756.
Lewandowski, Dirk; Sünkler, Sebastian: Relevance Assessment Tool: Ein Werkzeug zum Design von Retrievaltests
sowie zur weitgehend automatisierten Erfassung, Aufbereitung und Auswertung der Daten. In: Proceedings der 2. DGI-
Konferenz: Social Media und Web Science - Das Web als Lebensraum. Frankfurt am Main: DGI, 2012, S. 237-249.
Fazit
Fazit
1.  Die aktuell eingesetzten Testmethoden sind nur zum Teil für die
Fragestellungen der Praxis geeignet.
2.  Die Auswahl der geeigneten Methode ist essentiell für den Erfolg der
Studie und darf nicht nur vom verfügbaren Equipment bzw. den
„Testgewohnheiten“ abhängig sein.
3.  Multimethodenstudien erlauben einen wesentlich detaillierteren Blick
und sind mit entsprechender Softwareunterstützung kostengünstig
durchführbar.
Vielen Dank für die Aufmerksamkeit.
Prof. Dr. Dirk Lewandowski
Hochschule für Angewandte Wissenschaften Hamburg,
Department Information
http://www.bui.haw-hamburg.de/lewandowski.html
dirk.lewandowski@haw-hamburg.de
@Dirk_Lew

Weitere ähnliche Inhalte

Ähnlich wie Ist meine Suchmaschine wirklich so gut, wie ich glaube?

Suchmaschinenforschung an der HAW Hamburg
Suchmaschinenforschung an der HAW HamburgSuchmaschinenforschung an der HAW Hamburg
Suchmaschinenforschung an der HAW Hamburg
Dirk Lewandowski
 
Wie gut sind Google und Co.?
Wie gut sind Google und Co.?Wie gut sind Google und Co.?
Wie gut sind Google und Co.?
Dirk Lewandowski
 
Wie gut sind Google und Co.?
Wie gut sind Google und Co.?Wie gut sind Google und Co.?
Wie gut sind Google und Co.?
Dirk Lewandowski
 
Ausgewählte Forschungsfragen im Bereich Suche
Ausgewählte Forschungsfragen im Bereich SucheAusgewählte Forschungsfragen im Bereich Suche
Ausgewählte Forschungsfragen im Bereich Suche
Dirk Lewandowski
 
Wie Suchmaschinen (immer noch) die Bibliotheken herausfordern
Wie Suchmaschinen (immer noch) die Bibliotheken herausfordernWie Suchmaschinen (immer noch) die Bibliotheken herausfordern
Wie Suchmaschinen (immer noch) die Bibliotheken herausfordern
Dirk Lewandowski
 
Web-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
Web-Suchmaschinen: Suchverhalten, Informationsqualität, TrendsWeb-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
Web-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
Dirk Lewandowski
 
Suchmaschinen, Bürde für Informationsspezialisten?
Suchmaschinen, Bürde für Informationsspezialisten?Suchmaschinen, Bürde für Informationsspezialisten?
Suchmaschinen, Bürde für Informationsspezialisten?
Dirk Lewandowski
 
Suchmaschinen im Internet – neue Erkenntnisse und Perspektiven
Suchmaschinen im Internet – neue Erkenntnisse und PerspektivenSuchmaschinen im Internet – neue Erkenntnisse und Perspektiven
Suchmaschinen im Internet – neue Erkenntnisse und Perspektiven
Dirk Lewandowski
 
Perspektiven eines Open Web Index
Perspektiven eines Open Web IndexPerspektiven eines Open Web Index
Perspektiven eines Open Web Index
Dirk Lewandowski
 
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...
Hamburg University of Applied Sciences (HAW)
 
Wie Suchmaschinen die Inhalte des Web interpretieren
Wie Suchmaschinen die Inhalte des Web interpretierenWie Suchmaschinen die Inhalte des Web interpretieren
Wie Suchmaschinen die Inhalte des Web interpretieren
Dirk Lewandowski
 
Workshop für die LUH: Forschungsdatenmanagement
Workshop für die LUH: ForschungsdatenmanagementWorkshop für die LUH: Forschungsdatenmanagement
Workshop für die LUH: Forschungsdatenmanagement
Frauke Ziedorn
 
Neue Trends: Google, SEO und Co.?
Neue Trends: Google, SEO und Co.?Neue Trends: Google, SEO und Co.?
Neue Trends: Google, SEO und Co.?
Dirk Lewandowski
 
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und EntwicklungsperspektivenInternet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Dirk Lewandowski
 
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Dirk Lewandowski
 
Wissenserschließung und –Modellierung: Ontologie vs. Volltextsuche am Beispie...
Wissenserschließung und –Modellierung: Ontologie vs. Volltextsuche am Beispie...Wissenserschließung und –Modellierung: Ontologie vs. Volltextsuche am Beispie...
Wissenserschließung und –Modellierung: Ontologie vs. Volltextsuche am Beispie...
Thomas Koch
 
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
Dirk Lewandowski
 
Ethnographische Studien und Kontextinterviews bei eResult
Ethnographische Studien und Kontextinterviews bei eResultEthnographische Studien und Kontextinterviews bei eResult
Ethnographische Studien und Kontextinterviews bei eResult
eResult_GmbH
 
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
Dirk Lewandowski
 
Statistiken für Repositories
Statistiken für RepositoriesStatistiken für Repositories
Statistiken für Repositories
uherb
 

Ähnlich wie Ist meine Suchmaschine wirklich so gut, wie ich glaube? (20)

Suchmaschinenforschung an der HAW Hamburg
Suchmaschinenforschung an der HAW HamburgSuchmaschinenforschung an der HAW Hamburg
Suchmaschinenforschung an der HAW Hamburg
 
Wie gut sind Google und Co.?
Wie gut sind Google und Co.?Wie gut sind Google und Co.?
Wie gut sind Google und Co.?
 
Wie gut sind Google und Co.?
Wie gut sind Google und Co.?Wie gut sind Google und Co.?
Wie gut sind Google und Co.?
 
Ausgewählte Forschungsfragen im Bereich Suche
Ausgewählte Forschungsfragen im Bereich SucheAusgewählte Forschungsfragen im Bereich Suche
Ausgewählte Forschungsfragen im Bereich Suche
 
Wie Suchmaschinen (immer noch) die Bibliotheken herausfordern
Wie Suchmaschinen (immer noch) die Bibliotheken herausfordernWie Suchmaschinen (immer noch) die Bibliotheken herausfordern
Wie Suchmaschinen (immer noch) die Bibliotheken herausfordern
 
Web-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
Web-Suchmaschinen: Suchverhalten, Informationsqualität, TrendsWeb-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
Web-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
 
Suchmaschinen, Bürde für Informationsspezialisten?
Suchmaschinen, Bürde für Informationsspezialisten?Suchmaschinen, Bürde für Informationsspezialisten?
Suchmaschinen, Bürde für Informationsspezialisten?
 
Suchmaschinen im Internet – neue Erkenntnisse und Perspektiven
Suchmaschinen im Internet – neue Erkenntnisse und PerspektivenSuchmaschinen im Internet – neue Erkenntnisse und Perspektiven
Suchmaschinen im Internet – neue Erkenntnisse und Perspektiven
 
Perspektiven eines Open Web Index
Perspektiven eines Open Web IndexPerspektiven eines Open Web Index
Perspektiven eines Open Web Index
 
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...
 
Wie Suchmaschinen die Inhalte des Web interpretieren
Wie Suchmaschinen die Inhalte des Web interpretierenWie Suchmaschinen die Inhalte des Web interpretieren
Wie Suchmaschinen die Inhalte des Web interpretieren
 
Workshop für die LUH: Forschungsdatenmanagement
Workshop für die LUH: ForschungsdatenmanagementWorkshop für die LUH: Forschungsdatenmanagement
Workshop für die LUH: Forschungsdatenmanagement
 
Neue Trends: Google, SEO und Co.?
Neue Trends: Google, SEO und Co.?Neue Trends: Google, SEO und Co.?
Neue Trends: Google, SEO und Co.?
 
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und EntwicklungsperspektivenInternet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
 
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
 
Wissenserschließung und –Modellierung: Ontologie vs. Volltextsuche am Beispie...
Wissenserschließung und –Modellierung: Ontologie vs. Volltextsuche am Beispie...Wissenserschließung und –Modellierung: Ontologie vs. Volltextsuche am Beispie...
Wissenserschließung und –Modellierung: Ontologie vs. Volltextsuche am Beispie...
 
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
 
Ethnographische Studien und Kontextinterviews bei eResult
Ethnographische Studien und Kontextinterviews bei eResultEthnographische Studien und Kontextinterviews bei eResult
Ethnographische Studien und Kontextinterviews bei eResult
 
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
 
Statistiken für Repositories
Statistiken für RepositoriesStatistiken für Repositories
Statistiken für Repositories
 

Mehr von Dirk Lewandowski

The Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web IndexThe Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web Index
Dirk Lewandowski
 
In a World of Biased Search Engines
In a World of Biased Search EnginesIn a World of Biased Search Engines
In a World of Biased Search Engines
Dirk Lewandowski
 
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
Dirk Lewandowski
 
Künstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei SuchmaschinenKünstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei Suchmaschinen
Dirk Lewandowski
 
Analysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topicsAnalysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topics
Dirk Lewandowski
 
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändertGoogle Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Dirk Lewandowski
 
Suchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von SuchdienstenSuchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von Suchdiensten
Dirk Lewandowski
 
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Dirk Lewandowski
 
Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?
Dirk Lewandowski
 
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Dirk Lewandowski
 
Suchmaschinen verstehen
Suchmaschinen verstehenSuchmaschinen verstehen
Suchmaschinen verstehen
Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Dirk Lewandowski
 
Medientage 2013: Die Zukunft der Suche
Medientage 2013: Die Zukunft der SucheMedientage 2013: Die Zukunft der Suche
Medientage 2013: Die Zukunft der Suche
Dirk Lewandowski
 
Suchmaschinen: Googlerisierung der Gesellschaft
Suchmaschinen: Googlerisierung der GesellschaftSuchmaschinen: Googlerisierung der Gesellschaft
Suchmaschinen: Googlerisierung der Gesellschaft
Dirk Lewandowski
 
Wie beeinflussen Suchmaschinen den Informationsmarkt?
Wie beeinflussen Suchmaschinen den Informationsmarkt?Wie beeinflussen Suchmaschinen den Informationsmarkt?
Wie beeinflussen Suchmaschinen den Informationsmarkt?
Dirk Lewandowski
 
Alternatives to Google
Alternatives to GoogleAlternatives to Google
Alternatives to Google
Dirk Lewandowski
 
Warum wir Alternativen zu Google benötigen
Warum wir Alternativen zu Google benötigenWarum wir Alternativen zu Google benötigen
Warum wir Alternativen zu Google benötigen
Dirk Lewandowski
 

Mehr von Dirk Lewandowski (20)

The Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web IndexThe Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web Index
 
In a World of Biased Search Engines
In a World of Biased Search EnginesIn a World of Biased Search Engines
In a World of Biased Search Engines
 
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
 
Künstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei SuchmaschinenKünstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei Suchmaschinen
 
Analysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topicsAnalysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topics
 
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändertGoogle Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
 
Suchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von SuchdienstenSuchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von Suchdiensten
 
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
 
Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?
 
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
 
Suchmaschinen verstehen
Suchmaschinen verstehenSuchmaschinen verstehen
Suchmaschinen verstehen
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
 
Nutzer verstehen
Nutzer verstehenNutzer verstehen
Nutzer verstehen
 
Medientage 2013: Die Zukunft der Suche
Medientage 2013: Die Zukunft der SucheMedientage 2013: Die Zukunft der Suche
Medientage 2013: Die Zukunft der Suche
 
Suchmaschinen: Googlerisierung der Gesellschaft
Suchmaschinen: Googlerisierung der GesellschaftSuchmaschinen: Googlerisierung der Gesellschaft
Suchmaschinen: Googlerisierung der Gesellschaft
 
Wie beeinflussen Suchmaschinen den Informationsmarkt?
Wie beeinflussen Suchmaschinen den Informationsmarkt?Wie beeinflussen Suchmaschinen den Informationsmarkt?
Wie beeinflussen Suchmaschinen den Informationsmarkt?
 
Alternatives to Google
Alternatives to GoogleAlternatives to Google
Alternatives to Google
 
Warum wir Alternativen zu Google benötigen
Warum wir Alternativen zu Google benötigenWarum wir Alternativen zu Google benötigen
Warum wir Alternativen zu Google benötigen
 

Ist meine Suchmaschine wirklich so gut, wie ich glaube?

  • 1. Ist meine Suchmaschine wirklich so gut, wie ich glaube? Evaluierung unter Berücksichtigung von Anfragetyp, Aufgabenkomplexität und Ergebnispräsentation Prof. Dr. Dirk Lewandowski Hochschule für Angewandte Wissenschaften Hamburg dirk.lewandowski@haw-hamburg.de @Dirk_Lew Berlin, 9. Oktober 2012 Esemos Barcamp Search
  • 4. Fragestellung •  Evaluierung von Suchmaschinen ist meist eindimensional; Problem der Validität und Reliabilität. •  Resultate aus vereinfachenden Studien geben falsche bzw. ungenaue Empfehlungen für die Praxis. •  Drei Punkte –  Anfragetypen –  Aufgabenkomplexität –  Ergebnispräsentation
  • 5. Evaluierungsmethoden (Standard) •  Retrievaltests –  Qualität der Suchergebnisse wird anhand einer bestimmten Anzahl von Suchanfragen und der Ergebnisse dazu überprüft. •  Usabilitytests –  Nutzer bekommen im Labor Aufgaben gestellt und werden bei deren Lösung beobachtet.
  • 7. Anfragetypen in der Websuche nach Broder (2002) •  Informational (informationsorientiert) –  Nutzer möchte sich zu einem Thema informieren. –  Ziel sind mehrere Dokumente. •  Navigational (navigationsorientiert) –  Ziel ist es, eine bestimmte Seite (wieder) zu finden. –  Typisch: Suche nach Homepage („Ebay“). –  Ziel ist i.d.R. ein Dokument. •  Transactional (transaktionsorientiert) –  Ziel ist das Auffinden einer Website, auf der dann eine Transaktion stattfinden soll. –  Beispiele für Transaktionen: Kauf eines Produkts, Download einer Datei.
  • 8. Anwendungsfälle: Konkreter vs. problemorientierter Informationsbedarf Anwendungsfall Konkret Problemorientiert Websuche Ebay-Homepage Informationen über die neue Sherlock-Holmes- Serie der BBC Bibliothekskatalog Ist das Buch „Information Retrieval“ von Stock in der HAW-Bibliothek vorhanden? Welche Bücher gibt es zum Thema kollaborative Suche? Online-Dating Welche Hobbies hat Natalia73? Wer passt zu mir? Produktsuche Was kostet der Roomba 581? Welcher Staubsaugroboter ist der beste?
  • 9. Anfragetypen •  Anfragetypen sind teils maschinell ermittelbar •  Die Qualität der Studien (vor allem aus dem SEO-Bereich) ist gering. Lewandowski, Dirk; Drechsler, Jessica; von Mach, Sonja: Deriving Query Intents From Web Search Engine Queries. Journal of the American Society for Information Science & Technology 63(2012)9, 1773-1788.
  • 10. Aufgabenkomplexität •  Einfache vs. komplexe Aufgaben –  Wenn man nur mit einfachen Aufgaben evaluiert, greift man zu kurz. –  Komplexe Aufgaben bislang nur in Usabilitytests abgefragt, dort aber i.d.R. zu wenige Probanden und kein Fokus auf die unterschiedliche Herangehensweise der Probanden. –  Beispielaufgabe: „Von Zeit zu Zeit werden die Motive auf britischen Banknoten gewechselt. Im Jahr 2003 musste ein Schriftsteller einem Wissenschaftler auf dem 10 Pfund Schein Platz machen. Beide Persönlichkeiten haben denselben Vornamen - bitte finden Sie den Vornamen!“ Singer, G..; Norbisrath, U.; Lewandowski, D.: Ordinary Search Engine Users assessing Difficulty, Effort, and Outcome for Simple and Complex Search Tasks. Proceedings of the Fourth Information Interaction in Context Symposium. New York: ACM, 2012, 110-119.
  • 12. Trefferpräsentation in Suchmaschinen •  Text 8 | •  x Anzeigen Organische Ergebnisse Universal- Search- Ergebnisse
  • 13. Ergebnispräsentation •  Retrievaltests orientieren sich an gerankten Ergebnislisten. •  Ergebnisdarstellung hat sich aber geändert. –  Kennzahlen in Retrievaltests modifizieren? •  Sichtbarkeit (sichtbarer Bereich, unsichtbarer Bereich) •  Screen real estate •  Click-through rates
  • 15. Methodenspektrum •  Logfile-Analysen •  Alle Nutzerinteraktionen in einer Suchmaschine; keine Informationen über die Nutzer •  Relevanztests •  Abfrage der Qualität von Suchergebnissen mittels Befragung; ausgewählte Nutzer(gruppen) •  Online-Umfrage •  Befragung mittels Online-Fomularen; Problematik der Selbstauskunft und Selbstselektion •  Protokollbasierte Nutzerstudien •  Beobachtung analog der Logfile-Analyse, aber gezielt ausgewählte Nutzer (zusätzliche Informationen über den Nutzer; ergänzende Befragung) •  Usability-Test •  Aufgabenbasierte Befragung i.d.R. im Labor; Frage nach Beurteilung und Beweggründen; Problem der geringen Fallzahlen •  Eyetracking –  Aufzeichnung von Blickverläufen und Fixationen, Frage nach der Wahrnehmung von Angeboten/Elementen von Webseiten
  • 17. Methodenspektrum •  Logfile-Analysen •  Alle Nutzerinteraktionen in einer Suchmaschine; keine Informationen über die Nutzer •  Relevanztests •  Abfrage der Qualität von Suchergebnissen mittels Befragung; ausgewählte Nutzer(gruppen) •  Online-Umfrage •  Befragung mittels Online-Fomularen; Problematik der Selbstauskunft und Selbstselektion •  Protokollbasierte Nutzerstudien •  Beobachtung analog der Logfile-Analyse, aber gezielt ausgewählte Nutzer (zusätzliche Informationen über den Nutzer; ergänzende Befragung) •  Usability-Test •  Aufgabenbasierte Befragung i.d.R. im Labor; Frage nach Beurteilung und Beweggründen; Problem der geringen Fallzahlen •  Eyetracking –  Aufzeichnung von Blickverläufen und Fixationen, Frage nach der Wahrnehmung von Angeboten/Elementen von Webseiten Was suchen die Nutzer tatsächlich? Wie gut sind die angezeigten Ergebnisse? Wie bewerten Nutzer Musicload im Vergleich mit anderen Anbietern? Welche Wünsche haben die Nutzer an eine ideale Musiksuche? Welche Elemente auf den Musicload-Seiten werden wahrgenommen? Wie verlaufen die Blicke auf den Konkurrenzangeboten?
  • 18. „Korrelationsstudien“ •  Kombination aus Retrievaltests und Klassifikationsaufgaben –  Jurorenurteile (Laien) + Klassifikation (Expertenbewertungen) –  Beispiele •  Werden Suchergebnisse, hinter denen eine kommerzielle Intention steht, von den Nutzern schlechter bewertet? •  Ist die hohe Positionierung von Wikipedia-Ergebnissen in den Suchmaschinen- Trefferlisten gerechtfertigt? Lewandowski, Dirk: The influence of commercial intent of search results on their perceived relevance. Proceedings of the 2011 iConference (iConference '11). ACM, New York, NY, USA, 2011, 452-458. Lewandowski, Dirk; Spree, Ulrike: Ranking of Wikipedia articles revisited: Fair ranking for reasonable quality? Journal of the American Society for Information Science and Technology 62(2011)1, 117-132.
  • 19. Tool Support •  Relevance Assessment Tool (RAT) –  Testdesign im Baukastenprinzip –  Automatisches Erfassen von Suchergebnissen von Google, Bing, T-Online, Amazon, Ebay, ... –  Verteilte Bewertung durch Juroren •  Search Logger –  Aufgabenbasiertes Loggingtool (Entwicklung der Uni Tartu, Estland) •  Search Logger + RAT –  Erst Aufgabe bearbeiten, dann die Relevanz der Dokumente (ob gefunden oder nicht gefunden) bewerten. Singer, Georg; Norbisrath, Ulrich; Vainikko, Eero; Kikkas, Hannu: Search Logger: Analyzing Exploratory Search Tasks. Proceedings of SAC 2011. ACM, New York, USA, 2011, 751-756. Lewandowski, Dirk; Sünkler, Sebastian: Relevance Assessment Tool: Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung, Aufbereitung und Auswertung der Daten. In: Proceedings der 2. DGI- Konferenz: Social Media und Web Science - Das Web als Lebensraum. Frankfurt am Main: DGI, 2012, S. 237-249.
  • 20. Fazit
  • 21. Fazit 1.  Die aktuell eingesetzten Testmethoden sind nur zum Teil für die Fragestellungen der Praxis geeignet. 2.  Die Auswahl der geeigneten Methode ist essentiell für den Erfolg der Studie und darf nicht nur vom verfügbaren Equipment bzw. den „Testgewohnheiten“ abhängig sein. 3.  Multimethodenstudien erlauben einen wesentlich detaillierteren Blick und sind mit entsprechender Softwareunterstützung kostengünstig durchführbar.
  • 22. Vielen Dank für die Aufmerksamkeit. Prof. Dr. Dirk Lewandowski Hochschule für Angewandte Wissenschaften Hamburg, Department Information http://www.bui.haw-hamburg.de/lewandowski.html dirk.lewandowski@haw-hamburg.de @Dirk_Lew