SlideShare ist ein Scribd-Unternehmen logo

User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Suchergebnissen bewerten?

1 von 15
Downloaden Sie, um offline zu lesen
User Experience vs. Retrievaltests – Wie lässt sich die
Relevanz von Suchergebnissen bewerten?
Prof. Dr. Dirk Lewandowski
Hochschule für Angewandte Wissenschaften Hamburg
dirk.lewandowski@haw-hamburg.de
@Dirk_Lew
Hamburg, 14. November 2013
World Usability Day Hamburg
Suchmaschinen
E-Commerce
„Logfileanalysen und Retrievaltests
gehören mit in die Grundausstattung der
Methoden zur Optimierung der User
Experience in Suchen. Sie geben nicht
nur Rückmeldung darüber, nach was die
Nutzer konkret suchen und wie sie ihre
Suchanfragen formulieren. Sie geben
auch Rückschluss auf die Effektivität des
Suchsystems und die Qualität der
Ergebnislisten.“ (Quirmbach 2012, S. 134)
Retrievaltest
Untersuchungsfrage
•  Wie gut sind die Treffer von IR-Systemen?
Vorgehen
•  Jeder Treffer zu ausgewählten Suchanfragen wird von Juroren bewertet.
Diese kennen die Herkunft und Platzierung der Treffer nicht.
Was wird gemessen?
•  Durchschnittliche Bewertung der Suchergebnisse (Systemseite)
•  Bewertung jedes einzelnen gefundenen Treffers hinsichtlich seiner Eignung
zur Beantwortung der Suchanfrage.
•  Ergebnisse mehrerer Suchmaschinen können gemischt werden; Herkunft
der Treffer kann verschleiert werden.
Retrievalparadigmen
•  Query-response paradigm
•  Annahme: Nutzer gibt Suchanfrage ein, prüft dann das Ergebnis.
•  Statisch; „systemorientiert“
à  „Klassische“ Retrievaltests (Abfrage der „objektiven“ Trefferqualität)
•  Interaktives Retrieval
•  Annahme:
•  Recherche findet in mehreren Schritten statt.
•  Bei der Recherche handelt es sich um einen „Dialog“ zwischen Nutzer und System.
•  Dynamisch, „nutzerorientiert“
à Nutzerstudien (Abfrage der Zufriedenheit der Nutzer)

Recomendados

Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von SuchmaschinenVerwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von SuchmaschinenDirk Lewandowski
 
Wissensarmut trotz (oder gar durch) Nutzung von Suchmaschinen
Wissensarmut trotz (oder gar durch) Nutzung von SuchmaschinenWissensarmut trotz (oder gar durch) Nutzung von Suchmaschinen
Wissensarmut trotz (oder gar durch) Nutzung von SuchmaschinenDirk Lewandowski
 
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...Dirk Lewandowski
 
Ist meine Suchmaschine wirklich so gut, wie ich glaube?
Ist meine Suchmaschine wirklich so gut, wie ich glaube?Ist meine Suchmaschine wirklich so gut, wie ich glaube?
Ist meine Suchmaschine wirklich so gut, wie ich glaube?Dirk Lewandowski
 
Medientage 2013: Die Zukunft der Suche
Medientage 2013: Die Zukunft der SucheMedientage 2013: Die Zukunft der Suche
Medientage 2013: Die Zukunft der SucheDirk Lewandowski
 

Más contenido relacionado

Ähnlich wie User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Suchergebnissen bewerten?

Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?Dirk Lewandowski
 
Web-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
Web-Suchmaschinen: Suchverhalten, Informationsqualität, TrendsWeb-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
Web-Suchmaschinen: Suchverhalten, Informationsqualität, TrendsDirk Lewandowski
 
German UPA Konferenz - Der IxD Baukasten
German UPA Konferenz - Der IxD BaukastenGerman UPA Konferenz - Der IxD Baukasten
German UPA Konferenz - Der IxD BaukastenUSECON
 
Online-Assessment. Fragen und Antworten
Online-Assessment. Fragen und AntwortenOnline-Assessment. Fragen und Antworten
Online-Assessment. Fragen und AntwortenJoachim Diercks
 
Usability Methoden
Usability  MethodenUsability  Methoden
Usability MethodenNina Rebele
 
Social Media Monitoring: Eine Einführung in Analysemöglichkeiten, Einsatzbere...
Social Media Monitoring: Eine Einführung in Analysemöglichkeiten, Einsatzbere...Social Media Monitoring: Eine Einführung in Analysemöglichkeiten, Einsatzbere...
Social Media Monitoring: Eine Einführung in Analysemöglichkeiten, Einsatzbere...ForschungsWeb GmbH
 
[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...
[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...
[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...UserZoom Deutschland
 
TWT Usability Testing
TWT Usability Testing TWT Usability Testing
TWT Usability Testing TWT
 
Suchmaschinenforschung an der HAW Hamburg
Suchmaschinenforschung an der HAW HamburgSuchmaschinenforschung an der HAW Hamburg
Suchmaschinenforschung an der HAW HamburgDirk Lewandowski
 
32. Community-Training empfehlungsbund
32. Community-Training empfehlungsbund32. Community-Training empfehlungsbund
32. Community-Training empfehlungsbundofficesax
 
32. Community-training - empfehlungsbund - light sax
32. Community-training - empfehlungsbund - light sax32. Community-training - empfehlungsbund - light sax
32. Community-training - empfehlungsbund - light saxCommunity MINTsax.de
 
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel USECON
 
KPIs vs. UX – ist User Experience messbar?
KPIs vs. UX – ist User Experience messbar?KPIs vs. UX – ist User Experience messbar?
KPIs vs. UX – ist User Experience messbar?Matthias Feit
 
[Webinar] So geht UX Research heute
[Webinar] So geht UX Research heute[Webinar] So geht UX Research heute
[Webinar] So geht UX Research heuteUserZoom Deutschland
 
Anforderungen für die Softwareweiterentwicklung durch Benutzer ermitteln
Anforderungen für die Softwareweiterentwicklung durch Benutzer ermittelnAnforderungen für die Softwareweiterentwicklung durch Benutzer ermitteln
Anforderungen für die Softwareweiterentwicklung durch Benutzer ermittelnSupersede
 
Ethnographische Studien und Kontextinterviews bei eResult
Ethnographische Studien und Kontextinterviews bei eResultEthnographische Studien und Kontextinterviews bei eResult
Ethnographische Studien und Kontextinterviews bei eResulteResult_GmbH
 

Ähnlich wie User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Suchergebnissen bewerten? (20)

Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
 
Web-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
Web-Suchmaschinen: Suchverhalten, Informationsqualität, TrendsWeb-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
Web-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
 
German UPA Konferenz - Der IxD Baukasten
German UPA Konferenz - Der IxD BaukastenGerman UPA Konferenz - Der IxD Baukasten
German UPA Konferenz - Der IxD Baukasten
 
Online-Assessment. Fragen und Antworten
Online-Assessment. Fragen und AntwortenOnline-Assessment. Fragen und Antworten
Online-Assessment. Fragen und Antworten
 
Usability Methoden
Usability  MethodenUsability  Methoden
Usability Methoden
 
Social Media Monitoring: Eine Einführung in Analysemöglichkeiten, Einsatzbere...
Social Media Monitoring: Eine Einführung in Analysemöglichkeiten, Einsatzbere...Social Media Monitoring: Eine Einführung in Analysemöglichkeiten, Einsatzbere...
Social Media Monitoring: Eine Einführung in Analysemöglichkeiten, Einsatzbere...
 
Kolloquium
KolloquiumKolloquium
Kolloquium
 
[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...
[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...
[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...
 
TWT Usability Testing
TWT Usability Testing TWT Usability Testing
TWT Usability Testing
 
Digitale Analyse und Evaluation
Digitale Analyse und EvaluationDigitale Analyse und Evaluation
Digitale Analyse und Evaluation
 
Suchmaschinenforschung an der HAW Hamburg
Suchmaschinenforschung an der HAW HamburgSuchmaschinenforschung an der HAW Hamburg
Suchmaschinenforschung an der HAW Hamburg
 
32. Community-Training empfehlungsbund
32. Community-Training empfehlungsbund32. Community-Training empfehlungsbund
32. Community-Training empfehlungsbund
 
32. Community-training - empfehlungsbund - light sax
32. Community-training - empfehlungsbund - light sax32. Community-training - empfehlungsbund - light sax
32. Community-training - empfehlungsbund - light sax
 
32. Community Training
32. Community Training32. Community Training
32. Community Training
 
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
ask:us - Experience Tool: Insights, Innovation und Crowd & Kunden Panel
 
KPIs vs. UX - Ist User Experience messbar?
KPIs vs. UX - Ist User Experience messbar?KPIs vs. UX - Ist User Experience messbar?
KPIs vs. UX - Ist User Experience messbar?
 
KPIs vs. UX – ist User Experience messbar?
KPIs vs. UX – ist User Experience messbar?KPIs vs. UX – ist User Experience messbar?
KPIs vs. UX – ist User Experience messbar?
 
[Webinar] So geht UX Research heute
[Webinar] So geht UX Research heute[Webinar] So geht UX Research heute
[Webinar] So geht UX Research heute
 
Anforderungen für die Softwareweiterentwicklung durch Benutzer ermitteln
Anforderungen für die Softwareweiterentwicklung durch Benutzer ermittelnAnforderungen für die Softwareweiterentwicklung durch Benutzer ermitteln
Anforderungen für die Softwareweiterentwicklung durch Benutzer ermitteln
 
Ethnographische Studien und Kontextinterviews bei eResult
Ethnographische Studien und Kontextinterviews bei eResultEthnographische Studien und Kontextinterviews bei eResult
Ethnographische Studien und Kontextinterviews bei eResult
 

Mehr von Dirk Lewandowski

The Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web IndexThe Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web IndexDirk Lewandowski
 
In a World of Biased Search Engines
In a World of Biased Search EnginesIn a World of Biased Search Engines
In a World of Biased Search EnginesDirk Lewandowski
 
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...Dirk Lewandowski
 
Künstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei SuchmaschinenKünstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei SuchmaschinenDirk Lewandowski
 
Analysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topicsAnalysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topicsDirk Lewandowski
 
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändertGoogle Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändertDirk Lewandowski
 
Suchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von SuchdienstenSuchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von SuchdienstenDirk Lewandowski
 
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?Dirk Lewandowski
 
Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?Dirk Lewandowski
 
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Dirk Lewandowski
 
Wie Suchmaschinen die Inhalte des Web interpretieren
Wie Suchmaschinen die Inhalte des Web interpretierenWie Suchmaschinen die Inhalte des Web interpretieren
Wie Suchmaschinen die Inhalte des Web interpretierenDirk Lewandowski
 
Perspektiven eines Open Web Index
Perspektiven eines Open Web IndexPerspektiven eines Open Web Index
Perspektiven eines Open Web IndexDirk Lewandowski
 
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Dirk Lewandowski
 
Neue Trends: Google, SEO und Co.?
Neue Trends: Google, SEO und Co.?Neue Trends: Google, SEO und Co.?
Neue Trends: Google, SEO und Co.?Dirk Lewandowski
 
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und EntwicklungsperspektivenInternet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und EntwicklungsperspektivenDirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)Dirk Lewandowski
 
Suchmaschinen: Googlerisierung der Gesellschaft
Suchmaschinen: Googlerisierung der GesellschaftSuchmaschinen: Googlerisierung der Gesellschaft
Suchmaschinen: Googlerisierung der GesellschaftDirk Lewandowski
 

Mehr von Dirk Lewandowski (20)

The Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web IndexThe Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web Index
 
In a World of Biased Search Engines
In a World of Biased Search EnginesIn a World of Biased Search Engines
In a World of Biased Search Engines
 
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
 
Künstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei SuchmaschinenKünstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei Suchmaschinen
 
Analysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topicsAnalysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topics
 
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändertGoogle Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
 
Suchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von SuchdienstenSuchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von Suchdiensten
 
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
 
Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?
 
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
 
Wie Suchmaschinen die Inhalte des Web interpretieren
Wie Suchmaschinen die Inhalte des Web interpretierenWie Suchmaschinen die Inhalte des Web interpretieren
Wie Suchmaschinen die Inhalte des Web interpretieren
 
Perspektiven eines Open Web Index
Perspektiven eines Open Web IndexPerspektiven eines Open Web Index
Perspektiven eines Open Web Index
 
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
 
Suchmaschinen verstehen
Suchmaschinen verstehenSuchmaschinen verstehen
Suchmaschinen verstehen
 
Neue Trends: Google, SEO und Co.?
Neue Trends: Google, SEO und Co.?Neue Trends: Google, SEO und Co.?
Neue Trends: Google, SEO und Co.?
 
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und EntwicklungsperspektivenInternet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
 
Suchmaschinen: Googlerisierung der Gesellschaft
Suchmaschinen: Googlerisierung der GesellschaftSuchmaschinen: Googlerisierung der Gesellschaft
Suchmaschinen: Googlerisierung der Gesellschaft
 

User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Suchergebnissen bewerten?

  • 1. User Experience vs. Retrievaltests – Wie lässt sich die Relevanz von Suchergebnissen bewerten? Prof. Dr. Dirk Lewandowski Hochschule für Angewandte Wissenschaften Hamburg dirk.lewandowski@haw-hamburg.de @Dirk_Lew Hamburg, 14. November 2013 World Usability Day Hamburg
  • 4. „Logfileanalysen und Retrievaltests gehören mit in die Grundausstattung der Methoden zur Optimierung der User Experience in Suchen. Sie geben nicht nur Rückmeldung darüber, nach was die Nutzer konkret suchen und wie sie ihre Suchanfragen formulieren. Sie geben auch Rückschluss auf die Effektivität des Suchsystems und die Qualität der Ergebnislisten.“ (Quirmbach 2012, S. 134)
  • 5. Retrievaltest Untersuchungsfrage •  Wie gut sind die Treffer von IR-Systemen? Vorgehen •  Jeder Treffer zu ausgewählten Suchanfragen wird von Juroren bewertet. Diese kennen die Herkunft und Platzierung der Treffer nicht. Was wird gemessen? •  Durchschnittliche Bewertung der Suchergebnisse (Systemseite) •  Bewertung jedes einzelnen gefundenen Treffers hinsichtlich seiner Eignung zur Beantwortung der Suchanfrage. •  Ergebnisse mehrerer Suchmaschinen können gemischt werden; Herkunft der Treffer kann verschleiert werden.
  • 6. Retrievalparadigmen •  Query-response paradigm •  Annahme: Nutzer gibt Suchanfrage ein, prüft dann das Ergebnis. •  Statisch; „systemorientiert“ à  „Klassische“ Retrievaltests (Abfrage der „objektiven“ Trefferqualität) •  Interaktives Retrieval •  Annahme: •  Recherche findet in mehreren Schritten statt. •  Bei der Recherche handelt es sich um einen „Dialog“ zwischen Nutzer und System. •  Dynamisch, „nutzerorientiert“ à Nutzerstudien (Abfrage der Zufriedenheit der Nutzer)
  • 8. Aufbau von Retrievaltests 1.  Auswahl der Suchmaschinen 2.  Anzahl der Suchanfragen 3.  Art der Suchanfragen 4.  Herkunft der Suchanfragen 5.  Darstellung der Suchanfragen 6.  Anzahl der Ergebnisse pro Suchanfrage 7.  Anzahl der Juroren 8.  Auswahl der Juroren(gruppen) 9.  Anzahl der Juroren pro Suchanfrage 10. Bewertung der Dokumente 11. Berücksichtigung der Trefferbeschreibungen
  • 9. TREC: Topics Harman & Vorhees 2006, S. 117 „Information need statement“ Beschreibung, was als Relevant bewertet werden soll (und was nicht)
  • 11. Precision-Graph Precision-Skala (Werte zwischen 0 und 1) Durchschnittliche Precision, wenn drei Ergebnisse betrachtet werden.
  • 12. Vor- und Nachteile von Retrievaltests (Quirmbach 2012, S. 133) •  Vorteile –  Retrievaltests geben detaillierte Hinweise, warum die Search Experience einer Suche negativ ist. –  Sie sind relativ einfach auch ohne einen weiteren Dienstleister durchzuführen und deswegen kostengünstig. –  Zeigt die Retrievalfähigkeiten des Suchsystems auf. –  Gibt Hinweise auf die Relevanz der Suchergebnisse, wie diese von den Nutzern wahrgenommen und eingestuft wird. •  Nachteile –  Die Methode kann [...] erst dann verwendet werden, wenn die Suche umgesetzt wurde. Jedoch können schon erste Tests in einer Testumgebung des Systems durchgeführt werden [...] –  Relevanztests sind zeitaufwändig. –  Es müssen die Fragestellungen und Kennzahlen eindeutig definiert werden, da die Testergebnisse sonst nicht valide sind. –  Sie werden aufgrund ihrer Standardisierung den realen Nutzerbedürfnissen und dem Nutzerverhalten nicht hinreichend gerecht. –  Messen nicht alle für die Suchmaschinen qualitätsbestimmenden Faktoren.
  • 14. Methodenspektrum •  Logfile-Analysen •  Alle Nutzerinteraktionen in einer Suchmaschine; keine Informationen über die Nutzer •  Relevanztests •  Abfrage der Qualität von Suchergebnissen mittels Befragung; ausgewählte Nutzer(gruppen) •  Online-Umfrage •  Befragung mittels Online-Fomularen; Problematik der Selbstauskunft und Selbstselektion •  Protokollbasierte Nutzerstudien •  Beobachtung analog der Logfile-Analyse, aber gezielt ausgewählte Nutzer (zusätzliche Informationen über den Nutzer; ergänzende Befragung) •  Usability-Test •  Aufgabenbasierte Befragung i.d.R. im Labor; Frage nach Beurteilung und Beweggründen; Problem der geringen Fallzahlen •  Eyetracking –  Aufzeichnung von Blickverläufen und Fixationen, Frage nach der Wahrnehmung von Angeboten/Elementen von Webseiten Was suchen die Nutzer tatsächlich? Wie gut sind die angezeigten Ergebnisse? Wie bewerten Nutzer Musicload im Vergleich mit anderen Anbietern? Welche Wünsche haben die Nutzer an eine ideale Musiksuche? Welche Elemente auf den Musicload-Seiten werden wahrgenommen? Wie verlaufen die Blicke auf den Konkurrenzangeboten?
  • 15. Fazit 1.  Retrievaltests eignen sich als ergänzende Methode, um die Qualität der Suchergebnisse zu bewerten. 2.  Standardisiertes Verfahren, relativ geringer Aufwand für die Durchführung der Tests. 3.  Keine Abbildung des Nutzerverhaltens, daher kein Ersatz für andere Verfahren.