Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung

Relevance Assessment Tool
Ein Werkzeug zum Design von Retrievaltests sowie zur
weitgehend automatisierten Erfassung, Aufbereitung und
Auswertung der Daten
Dirk Lewandowski
Sebastian Sünkler
Hochschule für Angewandte Wissenschaften Hamburg

1.  Problemstellung: Studien zur Retrievaleffektivität von Suchmaschinen
2.  Konzeption des Relevance Assessment Tool
3.  Vorstellung der Komponenten und technische Umsetzung
4.  Bisherige Anwendung
5.  Fazit
Agenda

Problemstellung: Studien zur Retrievaleffektivität von Suchmaschinen
§  Aufbau von Studien zur Retrievaleffektivität von
Suchmaschinen (Lewandowski 2011)
Rückgriff auf Methoden der klassischen IR-Evaluierung (Cranfield, TREC)
1.  Menge von Suchaufgaben / -anfragen wird gebildet
2.  Suchanfragen werden an Suchmaschinen geschickt
3.  Treffer werden anonymisiert und randomisiert
4.  Treffer werden Juroren zur Bewertung vorgelegt
5.  (Wieder-)Zuordnung der Treffer zu den Suchmaschinen
6.  Auswertung

Suchmaschinen: Entscheidungen (Lewandowski 2011)
§  Auswahl von Suchmaschinen
§  Auswahl von Suchanfragen
§  Anzahl der Ergebnisse pro Suchanfrage/Suchmaschine
§  Anzahl der Juroren
§  Bewertung der Dokumente
§  Berücksichtigung der Trefferbeschreibungen

Suchmaschinen: Entscheidungen (Lewandowski 2011)
§  Auswahl von Suchmaschinen 3
§  Auswahl von Suchanfragen 50
§  Anzahl der Ergebnisse pro Suchanfrage/Suchmaschine 10
§  Anzahl der Juroren 1
§  Bewertung der Dokumente
§  Berücksichtigung der Trefferbeschreibungen
1.500

§  Über die Jahre wurden zahlreiche Studien durchgeführt
§  u.a. Griesbaum 2004; Lewandowski 2008; Tawileh, Mandl & Griesbaum 2010
§  Überblick der Methoden, Datenerhebung und Methodenkritik in Lewandowski
2008
§  Zentrale Probleme: Testdesign, Datenerhebung, Skalierung
§  Testdesign meist manuell; dadurch unflexibel und keine
Wiederverwendbarkeit
§  Unterschiedliche Methoden der Datenerhebung; „Behelfs-Software“
§  Erhebung der Suchergebnisse
§  Erhebung der Relevanzurteile
§  Geringer Testumfang, auch wegen komplizierter Datenerhebung

Konzeption des Relevance Assessment Tool
§  Idee: Eine Software, die flexibles Testdesign, eine
problemlose Datenerhebung und skalierbare Tests erlaubt.
§  Testdesign im Baukastenprinzip
§  Vereinfachte Datenerhebung
§  Automatische Erfassung der Suchergebnisse, Anonymisierung (auch der
Trefferbeschreibungen) und Randomisierung
§  Relevanzurteile im Web-Interface (mit Zugangscodes)
§  Skalierung durch flexiblen Zugang

§  Testdesign im Baukastenprinzip
§  Prinzipiell lassen sich in RAT alle Fragen zu Suchergebnissen abbilden.
§  Verwendung von Templates
§  Skalen
§  Sprachen
§  Nachnutzung aller in Templates angelegten Skalen, Sprachen, usw.
§  Erhebung der Suchmaschinen-Ergebnisse
§  Erfolgt automatisiert über Suchmaschinen-Scraper
§  Zusätzlicher Upload von Daten von nicht unterstützten Suchmaschinen
möglich (Excel-Tabelle)

§  Erhebung der (Relevanz-)Urteile
§  Zugang zu den einzelnen Projekten über Zugangscodes
§  Verteilte Erhebung („Crowdsourcing“)
§  Zusätzlich Versand von Gutscheincodes bei erfolgreicher
Aufgabenbearbeitung möglich
à  Der Aufwand für die Erstellung und Durchführung der Tests wird
erheblich reduziert, dadurch u.a.
§  weit umfangreichere Tests
§  Suchmaschinentests als Bachlor-/Masterarbeiten

Relevance Assessment Tool: Komponenten
§ Verwaltung und Gestaltung von Studien
Administrationsinterface
Suchmaschinenscraper § Automatisierte Erfassung von Suchergebnissen mit
lokaler Speicherung.
§ Modul für die Datenerhebung durch Bewertungen
von Suchergebnissen.
Userinterface
§ Auswertung erhobener Daten mit definierten
Größen in Form von Excel-Tabellen.
Auswertungsmodul

Administrationsinterface
§ Formulare für die Projektgestaltung.
§ Design von wiederverwendbaren
Sprachvorlagen und Bewertungsskalen.
§ Modul zur Gestaltung von Suchaufgaben
mit Angaben zu den zu bewertenden
Suchitems (Treffer und Treffer-
beschreibungen), Suchanfragen und
Aufgabenstellung.

Suchmaschinenscraper
§ Funktionen aus der cURL-Library.
§ Automatisierte Anfragen an
Suchmaschinen basierend auf den
Keywords zu den Suchaufgaben.
§ Suchergebnisseiten werden mit XPath
ausgelesen.
§ Mit Filtern für Suchmaschinen werden
Elemente wie URL, Titel und
Beschreibung erkannt und gespeichert.
(Begrenzt auf organische Treffer)
§ Import von Tabellen mit Ergebnissen.

Vorstellung der Module und technische Umsetzung
§  Kontinuierlich gepflegte
Scraper
§  Google
§  Bing
§  Yahoo
§  In Projekten umgesetzte
Scraper
§  Amazon
§  Otto
§  Musicload
§  Yandex
§  T-Online
§  Suggestions-Scraper
§  T-Online
§  Google

Userinterface
§ Zugang zum Nutzerinterface über
Zugangscodes.
§ Aufbereitung der Ergebnisse in
anonymisierter Form.
§ Informationen zur Suchaufgabe,
Bewertungsskalen, Trefferbeschreibungen
und / oder Trefferseiten
§ Filterung von doppelten URLs,
Möglichkeit zur Bearbeitung mehrerer
Suchaufgaben durch Juroren.

Auswertungsmodul
§ Noch in der Entwicklung.
§ Bisheriger Export der generierten Daten
aus dem Nutzerinterface als Excel-Tabelle
möglich.
§ Anpassung von Skalenwerten in
numerische, berechenbare Werte.
§ Auswahl von Standardmaßen wie Recall
und Precision sowie Definition eigener
Messwerte soll möglich sein.

Ausschnitt aus einer generierten Excel-Tabelle

Weiterentwicklung von RAT
•  Verbindung mit dem Search Logger, einem Tool zur Erfassung von
Nutzerinteraktionen in explorativen Suchen.
•  Scrapingfunktionalität auf Universal-Search-Ergebnisse erweitern.
•  Beurteilungen von Suchergebnisseiten (zusätzlich zu isolierten Ergebnissen)
ermöglichen.
•  Fertigstellung eines flexiblen Auswertungsmoduls.

Fazit
1.  Mit dem Relevance Assessment Tool lassen sich Suchmaschinentests
einfach und flexibel durchführen.
2.  Wenn Sie eine Studie mit Hilfe des RAT durchführen möchten,
sprechen Sie uns bitte einfach an.

Vielen Dank für Ihre Aufmerksamkeit
Dirk Lewandowski
dirk.lewandowski@haw-hamburg,de
Sebastian Sünkler
sebastian.suenkler@gmx.de
http://www.bui.haw-hamburg.de/lewandowski.html
RAT-Mini-Demo: http://www.searchstudies.org/rat
Zugangscode: RAT-Test

Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung

Ähnlich wie Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung (20)

Mehr von Hamburg University of Applied Sciences (HAW)

Mehr von Hamburg University of Applied Sciences (HAW) (12)

Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung