1. Prof. Dr. Dirk Lewandowski
Hochschule für Angewandte Wissenschaften Hamburg
dirk.lewandowski@haw-hamburg.de
Relevance Assessment Tool

2. Was ist das Relevance Assessment Tool?
• Software, die flexible Plattform bietet, um vielfältige Studien mit und über
Websuchmaschinen durchzuführen
• Werkzeug zum Design und zur Durchführung von Studien

3. Ausgangsfrage für unsere Suchmaschinenuntersuchungen
• Wie gut sind die Treffer von Suchmaschinen?
• Bietet Google wirklich die besten Ergebnisse?
• Typisches Testdesign
– Auswahl von Suchanfragen/-aufgaben
– Suchanfragen werden an Suchmaschinen geschickt
– Ergebnisse werden erfasst/gespeichert
– Ergebnisse werden gemischt und Herkunft unkenntlich gemacht
– Ergebnisse werden von Juroren bewertet
– Bewertungen werden zusammengeführt und den Suchmaschinen zugeordnet
– Auswertung

5. Unterstützung durch RAT
Test%design%
SERP%%
screen%scraping%
Collec5ng%%
relevance%%
judgments%
Results%%
download%
1% 2% 3% 4%
Test%design%
SERP%%
screen%scraping%
Collec5ng%%
relevance%%
judgments%
Results%%
download%
1% 2% 3% 4%
Test%design%
SERP%%
screen%scraping%
Collec5ng%%
relevance%%
judgments%
Results%%
download%
1% 2% 3% 4%
Test%design%
SERP%%
screen%scraping%
Collec5ng%%
relevance%%
judgments%
Results%%
download%
1% 2% 3% 4%
Test%design%
SERP%%
screen%scraping%
Collec5ng%%
relevance%%
judgments%
Results%%
download%
1% 2% 3% 4%
Test%design%
SERP%%
screen%scraping%
Collec5ng%%
relevance%%
judgments%
Results%%
download%
1% 2% 3% 4%
Test%design%
SERP%%
screen%scraping%
Collec5ng%%
relevance%%
judgments%
Results%%
download%
1% 2% 3% 4%

6. Welche Möglichkeiten bietet das Relevance Assessment Tool?
• Völlig individuelle Skalen und Aufgaben
– Administrator kann alles selbst bestimmen, z.B. Sprache, demographische
Abfrage, Suchaufgaben, usw.
• Erhebung verschiedenster Daten
• durch die individuelle Erstellung von Skalen und Aufgaben
• Komfortabel nutzbar
• da es sich um eine Web-Anwendung handelt, ist keine Installation notwendig

7. Anwendungsmöglichkeiten des Relevance Assessment Tools (Bsp.)
• Vergleich semantischer Suchdienste mit konventionellen Suchmaschinen
• Vergleich verschiedenster Download-Musikdienste im Internet
• Untersuchung automatisch generierter Suchvorschläge verschiedener
Suchmaschinen
• Vergleich der Universal-Search Ergebnisse von Google und Bing
• Identifikation von bedenklichen Inhaltsstoffen zur Lebensmittelkontrolle im
Internet
• Präsenz von Facebook- und Twitter-Seiten von deutschen Unternehmen in
Suchmaschinen.