SlideShare ist ein Scribd-Unternehmen logo
1 von 7
Downloaden Sie, um offline zu lesen
Prof. Dr. Dirk Lewandowski
Hochschule für Angewandte Wissenschaften Hamburg
dirk.lewandowski@haw-hamburg.de
Relevance Assessment Tool
Was ist das Relevance Assessment Tool?
•  Software, die flexible Plattform bietet, um vielfältige Studien mit und über
Websuchmaschinen durchzuführen
•  Werkzeug zum Design und zur Durchführung von Studien
Ausgangsfrage für unsere Suchmaschinenuntersuchungen
•  Wie gut sind die Treffer von Suchmaschinen?
•  Bietet Google wirklich die besten Ergebnisse?
•  Typisches Testdesign
–  Auswahl von Suchanfragen/-aufgaben
–  Suchanfragen werden an Suchmaschinen geschickt
–  Ergebnisse werden erfasst/gespeichert
–  Ergebnisse werden gemischt und Herkunft unkenntlich gemacht
–  Ergebnisse werden von Juroren bewertet
–  Bewertungen werden zusammengeführt und den Suchmaschinen zugeordnet
–  Auswertung
Unterstützung durch RAT
Test%design%
SERP%%
screen%scraping%
Collec5ng%%
relevance%%
judgments%
Results%%
download%
1% 2% 3% 4%
Test%design%
SERP%%
screen%scraping%
Collec5ng%%
relevance%%
judgments%
Results%%
download%
1% 2% 3% 4%
Test%design%
SERP%%
screen%scraping%
Collec5ng%%
relevance%%
judgments%
Results%%
download%
1% 2% 3% 4%
Test%design%
SERP%%
screen%scraping%
Collec5ng%%
relevance%%
judgments%
Results%%
download%
1% 2% 3% 4%
Test%design%
SERP%%
screen%scraping%
Collec5ng%%
relevance%%
judgments%
Results%%
download%
1% 2% 3% 4%
Test%design%
SERP%%
screen%scraping%
Collec5ng%%
relevance%%
judgments%
Results%%
download%
1% 2% 3% 4%
Test%design%
SERP%%
screen%scraping%
Collec5ng%%
relevance%%
judgments%
Results%%
download%
1% 2% 3% 4%
Welche Möglichkeiten bietet das Relevance Assessment Tool?
•  Völlig individuelle Skalen und Aufgaben
–  Administrator kann alles selbst bestimmen, z.B. Sprache, demographische
Abfrage, Suchaufgaben, usw.
•  Erhebung verschiedenster Daten
•  durch die individuelle Erstellung von Skalen und Aufgaben
•  Komfortabel nutzbar
•  da es sich um eine Web-Anwendung handelt, ist keine Installation notwendig
Anwendungsmöglichkeiten des Relevance Assessment Tools (Bsp.)
•  Vergleich semantischer Suchdienste mit konventionellen Suchmaschinen
•  Vergleich verschiedenster Download-Musikdienste im Internet
•  Untersuchung automatisch generierter Suchvorschläge verschiedener
Suchmaschinen
•  Vergleich der Universal-Search Ergebnisse von Google und Bing
•  Identifikation von bedenklichen Inhaltsstoffen zur Lebensmittelkontrolle im
Internet
•  Präsenz von Facebook- und Twitter-Seiten von deutschen Unternehmen in
Suchmaschinen.

Weitere ähnliche Inhalte

Ähnlich wie Relevance Assessment Tool

Creasoft - Software QS Review
Creasoft - Software QS ReviewCreasoft - Software QS Review
Creasoft - Software QS Review
Creasoft AG
 
Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von SuchmaschinenVerwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Dirk Lewandowski
 
Agile Softwareentwicklung Bei Geschäftsanwendungen
Agile Softwareentwicklung Bei GeschäftsanwendungenAgile Softwareentwicklung Bei Geschäftsanwendungen
Agile Softwareentwicklung Bei Geschäftsanwendungen
Lars Jankowfsky
 
Einführung in die Software-Qualitätssicherung
Einführung in die Software-QualitätssicherungEinführung in die Software-Qualitätssicherung
Einführung in die Software-Qualitätssicherung
Christian Baranowski
 
Suchmaschinenforschung an der HAW Hamburg
Suchmaschinenforschung an der HAW HamburgSuchmaschinenforschung an der HAW Hamburg
Suchmaschinenforschung an der HAW Hamburg
Dirk Lewandowski
 

Ähnlich wie Relevance Assessment Tool (20)

Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...
Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie ...
 
Tipps für Requirements Management Tools
Tipps für Requirements Management ToolsTipps für Requirements Management Tools
Tipps für Requirements Management Tools
 
JavaScript und trotzdem Softwerker
JavaScript und trotzdem SoftwerkerJavaScript und trotzdem Softwerker
JavaScript und trotzdem Softwerker
 
Software Quality Lab - Beratung und Training für mehr Qualität und Effizienz ...
Software Quality Lab - Beratung und Training für mehr Qualität und Effizienz ...Software Quality Lab - Beratung und Training für mehr Qualität und Effizienz ...
Software Quality Lab - Beratung und Training für mehr Qualität und Effizienz ...
 
Creasoft - Software QS Review
Creasoft - Software QS ReviewCreasoft - Software QS Review
Creasoft - Software QS Review
 
Hightway to Hell - Responsive Webdesign Testen
Hightway to Hell - Responsive Webdesign TestenHightway to Hell - Responsive Webdesign Testen
Hightway to Hell - Responsive Webdesign Testen
 
Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von SuchmaschinenVerwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
 
Agile Softwareentwicklung Bei Geschäftsanwendungen
Agile Softwareentwicklung Bei GeschäftsanwendungenAgile Softwareentwicklung Bei Geschäftsanwendungen
Agile Softwareentwicklung Bei Geschäftsanwendungen
 
[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...
[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...
[Mobile Usability Testing] Zahlen, Daten, Fakten Mobil - World Usability Day ...
 
Executive Summary – App Entwicklung für Entscheider
Executive Summary – App Entwicklung für EntscheiderExecutive Summary – App Entwicklung für Entscheider
Executive Summary – App Entwicklung für Entscheider
 
Collaboration
CollaborationCollaboration
Collaboration
 
Einführung in die Software-Qualitätssicherung
Einführung in die Software-QualitätssicherungEinführung in die Software-Qualitätssicherung
Einführung in die Software-Qualitätssicherung
 
SEMrush Übersicht von allen Tools Stand 03.2019
SEMrush Übersicht von allen Tools  Stand 03.2019SEMrush Übersicht von allen Tools  Stand 03.2019
SEMrush Übersicht von allen Tools Stand 03.2019
 
Dev Day 2019: Stephan Birnbaum – Die Glaskugel hat ausgedient, wir machen Sof...
Dev Day 2019: Stephan Birnbaum – Die Glaskugel hat ausgedient, wir machen Sof...Dev Day 2019: Stephan Birnbaum – Die Glaskugel hat ausgedient, wir machen Sof...
Dev Day 2019: Stephan Birnbaum – Die Glaskugel hat ausgedient, wir machen Sof...
 
[Webinar] So geht UX Research heute
[Webinar] So geht UX Research heute[Webinar] So geht UX Research heute
[Webinar] So geht UX Research heute
 
Roadshow 2018 - Camunda in der Praxis: So geht's
Roadshow 2018 - Camunda in der Praxis: So geht'sRoadshow 2018 - Camunda in der Praxis: So geht's
Roadshow 2018 - Camunda in der Praxis: So geht's
 
Zinit.leistungen.webentwicklung.v1.0.de
Zinit.leistungen.webentwicklung.v1.0.deZinit.leistungen.webentwicklung.v1.0.de
Zinit.leistungen.webentwicklung.v1.0.de
 
Pixel Rank - die bessere Metrik für dein Ranking?
Pixel Rank - die bessere Metrik für dein Ranking?Pixel Rank - die bessere Metrik für dein Ranking?
Pixel Rank - die bessere Metrik für dein Ranking?
 
Software-Engineering in der Luft- und Raumfahrt mit Open-Source-Tools
Software-Engineering in der Luft- und Raumfahrt mit Open-Source-ToolsSoftware-Engineering in der Luft- und Raumfahrt mit Open-Source-Tools
Software-Engineering in der Luft- und Raumfahrt mit Open-Source-Tools
 
Suchmaschinenforschung an der HAW Hamburg
Suchmaschinenforschung an der HAW HamburgSuchmaschinenforschung an der HAW Hamburg
Suchmaschinenforschung an der HAW Hamburg
 

Mehr von Dirk Lewandowski

In a World of Biased Search Engines
In a World of Biased Search EnginesIn a World of Biased Search Engines
In a World of Biased Search Engines
Dirk Lewandowski
 
Künstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei SuchmaschinenKünstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei Suchmaschinen
Dirk Lewandowski
 
Analysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topicsAnalysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topics
Dirk Lewandowski
 
Neue Trends: Google, SEO und Co.?
Neue Trends: Google, SEO und Co.?Neue Trends: Google, SEO und Co.?
Neue Trends: Google, SEO und Co.?
Dirk Lewandowski
 
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und EntwicklungsperspektivenInternet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Dirk Lewandowski
 

Mehr von Dirk Lewandowski (20)

The Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web IndexThe Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web Index
 
In a World of Biased Search Engines
In a World of Biased Search EnginesIn a World of Biased Search Engines
In a World of Biased Search Engines
 
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
 
Künstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei SuchmaschinenKünstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei Suchmaschinen
 
Analysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topicsAnalysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topics
 
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändertGoogle Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
 
Suchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von SuchdienstenSuchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von Suchdiensten
 
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
 
Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?
 
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
 
Wie Suchmaschinen die Inhalte des Web interpretieren
Wie Suchmaschinen die Inhalte des Web interpretierenWie Suchmaschinen die Inhalte des Web interpretieren
Wie Suchmaschinen die Inhalte des Web interpretieren
 
Perspektiven eines Open Web Index
Perspektiven eines Open Web IndexPerspektiven eines Open Web Index
Perspektiven eines Open Web Index
 
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
 
Suchmaschinen verstehen
Suchmaschinen verstehenSuchmaschinen verstehen
Suchmaschinen verstehen
 
Neue Trends: Google, SEO und Co.?
Neue Trends: Google, SEO und Co.?Neue Trends: Google, SEO und Co.?
Neue Trends: Google, SEO und Co.?
 
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und EntwicklungsperspektivenInternet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
 
Nutzer verstehen
Nutzer verstehenNutzer verstehen
Nutzer verstehen
 

Relevance Assessment Tool

  • 1. Prof. Dr. Dirk Lewandowski Hochschule für Angewandte Wissenschaften Hamburg dirk.lewandowski@haw-hamburg.de Relevance Assessment Tool
  • 2. Was ist das Relevance Assessment Tool? •  Software, die flexible Plattform bietet, um vielfältige Studien mit und über Websuchmaschinen durchzuführen •  Werkzeug zum Design und zur Durchführung von Studien
  • 3. Ausgangsfrage für unsere Suchmaschinenuntersuchungen •  Wie gut sind die Treffer von Suchmaschinen? •  Bietet Google wirklich die besten Ergebnisse? •  Typisches Testdesign –  Auswahl von Suchanfragen/-aufgaben –  Suchanfragen werden an Suchmaschinen geschickt –  Ergebnisse werden erfasst/gespeichert –  Ergebnisse werden gemischt und Herkunft unkenntlich gemacht –  Ergebnisse werden von Juroren bewertet –  Bewertungen werden zusammengeführt und den Suchmaschinen zugeordnet –  Auswertung
  • 4.
  • 5. Unterstützung durch RAT Test%design% SERP%% screen%scraping% Collec5ng%% relevance%% judgments% Results%% download% 1% 2% 3% 4% Test%design% SERP%% screen%scraping% Collec5ng%% relevance%% judgments% Results%% download% 1% 2% 3% 4% Test%design% SERP%% screen%scraping% Collec5ng%% relevance%% judgments% Results%% download% 1% 2% 3% 4% Test%design% SERP%% screen%scraping% Collec5ng%% relevance%% judgments% Results%% download% 1% 2% 3% 4% Test%design% SERP%% screen%scraping% Collec5ng%% relevance%% judgments% Results%% download% 1% 2% 3% 4% Test%design% SERP%% screen%scraping% Collec5ng%% relevance%% judgments% Results%% download% 1% 2% 3% 4% Test%design% SERP%% screen%scraping% Collec5ng%% relevance%% judgments% Results%% download% 1% 2% 3% 4%
  • 6. Welche Möglichkeiten bietet das Relevance Assessment Tool? •  Völlig individuelle Skalen und Aufgaben –  Administrator kann alles selbst bestimmen, z.B. Sprache, demographische Abfrage, Suchaufgaben, usw. •  Erhebung verschiedenster Daten •  durch die individuelle Erstellung von Skalen und Aufgaben •  Komfortabel nutzbar •  da es sich um eine Web-Anwendung handelt, ist keine Installation notwendig
  • 7. Anwendungsmöglichkeiten des Relevance Assessment Tools (Bsp.) •  Vergleich semantischer Suchdienste mit konventionellen Suchmaschinen •  Vergleich verschiedenster Download-Musikdienste im Internet •  Untersuchung automatisch generierter Suchvorschläge verschiedener Suchmaschinen •  Vergleich der Universal-Search Ergebnisse von Google und Bing •  Identifikation von bedenklichen Inhaltsstoffen zur Lebensmittelkontrolle im Internet •  Präsenz von Facebook- und Twitter-Seiten von deutschen Unternehmen in Suchmaschinen.