SlideShare ist ein Scribd-Unternehmen logo
Suchmaschinenforschung an der HAW Hamburg
Prof. Dr. Dirk Lewandowski
Hochschule für Angewandte Wissenschaften Hamburg, Department Information
dirk.lewandowski@haw-hamburg.de
Agenda



  Einleitung: Forschungsbereiche und Methoden

 Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?

 Wie gut sind die Suchergebnisse?

 Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?

 Fazit




1 | Dirk Lewandowski
Agenda



  Einleitung: Forschungsbereiche und Methoden

 Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?

 Wie gut sind die Suchergebnisse?

 Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?

 Fazit




2 | Dirk Lewandowski
Suchmaschinenmarkt: Deutschland 2011




3 | Dirk Lewandowski                    (Webhits, 2011)
Die Qualität von Suchmaschinen kann nur durch eine
 Kombination unterschiedlicher Faktoren gemessen werden.

 •  Qualität des Index
     –  Größe des Datenbestands, Abdeckung des Web
     –  Abdeckung bestimmter Bereiche (Sprachräume, Länder)
     –  Überschneidungen der Indices
     –  Aktualität des Datenbestands

 •  Qualität der Suchresultate
       –  Retrievaleffektivität
       –  Zuverlässigkeit der Suchergebnisse
       –  Zufriedenheit der Nutzer
       –  Überschneidungen der (Top-)Ergebnisse

 •  Qualität der Suchfunktionen

 •  Nutzerfreundlichkeit + Benutzerführung
       –  Aufbau der Trefferseiten
                                                              (Lewandowski & Höchstötter 2007; ergänzt)

4 | Dirk Lewandowski
Methoden




                                Logfile-Analyse
                                                               Heuristische
       Relevanztest                                            Evaluation


                                      Search
      Online-Umfrage
                                                           Usability-Test

                       Eye-Tracking
                                              Physiologische
                                              Untersuchung



5 |
Aktuelle Projekte im Bereich Suche




 •  Forschungsprojekte
       •  Qualität von Web-Suchmaschinen (laufend bis 2011)
       •  Forschungsprojekt „Wissenschaftssuchmaschinen“ (seit WS 2008/09)
       •  Query Understanding (seit 2010)
       •  Search Experience (ab 2011)


        Wir wollen den Suchprozess sowohl aus system- als auch aus
        nutzerzentrierter Perspektive verstehen und aus diesem Verständnis
        Empfehlungen für die Verbesserung von Suchsystemen ableiten.




6 | Dirk Lewandowski
Aktuelle Projekte im Bereich Suche




 •  Lehrprojekte
      –  Verbesserung der Musiksuche (WS2010/11; Musicload)
      –  Lokale Suchmaschinen: Eye-Tracking und Usability (WS 2009/10,
         Projektpartner T-Online)
      –  Einbindung von Frage-Antwort-Diensten in die Web-Suche (WS2007/08,
         Projektpartner Lycos Europe)

 •  Abgeschlossene Entwicklungsprojekte (mit MA-Studierenden)
      •  Suchanfragenklassifikation (in Zusammenarbeit mit T-Online)
      •  Produktsuche (mit Otto)
      •  Universal-Search-Konzept für die T-Online-Portalsuche


7 | Dirk Lewandowski
Abschlussarbeiten (Auswahl)




 •  Vergleichende Analyse und szenariobasierte Usability Tests zur Evaluation der
    Gebrauchstauglichkeit neu gestarteter Suchmaschinen
 •  Vergleich der Eyetracking-Systeme von Tobii und Interactive Minds unter
    besonderer Betrachtung der Auswertung bei dynamischen Webseiten-Elementen
 •  Empirische Analyse von emotionalen Reaktionen im Prozess der
    Informationssuche im Web
 •  Die Qualität von Retrievalergebnissen im Vergleich – Google Book Search und der
    OPAC einer wissenschaftlichen Bibliothek
 •  Zur Struktur der Trefferbeschreibungen in Web-Suchmaschinen und deren
    Beurteilung durch den Nutzer
 •  Optimierung der Suche von Nachrichten-Inhalten am Beispiel von Stern.de
 •  Untersuchung zum Nutzerverhalten auf der Website SPIEGEL Wissen
8 | Dirk Lewandowski
Agenda



  Einleitung: Forschungsbereiche und Methoden

 Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?

 Wie gut sind die Suchergebnisse?

 Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?

 Fazit




9 | Dirk Lewandowski
x




10 | Dirk Lewandowski   (Eyetracking-Studie HAW-Hamburg 2010)
x




11 | Dirk Lewandowski
x




12 | Dirk Lewandowski
Eye-Tracking




 •  x




13 |
x




14 |
Anzeigen



        Nachrichten



           Bilder

 x




         Videos

       Blogbeiträge


15 |
Empirische Untersuchung zur Präsentation der Treffer auf den
 Ergebnisseiten



 •  Methode
    •  Suchanfragen-Stichprobe zufällig ausgewählt aus
         •  Top-Suchanfragen (pop)
         •  Seltenen Suchanfragen (rare)

       •  Stichprobe von 2x 1099 Suchanfragen

       •  Automatische Anfragen an die Suchmaschinen Ask, Bing, Google, Yahoo.

       •  Extraktion der auf den Ergebnisseiten präsentierten Elementen („screen scraping“).




16 |                                                                (Lewandowski & Höchstötter; in Arbeit)
Verteilung der Ergebnistypen innerhalb der ersten Ergebnisseiten




17 |                                        (Höchstötter und Lewandowski; in Arbeit)
Aus welchen Quellen kommen die Ergebnisse?

 Beispiel Google




18 |
Charakteristika der Treffermengen




 •  Wie häufig tauchen Wikipedia-Treffer* in den Top10 auf?

                                     Ask     Bing         Google                        Yahoo
  Populäre                          12,8%   91,5%             58,3%                     46,4%
  Suchanfragen
  Rare                              12,6%   43,0%             22,4%                     22,5%
  Suchanfragen




 * Nur deutsche Wikipedia-Treffer

19 |                                                          (Lewandowski & Höchstötter; in Arbeit)
Welcher Anteil der Ergebnisse (Top 10) hat einen kommerziellen
 Hintergrund?




20 |
Agenda



  Einleitung: Forschungsbereiche und Methoden

 Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?

 Wie gut sind die Suchergebnisse?

 Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?

 Fazit




21 | Dirk Lewandowski
Was soll eigentlich gemessen werden?


 •  Relevanz der Ergebnisse
    •  Durchschnittliche Bewertung der Suchergebnisse (Systemseite)
    •  Bewertung jedes einzelnen gefundenen Treffers hinsichtlich seiner Eignung zur
       Beantwortung der Suchanfrage.
    •  Ergebnisse mehrerer Suchmaschinen können gemischt werden; Herkunft der
       Treffer kann verschleiert werden.

 •  Zufriedenheit der Nutzer mit einem Suchprozess
    •  Durchschnittliche Bewertung der Suchprozesse (Nutzerseite)
    •  Bewertung jeder einzelnen Suchsession.
    •  Jeder Nutzer kann nur eine Suchmaschine bewerten; Kenntnis der Suchmaschine.

 •  Wissenszuwachs
    •  Durchschnittliche Bewertung dessen, „was hängen geblieben ist“ (Nutzerseite)
    •  Bewertung des Wissenszuwachses nach einer Suchsession.
    •  Jeder Nutzer kann nur eine Suchmaschine bewerten; Kenntnis der Suchmaschine.
22 |
Entscheidungen beim Design klassischer Retrievaltests




 1. Welche Suchmaschine(n)?

 2. Wie viele Suchanfragen?
 3. Welche Suchanfragen?
 4. Wie viele Ergebnisse pro Suchanfrage?

 5. Wie viele Juroren?
 6. Welche Juroren(gruppen)?
 7. Wie viele Juroren je Suchanfrage?

 8. Wie sollen Dokumente bewertet werden (Skalen)?
 9. Sollen Dokumentbeschreibungen berücksichtigt werden?

 10.  Mit welchen Kennzahlen soll gemessen werden?
23 |
Precision-Recall-Graph (binär)




24 | Dirk Lewandowski
Welches Nutzerverhalten kann in Retrievaltests abgebildet
 werden?



 •  Query-response paradigm
    •  Annahme: Nutzer gibt Suchanfrage ein, prüft dann das Ergebnis.
    •  Statisch; „systemorientiert“
     „Klassische“ Retrievaltests (Abfrage der „objektiven“ Trefferqualität)

 •  Interaktives Retrieval
    •  Annahme:
         •  Recherche findet in mehreren Schritten statt.
         •  Bei der Recherche handelt es sich um einen „Dialog“ zwischen Nutzer und
            System.
    •  Dynamisch, „nutzerorientiert“
     Nutzerstudien (Abfrage der Zufriedenheit der Nutzer)


25 |
Tools: RAT & Search Logger




 •  RAT (Relevance Assessment Tool)
    •  Werkzeug zum Design und zur Durchführung klassischer Retrievaltests
    •  Baukastenprinzip beim Testdesign
    •  Automatische Abfrage der Treffer der bekannten Suchmaschinen

 •  Search Logger (Entwicklung der Uni Tartu, Estland)
    •  Werkzeug zum Protokollieren von Browserinteraktionen
    •  Task-basiert

 •  Ziel 2011: Zusammenführung der beiden Tools, um interaktives IR in
    Suchmaschinen evaluieren zu können.




26 |
Agenda



  Einleitung: Forschungsbereiche und Methoden

 Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?

 Wie gut sind die Suchergebnisse?

 Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?

 Fazit




27 | Dirk Lewandowski
Drei Anfragetypen

 Anfragetypen nach Broder (2002)



 •  Informational (informationsorientiert)
       –  Nutzer möchte sich zu einem Thema informieren.
       –  Ziel sind mehrere Dokumente.

 •  Navigational (navigationsorientiert)
       –  Ziel ist es, eine bestimmte Seite (wieder) zu finden.
       –  Typisch: Suche nach Homepage („Daimler Chrysler“).
       –  Ziel ist i.d.R. ein Dokument.

 •  Transactional (transaktionsorientiert)
       –  Ziel ist das Auffinden einer Website, auf der dann eine Transaktion stattfinden
          soll.
       –  Beispiele für Transaktionen: Kauf eines Produkts, Download einer Datei.

28 |
Navigationsorientierte Suchanfragen anhand von Klicks
 bestimmen




29 |
Transaktionsorientierte Suchanfragen anhand der Klicks
 bestimmen




30 |
Hätten Sie‘s verstanden?




 •     bbl
 •     vatikan
 •     stockbrot
 •     motonetix
 •     nedcom
 •     fußball
 •     drehscheibe
 •     frauentausch
 •     seelenfarben
 •     kachelmannwetter
 •     osterei
 •     wie ich
 •     wow

31 | Dirk Lewandowski
Suchanfragen im Kontext




32 |
Agenda



  Einleitung: Forschungsbereiche und Methoden

 Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?

 Wie gut sind die Suchergebnisse?

 Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?

 Fazit




33 | Dirk Lewandowski
Fazit




 •  Im Themenbereich Suchmaschinen gibt es vielfältige Fragen.

 •  Nur die Informationswissenschaft bietet
    •  das nötige breite Methodenspektrum
    •  Mischung aus technischem + sozial- und gesellschaftswissenschaftlichem Know-
       How

 •  Und zuletzt: Die Berufsaussichten in diesem Themenbereich sind sehr gut!




34 |
Vielen Dank für Ihre
Aufmerksamkeit.

www.bui.haw-hamburg.de/lewandowski.html



Aktuelles Buch:
Handbuch Internet-Suchmaschinen 2


E-Mail:
dirk.lewandowski@haw-hamburg.de

Weitere ähnliche Inhalte

Ähnlich wie Suchmaschinenforschung an der HAW Hamburg

Wie gut sind Google und Co.?
Wie gut sind Google und Co.?Wie gut sind Google und Co.?
Wie gut sind Google und Co.?
Dirk Lewandowski
 
Suchmaschinen im Internet – neue Erkenntnisse und Perspektiven
Suchmaschinen im Internet – neue Erkenntnisse und PerspektivenSuchmaschinen im Internet – neue Erkenntnisse und Perspektiven
Suchmaschinen im Internet – neue Erkenntnisse und Perspektiven
Dirk Lewandowski
 
Web-Suche? Gibt‘s nicht mehr!
Web-Suche? Gibt‘s nicht mehr!Web-Suche? Gibt‘s nicht mehr!
Web-Suche? Gibt‘s nicht mehr!
Dirk Lewandowski
 
Was Nutzer in Suchmaschinen wirklich sehen
Was Nutzer in Suchmaschinen wirklich sehenWas Nutzer in Suchmaschinen wirklich sehen
Was Nutzer in Suchmaschinen wirklich sehen
Dirk Lewandowski
 
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und EntwicklungsperspektivenInternet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Dirk Lewandowski
 
Ist meine Suchmaschine wirklich so gut, wie ich glaube?
Ist meine Suchmaschine wirklich so gut, wie ich glaube?Ist meine Suchmaschine wirklich so gut, wie ich glaube?
Ist meine Suchmaschine wirklich so gut, wie ich glaube?
Dirk Lewandowski
 
Suchmaschinen, Bürde für Informationsspezialisten?
Suchmaschinen, Bürde für Informationsspezialisten?Suchmaschinen, Bürde für Informationsspezialisten?
Suchmaschinen, Bürde für Informationsspezialisten?
Dirk Lewandowski
 
Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
Dirk Lewandowski
 
Warum Suche (trotzdem) bedeutend ist
Warum Suche (trotzdem) bedeutend istWarum Suche (trotzdem) bedeutend ist
Warum Suche (trotzdem) bedeutend ist
Dirk Lewandowski
 
Google: Was sieht der Nutzer?
Google: Was sieht der Nutzer?Google: Was sieht der Nutzer?
Google: Was sieht der Nutzer?
Dirk Lewandowski
 
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Dirk Lewandowski
 
Perspektiven eines Open Web Index
Perspektiven eines Open Web IndexPerspektiven eines Open Web Index
Perspektiven eines Open Web Index
Dirk Lewandowski
 
Von wem wir abhängig sind: Über die Auffindbarkeit von Informationen
Von wem wir abhängig sind: Über die Auffindbarkeit von InformationenVon wem wir abhängig sind: Über die Auffindbarkeit von Informationen
Von wem wir abhängig sind: Über die Auffindbarkeit von Informationen
Dirk Lewandowski
 
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Dirk Lewandowski
 
Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...
Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...
Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...
Hendrik Kalb
 
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Dirk Lewandowski
 

Ähnlich wie Suchmaschinenforschung an der HAW Hamburg (20)

Wie gut sind Google und Co.?
Wie gut sind Google und Co.?Wie gut sind Google und Co.?
Wie gut sind Google und Co.?
 
Suchmaschinen im Internet – neue Erkenntnisse und Perspektiven
Suchmaschinen im Internet – neue Erkenntnisse und PerspektivenSuchmaschinen im Internet – neue Erkenntnisse und Perspektiven
Suchmaschinen im Internet – neue Erkenntnisse und Perspektiven
 
Web-Suche? Gibt‘s nicht mehr!
Web-Suche? Gibt‘s nicht mehr!Web-Suche? Gibt‘s nicht mehr!
Web-Suche? Gibt‘s nicht mehr!
 
Was Nutzer in Suchmaschinen wirklich sehen
Was Nutzer in Suchmaschinen wirklich sehenWas Nutzer in Suchmaschinen wirklich sehen
Was Nutzer in Suchmaschinen wirklich sehen
 
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und EntwicklungsperspektivenInternet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
Internet-Suchmaschinen: Aktueller Stand und Entwicklungsperspektiven
 
Ist meine Suchmaschine wirklich so gut, wie ich glaube?
Ist meine Suchmaschine wirklich so gut, wie ich glaube?Ist meine Suchmaschine wirklich so gut, wie ich glaube?
Ist meine Suchmaschine wirklich so gut, wie ich glaube?
 
Suchmaschinen, Bürde für Informationsspezialisten?
Suchmaschinen, Bürde für Informationsspezialisten?Suchmaschinen, Bürde für Informationsspezialisten?
Suchmaschinen, Bürde für Informationsspezialisten?
 
Suchmaschinen-Update
Suchmaschinen-UpdateSuchmaschinen-Update
Suchmaschinen-Update
 
Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
 
Warum Suche (trotzdem) bedeutend ist
Warum Suche (trotzdem) bedeutend istWarum Suche (trotzdem) bedeutend ist
Warum Suche (trotzdem) bedeutend ist
 
Google: Was sieht der Nutzer?
Google: Was sieht der Nutzer?Google: Was sieht der Nutzer?
Google: Was sieht der Nutzer?
 
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
 
Alternativen zu Google
Alternativen zu GoogleAlternativen zu Google
Alternativen zu Google
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
 
Perspektiven eines Open Web Index
Perspektiven eines Open Web IndexPerspektiven eines Open Web Index
Perspektiven eines Open Web Index
 
Von wem wir abhängig sind: Über die Auffindbarkeit von Informationen
Von wem wir abhängig sind: Über die Auffindbarkeit von InformationenVon wem wir abhängig sind: Über die Auffindbarkeit von Informationen
Von wem wir abhängig sind: Über die Auffindbarkeit von Informationen
 
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?
 
Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...
Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...
Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...
 
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
 
Web-Index-Workshop 2014
Web-Index-Workshop 2014Web-Index-Workshop 2014
Web-Index-Workshop 2014
 

Mehr von Dirk Lewandowski

The Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web IndexThe Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web Index
Dirk Lewandowski
 
In a World of Biased Search Engines
In a World of Biased Search EnginesIn a World of Biased Search Engines
In a World of Biased Search Engines
Dirk Lewandowski
 
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
Dirk Lewandowski
 
Künstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei SuchmaschinenKünstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei Suchmaschinen
Dirk Lewandowski
 
Analysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topicsAnalysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topics
Dirk Lewandowski
 
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändertGoogle Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Dirk Lewandowski
 
Suchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von SuchdienstenSuchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von Suchdiensten
Dirk Lewandowski
 
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Dirk Lewandowski
 
Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?
Dirk Lewandowski
 
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Dirk Lewandowski
 
Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von SuchmaschinenVerwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Dirk Lewandowski
 
Medientage 2013: Die Zukunft der Suche
Medientage 2013: Die Zukunft der SucheMedientage 2013: Die Zukunft der Suche
Medientage 2013: Die Zukunft der Suche
Dirk Lewandowski
 
Suchmaschinen: Googlerisierung der Gesellschaft
Suchmaschinen: Googlerisierung der GesellschaftSuchmaschinen: Googlerisierung der Gesellschaft
Suchmaschinen: Googlerisierung der Gesellschaft
Dirk Lewandowski
 
Wie beeinflussen Suchmaschinen den Informationsmarkt?
Wie beeinflussen Suchmaschinen den Informationsmarkt?Wie beeinflussen Suchmaschinen den Informationsmarkt?
Wie beeinflussen Suchmaschinen den Informationsmarkt?
Dirk Lewandowski
 
Alternatives to Google
Alternatives to GoogleAlternatives to Google
Alternatives to Google
Dirk Lewandowski
 
Warum wir Alternativen zu Google benötigen
Warum wir Alternativen zu Google benötigenWarum wir Alternativen zu Google benötigen
Warum wir Alternativen zu Google benötigen
Dirk Lewandowski
 
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
Dirk Lewandowski
 

Mehr von Dirk Lewandowski (20)

The Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web IndexThe Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web Index
 
In a World of Biased Search Engines
In a World of Biased Search EnginesIn a World of Biased Search Engines
In a World of Biased Search Engines
 
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
 
Künstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei SuchmaschinenKünstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei Suchmaschinen
 
Analysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topicsAnalysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topics
 
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändertGoogle Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
 
Suchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von SuchdienstenSuchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von Suchdiensten
 
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
 
Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?
 
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
 
Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von SuchmaschinenVerwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
 
Nutzer verstehen
Nutzer verstehenNutzer verstehen
Nutzer verstehen
 
Medientage 2013: Die Zukunft der Suche
Medientage 2013: Die Zukunft der SucheMedientage 2013: Die Zukunft der Suche
Medientage 2013: Die Zukunft der Suche
 
Suchmaschinen: Googlerisierung der Gesellschaft
Suchmaschinen: Googlerisierung der GesellschaftSuchmaschinen: Googlerisierung der Gesellschaft
Suchmaschinen: Googlerisierung der Gesellschaft
 
Wie beeinflussen Suchmaschinen den Informationsmarkt?
Wie beeinflussen Suchmaschinen den Informationsmarkt?Wie beeinflussen Suchmaschinen den Informationsmarkt?
Wie beeinflussen Suchmaschinen den Informationsmarkt?
 
Alternatives to Google
Alternatives to GoogleAlternatives to Google
Alternatives to Google
 
Warum wir Alternativen zu Google benötigen
Warum wir Alternativen zu Google benötigenWarum wir Alternativen zu Google benötigen
Warum wir Alternativen zu Google benötigen
 
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
 

Suchmaschinenforschung an der HAW Hamburg

  • 1. Suchmaschinenforschung an der HAW Hamburg Prof. Dr. Dirk Lewandowski Hochschule für Angewandte Wissenschaften Hamburg, Department Information dirk.lewandowski@haw-hamburg.de
  • 2. Agenda Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind die Suchergebnisse? Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint? Fazit 1 | Dirk Lewandowski
  • 3. Agenda Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind die Suchergebnisse? Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint? Fazit 2 | Dirk Lewandowski
  • 4. Suchmaschinenmarkt: Deutschland 2011 3 | Dirk Lewandowski (Webhits, 2011)
  • 5. Die Qualität von Suchmaschinen kann nur durch eine Kombination unterschiedlicher Faktoren gemessen werden. •  Qualität des Index –  Größe des Datenbestands, Abdeckung des Web –  Abdeckung bestimmter Bereiche (Sprachräume, Länder) –  Überschneidungen der Indices –  Aktualität des Datenbestands •  Qualität der Suchresultate –  Retrievaleffektivität –  Zuverlässigkeit der Suchergebnisse –  Zufriedenheit der Nutzer –  Überschneidungen der (Top-)Ergebnisse •  Qualität der Suchfunktionen •  Nutzerfreundlichkeit + Benutzerführung –  Aufbau der Trefferseiten (Lewandowski & Höchstötter 2007; ergänzt) 4 | Dirk Lewandowski
  • 6. Methoden Logfile-Analyse Heuristische Relevanztest Evaluation Search Online-Umfrage Usability-Test Eye-Tracking Physiologische Untersuchung 5 |
  • 7. Aktuelle Projekte im Bereich Suche •  Forschungsprojekte •  Qualität von Web-Suchmaschinen (laufend bis 2011) •  Forschungsprojekt „Wissenschaftssuchmaschinen“ (seit WS 2008/09) •  Query Understanding (seit 2010) •  Search Experience (ab 2011)  Wir wollen den Suchprozess sowohl aus system- als auch aus nutzerzentrierter Perspektive verstehen und aus diesem Verständnis Empfehlungen für die Verbesserung von Suchsystemen ableiten. 6 | Dirk Lewandowski
  • 8. Aktuelle Projekte im Bereich Suche •  Lehrprojekte –  Verbesserung der Musiksuche (WS2010/11; Musicload) –  Lokale Suchmaschinen: Eye-Tracking und Usability (WS 2009/10, Projektpartner T-Online) –  Einbindung von Frage-Antwort-Diensten in die Web-Suche (WS2007/08, Projektpartner Lycos Europe) •  Abgeschlossene Entwicklungsprojekte (mit MA-Studierenden) •  Suchanfragenklassifikation (in Zusammenarbeit mit T-Online) •  Produktsuche (mit Otto) •  Universal-Search-Konzept für die T-Online-Portalsuche 7 | Dirk Lewandowski
  • 9. Abschlussarbeiten (Auswahl) •  Vergleichende Analyse und szenariobasierte Usability Tests zur Evaluation der Gebrauchstauglichkeit neu gestarteter Suchmaschinen •  Vergleich der Eyetracking-Systeme von Tobii und Interactive Minds unter besonderer Betrachtung der Auswertung bei dynamischen Webseiten-Elementen •  Empirische Analyse von emotionalen Reaktionen im Prozess der Informationssuche im Web •  Die Qualität von Retrievalergebnissen im Vergleich – Google Book Search und der OPAC einer wissenschaftlichen Bibliothek •  Zur Struktur der Trefferbeschreibungen in Web-Suchmaschinen und deren Beurteilung durch den Nutzer •  Optimierung der Suche von Nachrichten-Inhalten am Beispiel von Stern.de •  Untersuchung zum Nutzerverhalten auf der Website SPIEGEL Wissen 8 | Dirk Lewandowski
  • 10. Agenda Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind die Suchergebnisse? Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint? Fazit 9 | Dirk Lewandowski
  • 11. x 10 | Dirk Lewandowski (Eyetracking-Studie HAW-Hamburg 2010)
  • 12. x 11 | Dirk Lewandowski
  • 13. x 12 | Dirk Lewandowski
  • 16. Anzeigen Nachrichten Bilder x Videos Blogbeiträge 15 |
  • 17. Empirische Untersuchung zur Präsentation der Treffer auf den Ergebnisseiten •  Methode •  Suchanfragen-Stichprobe zufällig ausgewählt aus •  Top-Suchanfragen (pop) •  Seltenen Suchanfragen (rare) •  Stichprobe von 2x 1099 Suchanfragen •  Automatische Anfragen an die Suchmaschinen Ask, Bing, Google, Yahoo. •  Extraktion der auf den Ergebnisseiten präsentierten Elementen („screen scraping“). 16 | (Lewandowski & Höchstötter; in Arbeit)
  • 18. Verteilung der Ergebnistypen innerhalb der ersten Ergebnisseiten 17 | (Höchstötter und Lewandowski; in Arbeit)
  • 19. Aus welchen Quellen kommen die Ergebnisse? Beispiel Google 18 |
  • 20. Charakteristika der Treffermengen •  Wie häufig tauchen Wikipedia-Treffer* in den Top10 auf? Ask Bing Google Yahoo Populäre 12,8% 91,5% 58,3% 46,4% Suchanfragen Rare 12,6% 43,0% 22,4% 22,5% Suchanfragen * Nur deutsche Wikipedia-Treffer 19 | (Lewandowski & Höchstötter; in Arbeit)
  • 21. Welcher Anteil der Ergebnisse (Top 10) hat einen kommerziellen Hintergrund? 20 |
  • 22. Agenda Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind die Suchergebnisse? Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint? Fazit 21 | Dirk Lewandowski
  • 23. Was soll eigentlich gemessen werden? •  Relevanz der Ergebnisse •  Durchschnittliche Bewertung der Suchergebnisse (Systemseite) •  Bewertung jedes einzelnen gefundenen Treffers hinsichtlich seiner Eignung zur Beantwortung der Suchanfrage. •  Ergebnisse mehrerer Suchmaschinen können gemischt werden; Herkunft der Treffer kann verschleiert werden. •  Zufriedenheit der Nutzer mit einem Suchprozess •  Durchschnittliche Bewertung der Suchprozesse (Nutzerseite) •  Bewertung jeder einzelnen Suchsession. •  Jeder Nutzer kann nur eine Suchmaschine bewerten; Kenntnis der Suchmaschine. •  Wissenszuwachs •  Durchschnittliche Bewertung dessen, „was hängen geblieben ist“ (Nutzerseite) •  Bewertung des Wissenszuwachses nach einer Suchsession. •  Jeder Nutzer kann nur eine Suchmaschine bewerten; Kenntnis der Suchmaschine. 22 |
  • 24. Entscheidungen beim Design klassischer Retrievaltests 1. Welche Suchmaschine(n)? 2. Wie viele Suchanfragen? 3. Welche Suchanfragen? 4. Wie viele Ergebnisse pro Suchanfrage? 5. Wie viele Juroren? 6. Welche Juroren(gruppen)? 7. Wie viele Juroren je Suchanfrage? 8. Wie sollen Dokumente bewertet werden (Skalen)? 9. Sollen Dokumentbeschreibungen berücksichtigt werden? 10.  Mit welchen Kennzahlen soll gemessen werden? 23 |
  • 26. Welches Nutzerverhalten kann in Retrievaltests abgebildet werden? •  Query-response paradigm •  Annahme: Nutzer gibt Suchanfrage ein, prüft dann das Ergebnis. •  Statisch; „systemorientiert“  „Klassische“ Retrievaltests (Abfrage der „objektiven“ Trefferqualität) •  Interaktives Retrieval •  Annahme: •  Recherche findet in mehreren Schritten statt. •  Bei der Recherche handelt es sich um einen „Dialog“ zwischen Nutzer und System. •  Dynamisch, „nutzerorientiert“  Nutzerstudien (Abfrage der Zufriedenheit der Nutzer) 25 |
  • 27. Tools: RAT & Search Logger •  RAT (Relevance Assessment Tool) •  Werkzeug zum Design und zur Durchführung klassischer Retrievaltests •  Baukastenprinzip beim Testdesign •  Automatische Abfrage der Treffer der bekannten Suchmaschinen •  Search Logger (Entwicklung der Uni Tartu, Estland) •  Werkzeug zum Protokollieren von Browserinteraktionen •  Task-basiert •  Ziel 2011: Zusammenführung der beiden Tools, um interaktives IR in Suchmaschinen evaluieren zu können. 26 |
  • 28. Agenda Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind die Suchergebnisse? Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint? Fazit 27 | Dirk Lewandowski
  • 29. Drei Anfragetypen Anfragetypen nach Broder (2002) •  Informational (informationsorientiert) –  Nutzer möchte sich zu einem Thema informieren. –  Ziel sind mehrere Dokumente. •  Navigational (navigationsorientiert) –  Ziel ist es, eine bestimmte Seite (wieder) zu finden. –  Typisch: Suche nach Homepage („Daimler Chrysler“). –  Ziel ist i.d.R. ein Dokument. •  Transactional (transaktionsorientiert) –  Ziel ist das Auffinden einer Website, auf der dann eine Transaktion stattfinden soll. –  Beispiele für Transaktionen: Kauf eines Produkts, Download einer Datei. 28 |
  • 30. Navigationsorientierte Suchanfragen anhand von Klicks bestimmen 29 |
  • 31. Transaktionsorientierte Suchanfragen anhand der Klicks bestimmen 30 |
  • 32. Hätten Sie‘s verstanden? •  bbl •  vatikan •  stockbrot •  motonetix •  nedcom •  fußball •  drehscheibe •  frauentausch •  seelenfarben •  kachelmannwetter •  osterei •  wie ich •  wow 31 | Dirk Lewandowski
  • 34. Agenda Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind die Suchergebnisse? Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint? Fazit 33 | Dirk Lewandowski
  • 35. Fazit •  Im Themenbereich Suchmaschinen gibt es vielfältige Fragen. •  Nur die Informationswissenschaft bietet •  das nötige breite Methodenspektrum •  Mischung aus technischem + sozial- und gesellschaftswissenschaftlichem Know- How •  Und zuletzt: Die Berufsaussichten in diesem Themenbereich sind sehr gut! 34 |
  • 36. Vielen Dank für Ihre Aufmerksamkeit. www.bui.haw-hamburg.de/lewandowski.html Aktuelles Buch: Handbuch Internet-Suchmaschinen 2 E-Mail: dirk.lewandowski@haw-hamburg.de