SlideShare ist ein Scribd-Unternehmen logo
Ausgewählte Forschungsfragen im Bereich
Suche
Prof. Dr. Dirk Lewandowski
Hochschule für Angewandte Wissenschaften Hamburg, Department Information
dirk.lewandowski@haw-hamburg.de


Darmstadt, 15. Juni 2011
Kurzvorstellung

 •  Prof. Dr. Dirk Lewandowski

 •  Professor für
    Information Research & Information Retrieval
    an der Hochschule für Angewandte Wissenschaften
    Hamburg (HAW)

 •  Forschung vor allem zur Qualität von Suchmaschinen,
    Nutzerverhalten, Query Understanding




1 |
Agenda



  Suchmaschinenforschung an der HAW

 Gibt es die Websuche eigentlich noch?

 Wie kann man die Suchanfragen der Nutzer verstehen?

 Wie gut sind die Ergebnisse der Suchmaschinen?

 Fazit




2 | Dirk Lewandowski
Agenda



  Suchmaschinenforschung an der HAW

 Gibt es die Websuche eigentlich noch?

 Wie kann man die Suchanfragen der Nutzer verstehen?

 Wie gut sind die Ergebnisse der Suchmaschinen?

 Fazit




3 | Dirk Lewandowski
Mission Statement




        Wir wollen den Suchprozess sowohl aus system- als auch aus
        nutzerzentrierter Perspektive verstehen und aus diesem Verständnis
        Empfehlungen für die Verbesserung von Suchsystemen ableiten.




4 | Dirk Lewandowski
Aktuelle Projekte im Bereich Suche




 •  Forschungsprojekte
       •  Qualität von Web-Suchmaschinen (laufend bis 2011)
       •  Forschungsprojekt „Wissenschaftssuchmaschinen“ (seit WS 2008/09)
       •  Query Understanding (seit 2010)
       •  Search Experience (ab 2011)




5 | Dirk Lewandowski
Methoden




                                Logfile-Analyse
                                                               Heuristische
       Relevanztest                                            Evaluation


                                      Search
      Online-Umfrage
                                                           Usability-Test

                       Eye-Tracking
                                              Physiologische
                                              Untersuchung



6 |
Aktuelle Projekte (mit Studierenden) im Bereich Suche




 •  Lehrprojekte
      –  Verbesserung der Musiksuche (WS2010/11; Projektpartner Musicload)
      –  Lokale Suchmaschinen: Eye-Tracking und Usability (WS 2009/10,
         Projektpartner Deutsche Telekom)
      –  Einbindung von Frage-Antwort-Diensten in die Web-Suche (WS2007/08,
         Projektpartner Lycos Europe)

 •  Abgeschlossene Entwicklungsprojekte (mit MA-Studierenden)
      •  Suchanfragenklassifikation (in Zusammenarbeit mit T-Online)
      •  Produktsuche (mit Otto)
      •  Universal-Search-Konzept für die T-Online-Portalsuche


7 | Dirk Lewandowski
Kooperationsprojekt HAW / Telekom




8 | Dirk Lewandowski
Abschlussarbeiten (Auswahl)




 •  Vergleichende Analyse und szenariobasierte Usability Tests zur Evaluation der
    Gebrauchstauglichkeit neu gestarteter Suchmaschinen
 •  Vergleich der Eyetracking-Systeme von Tobii und Interactive Minds unter
    besonderer Betrachtung der Auswertung bei dynamischen Webseiten-Elementen
 •  Empirische Analyse von emotionalen Reaktionen im Prozess der
    Informationssuche im Web
 •  Die Qualität von Retrievalergebnissen im Vergleich – Google Book Search und der
    OPAC einer wissenschaftlichen Bibliothek
 •  Zur Struktur der Trefferbeschreibungen in Web-Suchmaschinen und deren
    Beurteilung durch den Nutzer
 •  Optimierung der Suche von Nachrichten-Inhalten am Beispiel von Stern.de
 •  Untersuchung zum Nutzerverhalten auf der Website SPIEGEL Wissen
9 | Dirk Lewandowski
Agenda



  Suchmaschinenforschung an der HAW

 Gibt es die Websuche eigentlich noch?

 Wie kann man die Suchanfragen der Nutzer verstehen?

 Wie gut sind die Ergebnisse der Suchmaschinen?

 Fazit




10 | Dirk Lewandowski
Web search: „Always different, always the same“

       AltaVista 1996




11 |                          http://web.archive.org/web/19961023234631/http://altavista.digital.com/
Web-Suche – was ist das eigentlich?

 Idealbild



 1.  Ein Index des Web wird erstellt und durchsuchbar gemacht.

 2.  Die Ergebnisse werden nach objektiven Kriterien in eine Reihenfolge
     gebracht.

 3.  Die besten Ergebnisse werden tatsächlich auf den vorderen Plätzen gezeigt.

 4.  Die Nutzer wählen kompetent aus den Ergebnissen aus.

 5.  Es ist nicht möglich, sich in die Suchergebnisse einzukaufen.




12 |
•  x




13 |
x




14 |
Anzeigen



        Nachrichten



           Bilder

 x




         Videos

       Blogbeiträge


15 |
Kooperationsprojekt HAW / Telekom




 Übertragbarkeit der Universal Search – Beispiel T-Online
 Portalsuche




16 | Dirk Lewandowski
Viele Indices statt des einen Web-Index




 •  Vielzahl von Indices
    •  Web
    •  News
    •  Lokale Suche / Kartenbasierte Suche
    •  Video
    •  Shopping
    •  Wissenschaftliche Inhalte

 •  Teils
    •  basieren diese Indices auf manuell erstellten White Lists (Bsp. News)
    •  sind die Kriterien für die Aufnahme in diese Indices unklar (Bsp. Wissenschaftliche
       Inhalte)
    •  betreiben die Suchmaschinen eigene Angebote, die in die Inidces eingespeist
       werden (Bsp. Youtube – Google Video).
17 |
Aus welchen Quellen kommen die Ergebnisse?

 Beispiel Google




18 |
Kompetente Ergebnisselektionen




 •  Ergebnisselektion abhängig von
    •  Position des Treffers
       •  Vorkommen des Treffers im „sichtbaren Bereich“
       •  Darstellung/Hervorhebung des Treffers, Trefferbeschreibung
       •  Einblendung in Vorschlägen während der Eingabe




19 |
x




20 | Dirk Lewandowski   (Eyetracking-Studie HAW-Hamburg 2010)
x




21 | Dirk Lewandowski
x




22 | Dirk Lewandowski
Kooperationsprojekt HAW / Telekom




 Fixationen bei kartenbasierter Darstellung – Beispiel T-Online




23 | Dirk Lewandowski
x




24 |
Fazit zum Status der Websuche




 •  Unsere Vorstellungen von der Web-Suche basieren weitgehend noch auf der
    beschriebenen Idealvorstellung.

 •  Diese Idealvorstellung wurde nie erfüllt, heute weniger denn je.

 •  Suchmaschinen sind weniger denn je „neutrale Vermittler von Informationen“.




25 |
Agenda



  Suchmaschinenforschung an der HAW

 Gibt es die Websuche eigentlich noch?

 Wie kann man die Suchanfragen der Nutzer verstehen?

 Wie gut sind die Ergebnisse der Suchmaschinen?

 Fazit




26 | Dirk Lewandowski
Hätten Sie‘s verstanden?




 •     vatikan              •    frauentausch
 •     stockbrot            •    seelenfarben
 •     bmw                  •    berliner bank
 •     fußball              •    osterei
 •     drehscheibe          •    wgt




27 | Dirk Lewandowski
•     x




28 | Dirk Lewandowski
•     x




29 | Dirk Lewandowski
•     x




30 | Dirk Lewandowski
Die Suchintention kann sich verändern




31 | Dirk Lewandowski
Die Suchintention kann sich verändern




32 | Dirk Lewandowski
Was kann man aus einer Suchanfrage herauslesen?




 •     Genre (Bsp. Nachrichten)
 •     Thema (grob)
 •     Intention (informationsorientiert, navigationsorientiert, transaktionsorientiert)
 •     Ziel (Aktion oder Ressource)
 •     Spezifität (Bsp. „Mindestlohn“)
 •     Bandbreite/Mehrdeutigkeit (Ergebnisse ausdifferenzieren)
 •     Autoritätsbezug
 •     Ortsbezug
 •     Zeitbezug (explizit; implizit; aus dem Suchanfrage-Volumen)



33 | Dirk Lewandowski                                                (nach Calderon-Benavides et al. 2010)
Suchanfragen im Kontext




34 |
Drei Anfragetypen

 Anfragetypen nach Broder (2002)



 •  Informational (informationsorientiert)
       –  Nutzer möchte sich zu einem Thema informieren.
       –  Ziel sind mehrere Dokumente.

 •  Navigational (navigationsorientiert)
       –  Ziel ist es, eine bestimmte Seite (wieder) zu finden.
       –  Typisch: Suche nach Homepage („Daimler Chrysler“).
       –  Ziel ist i.d.R. ein Dokument.

 •  Transactional (transaktionsorientiert)
       –  Ziel ist das Auffinden einer Website, auf der dann eine Transaktion stattfinden
          soll.
       –  Beispiele für Transaktionen: Kauf eines Produkts, Download einer Datei.

35 |
Anwendungsfälle: Konkreter vs. problemorientierter
 Informationsbedarf
  Anwendungsfall       Konkret                       Problemorientiert


  Websuche             Ebay-Homepage                 Informationen über die
                                                     neue Sherlock-Holmes-
                                                     Serie der BBC

  Bibliothekskatalog   Ist das Buch „Information     Welche Bücher gibt es zum
                       Retrieval“ von Stock in der   Thema kollaborative
                       HAW-Bibliothek                Suche?
                       vorhanden?

  Online-Dating        Welche Hobbies hat            Wer passt zu mir?
                       Natalia73?

  Produktsuche         Was kostet der Roomba         Welcher Staubsaugroboter
                       581?                          ist der beste?

36 |
Kooperationsprojekt HAW / Telekom




 Navigationsorientierte Suchanfragen anhand von Klicks
 bestimmen




37 |
Kooperationsprojekt HAW / Telekom




 Transaktionsorientierte Suchanfragen anhand der Klicks
 bestimmen




38 |
Einsatzmöglichkeiten von Query Understanding




 •     Anfrageerweiterung
 •     Generierung von Suchvorschlägen
 •     Steuerung der organischen Ergebnisse
 •     Steuerung der Werbung
 •     Steuerung der Universal Search




39 | Dirk Lewandowski
Agenda



  Suchmaschinenforschung an der HAW

 Gibt es die Websuche eigentlich noch?

 Wie kann man die Suchanfragen der Nutzer verstehen?

 Wie gut sind die Ergebnisse der Suchmaschinen?

 Fazit




40 | Dirk Lewandowski
Was soll eigentlich gemessen werden?


 •  Relevanz der Ergebnisse
    •  Durchschnittliche Bewertung der Suchergebnisse (Systemseite)
    •  Bewertung jedes einzelnen gefundenen Treffers hinsichtlich seiner Eignung zur
       Beantwortung der Suchanfrage.
    •  Ergebnisse mehrerer Suchmaschinen können gemischt werden; Herkunft der
       Treffer kann verschleiert werden.

 •  Zufriedenheit der Nutzer mit einem Suchprozess
    •  Durchschnittliche Bewertung der Suchprozesse (Nutzerseite)
    •  Bewertung jeder einzelnen Suchsession.
    •  Jeder Nutzer kann nur eine Suchmaschine bewerten; Kenntnis der Suchmaschine.

 •  Wissenszuwachs
    •  Durchschnittliche Bewertung dessen, „was hängen geblieben ist“ (Nutzerseite)
    •  Bewertung des Wissenszuwachses nach einer Suchsession.
    •  Jeder Nutzer kann nur eine Suchmaschine bewerten; Kenntnis der Suchmaschine.
41 |
Entscheidungen beim Design klassischer Retrievaltests




 1. Welche Suchmaschine(n)?

 2. Wie viele Suchanfragen?
 3. Welche Suchanfragen?
 4. Wie viele Ergebnisse pro Suchanfrage?

 5. Wie viele Juroren?
 6. Welche Juroren(gruppen)?
 7. Wie viele Juroren je Suchanfrage?

 8. Wie sollen Dokumente bewertet werden (Skalen)?
 9. Sollen Dokumentbeschreibungen berücksichtigt werden?

 10.  Mit welchen Kennzahlen soll gemessen werden?
42 |
Precision-Recall-Graph (binär) – Beispiel Websuche




43 | Dirk Lewandowski
Welches Nutzerverhalten kann in Retrievaltests abgebildet
 werden?



 •  Query-response paradigm
    •  Annahme: Nutzer gibt Suchanfrage ein, prüft dann das Ergebnis.
    •  Statisch; „systemorientiert“
     „Klassische“ Retrievaltests (Abfrage der „objektiven“ Trefferqualität)

 •  Interaktives Retrieval
    •  Annahme:
         •  Recherche findet in mehreren Schritten statt.
         •  Bei der Recherche handelt es sich um einen „Dialog“ zwischen Nutzer und
            System.
    •  Dynamisch, „nutzerorientiert“
     Nutzerstudien (Abfrage der Zufriedenheit der Nutzer)


44 |
Kooperationsprojekt HAW / Telekom




 Trefferqualität in der Nutzerstudie




                                        „Wo ist denn nun
                                        der Jungferstieg?“




                        Jungfernstieg




45 | Dirk Lewandowski
Tools: RAT & Search Logger




 •  RAT (Relevance Assessment Tool)
    •  Werkzeug zum Design und zur Durchführung klassischer Retrievaltests
    •  Baukastenprinzip beim Testdesign
    •  Automatische Abfrage der Treffer der bekannten Suchmaschinen

 •  Search Logger (Entwicklung der Uni Tartu, Estland)
    •  Werkzeug zum Protokollieren von Browserinteraktionen
    •  Task-basiert

 •  Ziel 2011: Zusammenführung der beiden Tools, um interaktives IR in
    Suchmaschinen evaluieren zu können.




46 |
Agenda



  Suchmaschinenforschung an der HAW

 Gibt es die Websuche eigentlich noch?

 Wie kann man die Suchanfragen der Nutzer verstehen?

 Wie gut sind die Ergebnisse der Suchmaschinen?

 Fazit




47 | Dirk Lewandowski
Fazit




 •  Im Bereich Suche sind noch viele Fragen offen...

 •  Es besteht eine starke Übertragbarkeit der Erkenntnisse aus der Websuche auf
    andere Suchsysteme.

 •  Während Einzelbereiche der Nutzer-/Suchmaschineninteraktion gut verstanden
    werden, fehlt ein Gesamtverständnis des Suchprozesses.

 •  Für viele Fragestellungen sind Kooperationen zwischen Forschung und
    Industrie unerlässlich.




48 |
Vielen Dank für Ihre
Aufmerksamkeit.

www.bui.haw-hamburg.de/lewandowski.html



Aktuelles Buch:
Handbuch Internet-Suchmaschinen 2


E-Mail:
dirk.lewandowski@haw-hamburg.de

Weitere ähnliche Inhalte

Was ist angesagt?

Wie Suchmaschinen (immer noch) die Bibliotheken herausfordern
Wie Suchmaschinen (immer noch) die Bibliotheken herausfordernWie Suchmaschinen (immer noch) die Bibliotheken herausfordern
Wie Suchmaschinen (immer noch) die Bibliotheken herausfordern
Dirk Lewandowski
 
Suchmaschinen im Internet – neue Erkenntnisse und Perspektiven
Suchmaschinen im Internet – neue Erkenntnisse und PerspektivenSuchmaschinen im Internet – neue Erkenntnisse und Perspektiven
Suchmaschinen im Internet – neue Erkenntnisse und Perspektiven
Dirk Lewandowski
 
Wie Web 2.0 und Suche zusammenwachsen
Wie Web 2.0 und Suche zusammenwachsenWie Web 2.0 und Suche zusammenwachsen
Wie Web 2.0 und Suche zusammenwachsen
Dirk Lewandowski
 
Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
Dirk Lewandowski
 
Zur sozialen Konstruktion von Recherche-Ergebnissen - Discovery-Systeme
Zur sozialen Konstruktion von Recherche-Ergebnissen - Discovery-SystemeZur sozialen Konstruktion von Recherche-Ergebnissen - Discovery-Systeme
Zur sozialen Konstruktion von Recherche-Ergebnissen - Discovery-Systeme
Thomas Hapke
 
Web-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
Web-Suchmaschinen: Suchverhalten, Informationsqualität, TrendsWeb-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
Web-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
Dirk Lewandowski
 

Was ist angesagt? (7)

Wie Suchmaschinen (immer noch) die Bibliotheken herausfordern
Wie Suchmaschinen (immer noch) die Bibliotheken herausfordernWie Suchmaschinen (immer noch) die Bibliotheken herausfordern
Wie Suchmaschinen (immer noch) die Bibliotheken herausfordern
 
Suchmaschinen im Internet – neue Erkenntnisse und Perspektiven
Suchmaschinen im Internet – neue Erkenntnisse und PerspektivenSuchmaschinen im Internet – neue Erkenntnisse und Perspektiven
Suchmaschinen im Internet – neue Erkenntnisse und Perspektiven
 
Wie Web 2.0 und Suche zusammenwachsen
Wie Web 2.0 und Suche zusammenwachsenWie Web 2.0 und Suche zusammenwachsen
Wie Web 2.0 und Suche zusammenwachsen
 
Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
Vergleichende Betrachtung der Funktionalität und Leistungsfähigkeit von Inter...
 
Zur sozialen Konstruktion von Recherche-Ergebnissen - Discovery-Systeme
Zur sozialen Konstruktion von Recherche-Ergebnissen - Discovery-SystemeZur sozialen Konstruktion von Recherche-Ergebnissen - Discovery-Systeme
Zur sozialen Konstruktion von Recherche-Ergebnissen - Discovery-Systeme
 
Suchmaschinen vs. OPAC
Suchmaschinen vs. OPACSuchmaschinen vs. OPAC
Suchmaschinen vs. OPAC
 
Web-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
Web-Suchmaschinen: Suchverhalten, Informationsqualität, TrendsWeb-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
Web-Suchmaschinen: Suchverhalten, Informationsqualität, Trends
 

Ähnlich wie Ausgewählte Forschungsfragen im Bereich Suche

Wie gut sind Google und Co.?
Wie gut sind Google und Co.?Wie gut sind Google und Co.?
Wie gut sind Google und Co.?
Dirk Lewandowski
 
Das Nutzerverhalten in der Web-Suche
Das Nutzerverhalten in der Web-SucheDas Nutzerverhalten in der Web-Suche
Das Nutzerverhalten in der Web-Suche
Dirk Lewandowski
 
Web-Suche? Gibt‘s nicht mehr!
Web-Suche? Gibt‘s nicht mehr!Web-Suche? Gibt‘s nicht mehr!
Web-Suche? Gibt‘s nicht mehr!
Dirk Lewandowski
 
Warum Suche (trotzdem) bedeutend ist
Warum Suche (trotzdem) bedeutend istWarum Suche (trotzdem) bedeutend ist
Warum Suche (trotzdem) bedeutend ist
Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Dirk Lewandowski
 
Ist meine Suchmaschine wirklich so gut, wie ich glaube?
Ist meine Suchmaschine wirklich so gut, wie ich glaube?Ist meine Suchmaschine wirklich so gut, wie ich glaube?
Ist meine Suchmaschine wirklich so gut, wie ich glaube?
Dirk Lewandowski
 
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
Dirk Lewandowski
 
Suchmaschinen, Bürde für Informationsspezialisten?
Suchmaschinen, Bürde für Informationsspezialisten?Suchmaschinen, Bürde für Informationsspezialisten?
Suchmaschinen, Bürde für Informationsspezialisten?
Dirk Lewandowski
 
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Dirk Lewandowski
 
Herausforderungen und Lösungen bei der Publikation und Nutzung von Normdaten ...
Herausforderungen und Lösungen bei der Publikation und Nutzung von Normdaten ...Herausforderungen und Lösungen bei der Publikation und Nutzung von Normdaten ...
Herausforderungen und Lösungen bei der Publikation und Nutzung von Normdaten ...
Jakob .
 
Medientage 2013: Die Zukunft der Suche
Medientage 2013: Die Zukunft der SucheMedientage 2013: Die Zukunft der Suche
Medientage 2013: Die Zukunft der Suche
Dirk Lewandowski
 
Workshop "Direkte Nutzerunterstützung durch Suchvorschläge während der Eingab...
Workshop "Direkte Nutzerunterstützung durch Suchvorschläge während der Eingab...Workshop "Direkte Nutzerunterstützung durch Suchvorschläge während der Eingab...
Workshop "Direkte Nutzerunterstützung durch Suchvorschläge während der Eingab...
Dirk Lewandowski
 
vascoda - lessons learned
vascoda - lessons learnedvascoda - lessons learned
vascoda - lessons learned
webis-Blog
 
Share point community mittelland search driven websites
Share point community mittelland search driven websitesShare point community mittelland search driven websites
Share point community mittelland search driven websites
David Schneider
 
Suche ein effizientes Mittel zur Datenintegration
Suche ein effizientes Mittel zur DatenintegrationSuche ein effizientes Mittel zur Datenintegration
Suche ein effizientes Mittel zur Datenintegration
Thomas Kurz
 

Ähnlich wie Ausgewählte Forschungsfragen im Bereich Suche (20)

Wie gut sind Google und Co.?
Wie gut sind Google und Co.?Wie gut sind Google und Co.?
Wie gut sind Google und Co.?
 
Das Nutzerverhalten in der Web-Suche
Das Nutzerverhalten in der Web-SucheDas Nutzerverhalten in der Web-Suche
Das Nutzerverhalten in der Web-Suche
 
Web-Suche? Gibt‘s nicht mehr!
Web-Suche? Gibt‘s nicht mehr!Web-Suche? Gibt‘s nicht mehr!
Web-Suche? Gibt‘s nicht mehr!
 
Query Understanding
Query UnderstandingQuery Understanding
Query Understanding
 
Warum Suche (trotzdem) bedeutend ist
Warum Suche (trotzdem) bedeutend istWarum Suche (trotzdem) bedeutend ist
Warum Suche (trotzdem) bedeutend ist
 
Suchmaschinen-Update
Suchmaschinen-UpdateSuchmaschinen-Update
Suchmaschinen-Update
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (1)
 
Ist meine Suchmaschine wirklich so gut, wie ich glaube?
Ist meine Suchmaschine wirklich so gut, wie ich glaube?Ist meine Suchmaschine wirklich so gut, wie ich glaube?
Ist meine Suchmaschine wirklich so gut, wie ich glaube?
 
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
Neue Entwicklungen im Bereich der Suchmaschinen (technologie)
 
Suchmaschinen, Bürde für Informationsspezialisten?
Suchmaschinen, Bürde für Informationsspezialisten?Suchmaschinen, Bürde für Informationsspezialisten?
Suchmaschinen, Bürde für Informationsspezialisten?
 
Alternativen zu Google
Alternativen zu GoogleAlternativen zu Google
Alternativen zu Google
 
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
Wie können wir (Suchmaschinen-)Nutzer besser verstehen?
 
Herausforderungen und Lösungen bei der Publikation und Nutzung von Normdaten ...
Herausforderungen und Lösungen bei der Publikation und Nutzung von Normdaten ...Herausforderungen und Lösungen bei der Publikation und Nutzung von Normdaten ...
Herausforderungen und Lösungen bei der Publikation und Nutzung von Normdaten ...
 
Medientage 2013: Die Zukunft der Suche
Medientage 2013: Die Zukunft der SucheMedientage 2013: Die Zukunft der Suche
Medientage 2013: Die Zukunft der Suche
 
Web-Index-Workshop 2014
Web-Index-Workshop 2014Web-Index-Workshop 2014
Web-Index-Workshop 2014
 
Workshop "Direkte Nutzerunterstützung durch Suchvorschläge während der Eingab...
Workshop "Direkte Nutzerunterstützung durch Suchvorschläge während der Eingab...Workshop "Direkte Nutzerunterstützung durch Suchvorschläge während der Eingab...
Workshop "Direkte Nutzerunterstützung durch Suchvorschläge während der Eingab...
 
vascoda - lessons learned
vascoda - lessons learnedvascoda - lessons learned
vascoda - lessons learned
 
Share point community mittelland search driven websites
Share point community mittelland search driven websitesShare point community mittelland search driven websites
Share point community mittelland search driven websites
 
Suche ein effizientes Mittel zur Datenintegration
Suche ein effizientes Mittel zur DatenintegrationSuche ein effizientes Mittel zur Datenintegration
Suche ein effizientes Mittel zur Datenintegration
 
Real Time Suche
Real Time SucheReal Time Suche
Real Time Suche
 

Mehr von Dirk Lewandowski

The Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web IndexThe Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web Index
Dirk Lewandowski
 
In a World of Biased Search Engines
In a World of Biased Search EnginesIn a World of Biased Search Engines
In a World of Biased Search Engines
Dirk Lewandowski
 
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
Dirk Lewandowski
 
Künstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei SuchmaschinenKünstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei Suchmaschinen
Dirk Lewandowski
 
Analysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topicsAnalysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topics
Dirk Lewandowski
 
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändertGoogle Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Dirk Lewandowski
 
Suchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von SuchdienstenSuchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von Suchdiensten
Dirk Lewandowski
 
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Dirk Lewandowski
 
Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?
Dirk Lewandowski
 
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Dirk Lewandowski
 
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Dirk Lewandowski
 
Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von SuchmaschinenVerwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Dirk Lewandowski
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Dirk Lewandowski
 
Suchmaschinen: Googlerisierung der Gesellschaft
Suchmaschinen: Googlerisierung der GesellschaftSuchmaschinen: Googlerisierung der Gesellschaft
Suchmaschinen: Googlerisierung der Gesellschaft
Dirk Lewandowski
 
Wie beeinflussen Suchmaschinen den Informationsmarkt?
Wie beeinflussen Suchmaschinen den Informationsmarkt?Wie beeinflussen Suchmaschinen den Informationsmarkt?
Wie beeinflussen Suchmaschinen den Informationsmarkt?
Dirk Lewandowski
 
Alternatives to Google
Alternatives to GoogleAlternatives to Google
Alternatives to Google
Dirk Lewandowski
 
Warum wir Alternativen zu Google benötigen
Warum wir Alternativen zu Google benötigenWarum wir Alternativen zu Google benötigen
Warum wir Alternativen zu Google benötigen
Dirk Lewandowski
 
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
Dirk Lewandowski
 

Mehr von Dirk Lewandowski (20)

The Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web IndexThe Need for and fundamentals of an Open Web Index
The Need for and fundamentals of an Open Web Index
 
In a World of Biased Search Engines
In a World of Biased Search EnginesIn a World of Biased Search Engines
In a World of Biased Search Engines
 
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...
 
Künstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei SuchmaschinenKünstliche Intelligenz bei Suchmaschinen
Künstliche Intelligenz bei Suchmaschinen
 
Analysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topicsAnalysing search engine data on socially relevant topics
Analysing search engine data on socially relevant topics
 
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändertGoogle Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändert
 
Suchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von SuchdienstenSuchverhalten und die Grenzen von Suchdiensten
Suchverhalten und die Grenzen von Suchdiensten
 
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
Können Nutzer echte Suchergebnisse von Werbung in Suchmaschinen unterscheiden?
 
Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?Are Ads on Google search engine results pages labeled clearly enough?
Are Ads on Google search engine results pages labeled clearly enough?
 
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?
 
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...
 
Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von SuchmaschinenVerwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
Verwendung von Skalenbewertungen in der Evaluierung von Suchmaschinen
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (3)
 
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
Neue Entwicklungen bei Suchmaschinen und deren Relevanz für Bibliotheken (2)
 
Nutzer verstehen
Nutzer verstehenNutzer verstehen
Nutzer verstehen
 
Suchmaschinen: Googlerisierung der Gesellschaft
Suchmaschinen: Googlerisierung der GesellschaftSuchmaschinen: Googlerisierung der Gesellschaft
Suchmaschinen: Googlerisierung der Gesellschaft
 
Wie beeinflussen Suchmaschinen den Informationsmarkt?
Wie beeinflussen Suchmaschinen den Informationsmarkt?Wie beeinflussen Suchmaschinen den Informationsmarkt?
Wie beeinflussen Suchmaschinen den Informationsmarkt?
 
Alternatives to Google
Alternatives to GoogleAlternatives to Google
Alternatives to Google
 
Warum wir Alternativen zu Google benötigen
Warum wir Alternativen zu Google benötigenWarum wir Alternativen zu Google benötigen
Warum wir Alternativen zu Google benötigen
 
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
 

Ausgewählte Forschungsfragen im Bereich Suche

  • 1. Ausgewählte Forschungsfragen im Bereich Suche Prof. Dr. Dirk Lewandowski Hochschule für Angewandte Wissenschaften Hamburg, Department Information dirk.lewandowski@haw-hamburg.de Darmstadt, 15. Juni 2011
  • 2. Kurzvorstellung •  Prof. Dr. Dirk Lewandowski •  Professor für Information Research & Information Retrieval an der Hochschule für Angewandte Wissenschaften Hamburg (HAW) •  Forschung vor allem zur Qualität von Suchmaschinen, Nutzerverhalten, Query Understanding 1 |
  • 3. Agenda Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit 2 | Dirk Lewandowski
  • 4. Agenda Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit 3 | Dirk Lewandowski
  • 5. Mission Statement  Wir wollen den Suchprozess sowohl aus system- als auch aus nutzerzentrierter Perspektive verstehen und aus diesem Verständnis Empfehlungen für die Verbesserung von Suchsystemen ableiten. 4 | Dirk Lewandowski
  • 6. Aktuelle Projekte im Bereich Suche •  Forschungsprojekte •  Qualität von Web-Suchmaschinen (laufend bis 2011) •  Forschungsprojekt „Wissenschaftssuchmaschinen“ (seit WS 2008/09) •  Query Understanding (seit 2010) •  Search Experience (ab 2011) 5 | Dirk Lewandowski
  • 7. Methoden Logfile-Analyse Heuristische Relevanztest Evaluation Search Online-Umfrage Usability-Test Eye-Tracking Physiologische Untersuchung 6 |
  • 8. Aktuelle Projekte (mit Studierenden) im Bereich Suche •  Lehrprojekte –  Verbesserung der Musiksuche (WS2010/11; Projektpartner Musicload) –  Lokale Suchmaschinen: Eye-Tracking und Usability (WS 2009/10, Projektpartner Deutsche Telekom) –  Einbindung von Frage-Antwort-Diensten in die Web-Suche (WS2007/08, Projektpartner Lycos Europe) •  Abgeschlossene Entwicklungsprojekte (mit MA-Studierenden) •  Suchanfragenklassifikation (in Zusammenarbeit mit T-Online) •  Produktsuche (mit Otto) •  Universal-Search-Konzept für die T-Online-Portalsuche 7 | Dirk Lewandowski
  • 9. Kooperationsprojekt HAW / Telekom 8 | Dirk Lewandowski
  • 10. Abschlussarbeiten (Auswahl) •  Vergleichende Analyse und szenariobasierte Usability Tests zur Evaluation der Gebrauchstauglichkeit neu gestarteter Suchmaschinen •  Vergleich der Eyetracking-Systeme von Tobii und Interactive Minds unter besonderer Betrachtung der Auswertung bei dynamischen Webseiten-Elementen •  Empirische Analyse von emotionalen Reaktionen im Prozess der Informationssuche im Web •  Die Qualität von Retrievalergebnissen im Vergleich – Google Book Search und der OPAC einer wissenschaftlichen Bibliothek •  Zur Struktur der Trefferbeschreibungen in Web-Suchmaschinen und deren Beurteilung durch den Nutzer •  Optimierung der Suche von Nachrichten-Inhalten am Beispiel von Stern.de •  Untersuchung zum Nutzerverhalten auf der Website SPIEGEL Wissen 9 | Dirk Lewandowski
  • 11. Agenda Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit 10 | Dirk Lewandowski
  • 12. Web search: „Always different, always the same“ AltaVista 1996 11 | http://web.archive.org/web/19961023234631/http://altavista.digital.com/
  • 13. Web-Suche – was ist das eigentlich? Idealbild 1.  Ein Index des Web wird erstellt und durchsuchbar gemacht. 2.  Die Ergebnisse werden nach objektiven Kriterien in eine Reihenfolge gebracht. 3.  Die besten Ergebnisse werden tatsächlich auf den vorderen Plätzen gezeigt. 4.  Die Nutzer wählen kompetent aus den Ergebnissen aus. 5.  Es ist nicht möglich, sich in die Suchergebnisse einzukaufen. 12 |
  • 16. Anzeigen Nachrichten Bilder x Videos Blogbeiträge 15 |
  • 17. Kooperationsprojekt HAW / Telekom Übertragbarkeit der Universal Search – Beispiel T-Online Portalsuche 16 | Dirk Lewandowski
  • 18. Viele Indices statt des einen Web-Index •  Vielzahl von Indices •  Web •  News •  Lokale Suche / Kartenbasierte Suche •  Video •  Shopping •  Wissenschaftliche Inhalte •  Teils •  basieren diese Indices auf manuell erstellten White Lists (Bsp. News) •  sind die Kriterien für die Aufnahme in diese Indices unklar (Bsp. Wissenschaftliche Inhalte) •  betreiben die Suchmaschinen eigene Angebote, die in die Inidces eingespeist werden (Bsp. Youtube – Google Video). 17 |
  • 19. Aus welchen Quellen kommen die Ergebnisse? Beispiel Google 18 |
  • 20. Kompetente Ergebnisselektionen •  Ergebnisselektion abhängig von •  Position des Treffers •  Vorkommen des Treffers im „sichtbaren Bereich“ •  Darstellung/Hervorhebung des Treffers, Trefferbeschreibung •  Einblendung in Vorschlägen während der Eingabe 19 |
  • 21. x 20 | Dirk Lewandowski (Eyetracking-Studie HAW-Hamburg 2010)
  • 22. x 21 | Dirk Lewandowski
  • 23. x 22 | Dirk Lewandowski
  • 24. Kooperationsprojekt HAW / Telekom Fixationen bei kartenbasierter Darstellung – Beispiel T-Online 23 | Dirk Lewandowski
  • 26. Fazit zum Status der Websuche •  Unsere Vorstellungen von der Web-Suche basieren weitgehend noch auf der beschriebenen Idealvorstellung. •  Diese Idealvorstellung wurde nie erfüllt, heute weniger denn je. •  Suchmaschinen sind weniger denn je „neutrale Vermittler von Informationen“. 25 |
  • 27. Agenda Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit 26 | Dirk Lewandowski
  • 28. Hätten Sie‘s verstanden? •  vatikan •  frauentausch •  stockbrot •  seelenfarben •  bmw •  berliner bank •  fußball •  osterei •  drehscheibe •  wgt 27 | Dirk Lewandowski
  • 29. •  x 28 | Dirk Lewandowski
  • 30. •  x 29 | Dirk Lewandowski
  • 31. •  x 30 | Dirk Lewandowski
  • 32. Die Suchintention kann sich verändern 31 | Dirk Lewandowski
  • 33. Die Suchintention kann sich verändern 32 | Dirk Lewandowski
  • 34. Was kann man aus einer Suchanfrage herauslesen? •  Genre (Bsp. Nachrichten) •  Thema (grob) •  Intention (informationsorientiert, navigationsorientiert, transaktionsorientiert) •  Ziel (Aktion oder Ressource) •  Spezifität (Bsp. „Mindestlohn“) •  Bandbreite/Mehrdeutigkeit (Ergebnisse ausdifferenzieren) •  Autoritätsbezug •  Ortsbezug •  Zeitbezug (explizit; implizit; aus dem Suchanfrage-Volumen) 33 | Dirk Lewandowski (nach Calderon-Benavides et al. 2010)
  • 36. Drei Anfragetypen Anfragetypen nach Broder (2002) •  Informational (informationsorientiert) –  Nutzer möchte sich zu einem Thema informieren. –  Ziel sind mehrere Dokumente. •  Navigational (navigationsorientiert) –  Ziel ist es, eine bestimmte Seite (wieder) zu finden. –  Typisch: Suche nach Homepage („Daimler Chrysler“). –  Ziel ist i.d.R. ein Dokument. •  Transactional (transaktionsorientiert) –  Ziel ist das Auffinden einer Website, auf der dann eine Transaktion stattfinden soll. –  Beispiele für Transaktionen: Kauf eines Produkts, Download einer Datei. 35 |
  • 37. Anwendungsfälle: Konkreter vs. problemorientierter Informationsbedarf Anwendungsfall Konkret Problemorientiert Websuche Ebay-Homepage Informationen über die neue Sherlock-Holmes- Serie der BBC Bibliothekskatalog Ist das Buch „Information Welche Bücher gibt es zum Retrieval“ von Stock in der Thema kollaborative HAW-Bibliothek Suche? vorhanden? Online-Dating Welche Hobbies hat Wer passt zu mir? Natalia73? Produktsuche Was kostet der Roomba Welcher Staubsaugroboter 581? ist der beste? 36 |
  • 38. Kooperationsprojekt HAW / Telekom Navigationsorientierte Suchanfragen anhand von Klicks bestimmen 37 |
  • 39. Kooperationsprojekt HAW / Telekom Transaktionsorientierte Suchanfragen anhand der Klicks bestimmen 38 |
  • 40. Einsatzmöglichkeiten von Query Understanding •  Anfrageerweiterung •  Generierung von Suchvorschlägen •  Steuerung der organischen Ergebnisse •  Steuerung der Werbung •  Steuerung der Universal Search 39 | Dirk Lewandowski
  • 41. Agenda Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit 40 | Dirk Lewandowski
  • 42. Was soll eigentlich gemessen werden? •  Relevanz der Ergebnisse •  Durchschnittliche Bewertung der Suchergebnisse (Systemseite) •  Bewertung jedes einzelnen gefundenen Treffers hinsichtlich seiner Eignung zur Beantwortung der Suchanfrage. •  Ergebnisse mehrerer Suchmaschinen können gemischt werden; Herkunft der Treffer kann verschleiert werden. •  Zufriedenheit der Nutzer mit einem Suchprozess •  Durchschnittliche Bewertung der Suchprozesse (Nutzerseite) •  Bewertung jeder einzelnen Suchsession. •  Jeder Nutzer kann nur eine Suchmaschine bewerten; Kenntnis der Suchmaschine. •  Wissenszuwachs •  Durchschnittliche Bewertung dessen, „was hängen geblieben ist“ (Nutzerseite) •  Bewertung des Wissenszuwachses nach einer Suchsession. •  Jeder Nutzer kann nur eine Suchmaschine bewerten; Kenntnis der Suchmaschine. 41 |
  • 43. Entscheidungen beim Design klassischer Retrievaltests 1. Welche Suchmaschine(n)? 2. Wie viele Suchanfragen? 3. Welche Suchanfragen? 4. Wie viele Ergebnisse pro Suchanfrage? 5. Wie viele Juroren? 6. Welche Juroren(gruppen)? 7. Wie viele Juroren je Suchanfrage? 8. Wie sollen Dokumente bewertet werden (Skalen)? 9. Sollen Dokumentbeschreibungen berücksichtigt werden? 10.  Mit welchen Kennzahlen soll gemessen werden? 42 |
  • 44. Precision-Recall-Graph (binär) – Beispiel Websuche 43 | Dirk Lewandowski
  • 45. Welches Nutzerverhalten kann in Retrievaltests abgebildet werden? •  Query-response paradigm •  Annahme: Nutzer gibt Suchanfrage ein, prüft dann das Ergebnis. •  Statisch; „systemorientiert“  „Klassische“ Retrievaltests (Abfrage der „objektiven“ Trefferqualität) •  Interaktives Retrieval •  Annahme: •  Recherche findet in mehreren Schritten statt. •  Bei der Recherche handelt es sich um einen „Dialog“ zwischen Nutzer und System. •  Dynamisch, „nutzerorientiert“  Nutzerstudien (Abfrage der Zufriedenheit der Nutzer) 44 |
  • 46. Kooperationsprojekt HAW / Telekom Trefferqualität in der Nutzerstudie „Wo ist denn nun der Jungferstieg?“ Jungfernstieg 45 | Dirk Lewandowski
  • 47. Tools: RAT & Search Logger •  RAT (Relevance Assessment Tool) •  Werkzeug zum Design und zur Durchführung klassischer Retrievaltests •  Baukastenprinzip beim Testdesign •  Automatische Abfrage der Treffer der bekannten Suchmaschinen •  Search Logger (Entwicklung der Uni Tartu, Estland) •  Werkzeug zum Protokollieren von Browserinteraktionen •  Task-basiert •  Ziel 2011: Zusammenführung der beiden Tools, um interaktives IR in Suchmaschinen evaluieren zu können. 46 |
  • 48. Agenda Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit 47 | Dirk Lewandowski
  • 49. Fazit •  Im Bereich Suche sind noch viele Fragen offen... •  Es besteht eine starke Übertragbarkeit der Erkenntnisse aus der Websuche auf andere Suchsysteme. •  Während Einzelbereiche der Nutzer-/Suchmaschineninteraktion gut verstanden werden, fehlt ein Gesamtverständnis des Suchprozesses. •  Für viele Fragestellungen sind Kooperationen zwischen Forschung und Industrie unerlässlich. 48 |
  • 50. Vielen Dank für Ihre Aufmerksamkeit. www.bui.haw-hamburg.de/lewandowski.html Aktuelles Buch: Handbuch Internet-Suchmaschinen 2 E-Mail: dirk.lewandowski@haw-hamburg.de