Ausgewählte Forschungsfragen im BereichSucheProf. Dr. Dirk LewandowskiHochschule für Angewandte Wissenschaften Hamburg, De...
Kurzvorstellung •  Prof. Dr. Dirk Lewandowski •  Professor für    Information Research & Information Retrieval    an der H...
Agenda  Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer v...
Agenda  Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer v...
Mission Statement        Wir wollen den Suchprozess sowohl aus system- als auch aus        nutzerzentrierter Perspektive ...
Aktuelle Projekte im Bereich Suche •  Forschungsprojekte       •  Qualität von Web-Suchmaschinen (laufend bis 2011)       ...
Methoden                                Logfile-Analyse                                                               Heur...
Aktuelle Projekte (mit Studierenden) im Bereich Suche •  Lehrprojekte      –  Verbesserung der Musiksuche (WS2010/11; Proj...
Kooperationsprojekt HAW / Telekom8 | Dirk Lewandowski
Abschlussarbeiten (Auswahl) •  Vergleichende Analyse und szenariobasierte Usability Tests zur Evaluation der    Gebrauchst...
Agenda  Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer v...
Web search: „Always different, always the same“       AltaVista 199611 |                          http://web.archive.org/w...
Web-Suche – was ist das eigentlich? Idealbild 1.  Ein Index des Web wird erstellt und durchsuchbar gemacht. 2.  Die Ergebn...
•  x13 |
x14 |
Anzeigen        Nachrichten           Bilder x         Videos       Blogbeiträge15 |
Kooperationsprojekt HAW / Telekom Übertragbarkeit der Universal Search – Beispiel T-Online Portalsuche16 | Dirk Lewandowski
Viele Indices statt des einen Web-Index •  Vielzahl von Indices    •  Web    •  News    •  Lokale Suche / Kartenbasierte S...
Aus welchen Quellen kommen die Ergebnisse? Beispiel Google18 |
Kompetente Ergebnisselektionen •  Ergebnisselektion abhängig von    •  Position des Treffers       •  Vorkommen des Treffe...
x20 | Dirk Lewandowski   (Eyetracking-Studie HAW-Hamburg 2010)
x21 | Dirk Lewandowski
x22 | Dirk Lewandowski
Kooperationsprojekt HAW / Telekom Fixationen bei kartenbasierter Darstellung – Beispiel T-Online23 | Dirk Lewandowski
x24 |
Fazit zum Status der Websuche •  Unsere Vorstellungen von der Web-Suche basieren weitgehend noch auf der    beschriebenen ...
Agenda  Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer v...
Hätten Sie‘s verstanden? •     vatikan              •    frauentausch •     stockbrot            •    seelenfarben •     b...
•     x28 | Dirk Lewandowski
•     x29 | Dirk Lewandowski
•     x30 | Dirk Lewandowski
Die Suchintention kann sich verändern31 | Dirk Lewandowski
Die Suchintention kann sich verändern32 | Dirk Lewandowski
Was kann man aus einer Suchanfrage herauslesen? •     Genre (Bsp. Nachrichten) •     Thema (grob) •     Intention (informa...
Suchanfragen im Kontext34 |
Drei Anfragetypen Anfragetypen nach Broder (2002) •  Informational (informationsorientiert)       –  Nutzer möchte sich zu...
Anwendungsfälle: Konkreter vs. problemorientierter Informationsbedarf  Anwendungsfall       Konkret                       ...
Kooperationsprojekt HAW / Telekom Navigationsorientierte Suchanfragen anhand von Klicks bestimmen37 |
Kooperationsprojekt HAW / Telekom Transaktionsorientierte Suchanfragen anhand der Klicks bestimmen38 |
Einsatzmöglichkeiten von Query Understanding •     Anfrageerweiterung •     Generierung von Suchvorschlägen •     Steuerun...
Agenda  Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer v...
Was soll eigentlich gemessen werden? •  Relevanz der Ergebnisse    •  Durchschnittliche Bewertung der Suchergebnisse (Syst...
Entscheidungen beim Design klassischer Retrievaltests 1. Welche Suchmaschine(n)? 2. Wie viele Suchanfragen? 3. Welche Such...
Precision-Recall-Graph (binär) – Beispiel Websuche43 | Dirk Lewandowski
Welches Nutzerverhalten kann in Retrievaltests abgebildet werden? •  Query-response paradigm    •  Annahme: Nutzer gibt Su...
Kooperationsprojekt HAW / Telekom Trefferqualität in der Nutzerstudie                                        „Wo ist denn ...
Tools: RAT & Search Logger •  RAT (Relevance Assessment Tool)    •  Werkzeug zum Design und zur Durchführung klassischer R...
Agenda  Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer v...
Fazit •  Im Bereich Suche sind noch viele Fragen offen... •  Es besteht eine starke Übertragbarkeit der Erkenntnisse aus d...
Vielen Dank für IhreAufmerksamkeit.www.bui.haw-hamburg.de/lewandowski.htmlAktuelles Buch:Handbuch Internet-Suchmaschinen 2...
Nächste SlideShare
Wird geladen in …5
×

Ausgewählte Forschungsfragen im Bereich Suche

700 Aufrufe

Veröffentlicht am

Veröffentlicht in: Technologie
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
700
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
1
Aktionen
Geteilt
0
Downloads
0
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Ausgewählte Forschungsfragen im Bereich Suche

  1. 1. Ausgewählte Forschungsfragen im BereichSucheProf. Dr. Dirk LewandowskiHochschule für Angewandte Wissenschaften Hamburg, Department Informationdirk.lewandowski@haw-hamburg.deDarmstadt, 15. Juni 2011
  2. 2. Kurzvorstellung •  Prof. Dr. Dirk Lewandowski •  Professor für Information Research & Information Retrieval an der Hochschule für Angewandte Wissenschaften Hamburg (HAW) •  Forschung vor allem zur Qualität von Suchmaschinen, Nutzerverhalten, Query Understanding1 |
  3. 3. Agenda Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit2 | Dirk Lewandowski
  4. 4. Agenda Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit3 | Dirk Lewandowski
  5. 5. Mission Statement  Wir wollen den Suchprozess sowohl aus system- als auch aus nutzerzentrierter Perspektive verstehen und aus diesem Verständnis Empfehlungen für die Verbesserung von Suchsystemen ableiten.4 | Dirk Lewandowski
  6. 6. Aktuelle Projekte im Bereich Suche •  Forschungsprojekte •  Qualität von Web-Suchmaschinen (laufend bis 2011) •  Forschungsprojekt „Wissenschaftssuchmaschinen“ (seit WS 2008/09) •  Query Understanding (seit 2010) •  Search Experience (ab 2011)5 | Dirk Lewandowski
  7. 7. Methoden Logfile-Analyse Heuristische Relevanztest Evaluation Search Online-Umfrage Usability-Test Eye-Tracking Physiologische Untersuchung6 |
  8. 8. Aktuelle Projekte (mit Studierenden) im Bereich Suche •  Lehrprojekte –  Verbesserung der Musiksuche (WS2010/11; Projektpartner Musicload) –  Lokale Suchmaschinen: Eye-Tracking und Usability (WS 2009/10, Projektpartner Deutsche Telekom) –  Einbindung von Frage-Antwort-Diensten in die Web-Suche (WS2007/08, Projektpartner Lycos Europe) •  Abgeschlossene Entwicklungsprojekte (mit MA-Studierenden) •  Suchanfragenklassifikation (in Zusammenarbeit mit T-Online) •  Produktsuche (mit Otto) •  Universal-Search-Konzept für die T-Online-Portalsuche7 | Dirk Lewandowski
  9. 9. Kooperationsprojekt HAW / Telekom8 | Dirk Lewandowski
  10. 10. Abschlussarbeiten (Auswahl) •  Vergleichende Analyse und szenariobasierte Usability Tests zur Evaluation der Gebrauchstauglichkeit neu gestarteter Suchmaschinen •  Vergleich der Eyetracking-Systeme von Tobii und Interactive Minds unter besonderer Betrachtung der Auswertung bei dynamischen Webseiten-Elementen •  Empirische Analyse von emotionalen Reaktionen im Prozess der Informationssuche im Web •  Die Qualität von Retrievalergebnissen im Vergleich – Google Book Search und der OPAC einer wissenschaftlichen Bibliothek •  Zur Struktur der Trefferbeschreibungen in Web-Suchmaschinen und deren Beurteilung durch den Nutzer •  Optimierung der Suche von Nachrichten-Inhalten am Beispiel von Stern.de •  Untersuchung zum Nutzerverhalten auf der Website SPIEGEL Wissen9 | Dirk Lewandowski
  11. 11. Agenda Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit10 | Dirk Lewandowski
  12. 12. Web search: „Always different, always the same“ AltaVista 199611 | http://web.archive.org/web/19961023234631/http://altavista.digital.com/
  13. 13. Web-Suche – was ist das eigentlich? Idealbild 1.  Ein Index des Web wird erstellt und durchsuchbar gemacht. 2.  Die Ergebnisse werden nach objektiven Kriterien in eine Reihenfolge gebracht. 3.  Die besten Ergebnisse werden tatsächlich auf den vorderen Plätzen gezeigt. 4.  Die Nutzer wählen kompetent aus den Ergebnissen aus. 5.  Es ist nicht möglich, sich in die Suchergebnisse einzukaufen.12 |
  14. 14. •  x13 |
  15. 15. x14 |
  16. 16. Anzeigen Nachrichten Bilder x Videos Blogbeiträge15 |
  17. 17. Kooperationsprojekt HAW / Telekom Übertragbarkeit der Universal Search – Beispiel T-Online Portalsuche16 | Dirk Lewandowski
  18. 18. Viele Indices statt des einen Web-Index •  Vielzahl von Indices •  Web •  News •  Lokale Suche / Kartenbasierte Suche •  Video •  Shopping •  Wissenschaftliche Inhalte •  Teils •  basieren diese Indices auf manuell erstellten White Lists (Bsp. News) •  sind die Kriterien für die Aufnahme in diese Indices unklar (Bsp. Wissenschaftliche Inhalte) •  betreiben die Suchmaschinen eigene Angebote, die in die Inidces eingespeist werden (Bsp. Youtube – Google Video).17 |
  19. 19. Aus welchen Quellen kommen die Ergebnisse? Beispiel Google18 |
  20. 20. Kompetente Ergebnisselektionen •  Ergebnisselektion abhängig von •  Position des Treffers •  Vorkommen des Treffers im „sichtbaren Bereich“ •  Darstellung/Hervorhebung des Treffers, Trefferbeschreibung •  Einblendung in Vorschlägen während der Eingabe19 |
  21. 21. x20 | Dirk Lewandowski (Eyetracking-Studie HAW-Hamburg 2010)
  22. 22. x21 | Dirk Lewandowski
  23. 23. x22 | Dirk Lewandowski
  24. 24. Kooperationsprojekt HAW / Telekom Fixationen bei kartenbasierter Darstellung – Beispiel T-Online23 | Dirk Lewandowski
  25. 25. x24 |
  26. 26. Fazit zum Status der Websuche •  Unsere Vorstellungen von der Web-Suche basieren weitgehend noch auf der beschriebenen Idealvorstellung. •  Diese Idealvorstellung wurde nie erfüllt, heute weniger denn je. •  Suchmaschinen sind weniger denn je „neutrale Vermittler von Informationen“.25 |
  27. 27. Agenda Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit26 | Dirk Lewandowski
  28. 28. Hätten Sie‘s verstanden? •  vatikan •  frauentausch •  stockbrot •  seelenfarben •  bmw •  berliner bank •  fußball •  osterei •  drehscheibe •  wgt27 | Dirk Lewandowski
  29. 29. •  x28 | Dirk Lewandowski
  30. 30. •  x29 | Dirk Lewandowski
  31. 31. •  x30 | Dirk Lewandowski
  32. 32. Die Suchintention kann sich verändern31 | Dirk Lewandowski
  33. 33. Die Suchintention kann sich verändern32 | Dirk Lewandowski
  34. 34. Was kann man aus einer Suchanfrage herauslesen? •  Genre (Bsp. Nachrichten) •  Thema (grob) •  Intention (informationsorientiert, navigationsorientiert, transaktionsorientiert) •  Ziel (Aktion oder Ressource) •  Spezifität (Bsp. „Mindestlohn“) •  Bandbreite/Mehrdeutigkeit (Ergebnisse ausdifferenzieren) •  Autoritätsbezug •  Ortsbezug •  Zeitbezug (explizit; implizit; aus dem Suchanfrage-Volumen)33 | Dirk Lewandowski (nach Calderon-Benavides et al. 2010)
  35. 35. Suchanfragen im Kontext34 |
  36. 36. Drei Anfragetypen Anfragetypen nach Broder (2002) •  Informational (informationsorientiert) –  Nutzer möchte sich zu einem Thema informieren. –  Ziel sind mehrere Dokumente. •  Navigational (navigationsorientiert) –  Ziel ist es, eine bestimmte Seite (wieder) zu finden. –  Typisch: Suche nach Homepage („Daimler Chrysler“). –  Ziel ist i.d.R. ein Dokument. •  Transactional (transaktionsorientiert) –  Ziel ist das Auffinden einer Website, auf der dann eine Transaktion stattfinden soll. –  Beispiele für Transaktionen: Kauf eines Produkts, Download einer Datei.35 |
  37. 37. Anwendungsfälle: Konkreter vs. problemorientierter Informationsbedarf Anwendungsfall Konkret Problemorientiert Websuche Ebay-Homepage Informationen über die neue Sherlock-Holmes- Serie der BBC Bibliothekskatalog Ist das Buch „Information Welche Bücher gibt es zum Retrieval“ von Stock in der Thema kollaborative HAW-Bibliothek Suche? vorhanden? Online-Dating Welche Hobbies hat Wer passt zu mir? Natalia73? Produktsuche Was kostet der Roomba Welcher Staubsaugroboter 581? ist der beste?36 |
  38. 38. Kooperationsprojekt HAW / Telekom Navigationsorientierte Suchanfragen anhand von Klicks bestimmen37 |
  39. 39. Kooperationsprojekt HAW / Telekom Transaktionsorientierte Suchanfragen anhand der Klicks bestimmen38 |
  40. 40. Einsatzmöglichkeiten von Query Understanding •  Anfrageerweiterung •  Generierung von Suchvorschlägen •  Steuerung der organischen Ergebnisse •  Steuerung der Werbung •  Steuerung der Universal Search39 | Dirk Lewandowski
  41. 41. Agenda Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit40 | Dirk Lewandowski
  42. 42. Was soll eigentlich gemessen werden? •  Relevanz der Ergebnisse •  Durchschnittliche Bewertung der Suchergebnisse (Systemseite) •  Bewertung jedes einzelnen gefundenen Treffers hinsichtlich seiner Eignung zur Beantwortung der Suchanfrage. •  Ergebnisse mehrerer Suchmaschinen können gemischt werden; Herkunft der Treffer kann verschleiert werden. •  Zufriedenheit der Nutzer mit einem Suchprozess •  Durchschnittliche Bewertung der Suchprozesse (Nutzerseite) •  Bewertung jeder einzelnen Suchsession. •  Jeder Nutzer kann nur eine Suchmaschine bewerten; Kenntnis der Suchmaschine. •  Wissenszuwachs •  Durchschnittliche Bewertung dessen, „was hängen geblieben ist“ (Nutzerseite) •  Bewertung des Wissenszuwachses nach einer Suchsession. •  Jeder Nutzer kann nur eine Suchmaschine bewerten; Kenntnis der Suchmaschine.41 |
  43. 43. Entscheidungen beim Design klassischer Retrievaltests 1. Welche Suchmaschine(n)? 2. Wie viele Suchanfragen? 3. Welche Suchanfragen? 4. Wie viele Ergebnisse pro Suchanfrage? 5. Wie viele Juroren? 6. Welche Juroren(gruppen)? 7. Wie viele Juroren je Suchanfrage? 8. Wie sollen Dokumente bewertet werden (Skalen)? 9. Sollen Dokumentbeschreibungen berücksichtigt werden? 10.  Mit welchen Kennzahlen soll gemessen werden?42 |
  44. 44. Precision-Recall-Graph (binär) – Beispiel Websuche43 | Dirk Lewandowski
  45. 45. Welches Nutzerverhalten kann in Retrievaltests abgebildet werden? •  Query-response paradigm •  Annahme: Nutzer gibt Suchanfrage ein, prüft dann das Ergebnis. •  Statisch; „systemorientiert“  „Klassische“ Retrievaltests (Abfrage der „objektiven“ Trefferqualität) •  Interaktives Retrieval •  Annahme: •  Recherche findet in mehreren Schritten statt. •  Bei der Recherche handelt es sich um einen „Dialog“ zwischen Nutzer und System. •  Dynamisch, „nutzerorientiert“  Nutzerstudien (Abfrage der Zufriedenheit der Nutzer)44 |
  46. 46. Kooperationsprojekt HAW / Telekom Trefferqualität in der Nutzerstudie „Wo ist denn nun der Jungferstieg?“ Jungfernstieg45 | Dirk Lewandowski
  47. 47. Tools: RAT & Search Logger •  RAT (Relevance Assessment Tool) •  Werkzeug zum Design und zur Durchführung klassischer Retrievaltests •  Baukastenprinzip beim Testdesign •  Automatische Abfrage der Treffer der bekannten Suchmaschinen •  Search Logger (Entwicklung der Uni Tartu, Estland) •  Werkzeug zum Protokollieren von Browserinteraktionen •  Task-basiert •  Ziel 2011: Zusammenführung der beiden Tools, um interaktives IR in Suchmaschinen evaluieren zu können.46 |
  48. 48. Agenda Suchmaschinenforschung an der HAW Gibt es die Websuche eigentlich noch? Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit47 | Dirk Lewandowski
  49. 49. Fazit •  Im Bereich Suche sind noch viele Fragen offen... •  Es besteht eine starke Übertragbarkeit der Erkenntnisse aus der Websuche auf andere Suchsysteme. •  Während Einzelbereiche der Nutzer-/Suchmaschineninteraktion gut verstanden werden, fehlt ein Gesamtverständnis des Suchprozesses. •  Für viele Fragestellungen sind Kooperationen zwischen Forschung und Industrie unerlässlich.48 |
  50. 50. Vielen Dank für IhreAufmerksamkeit.www.bui.haw-hamburg.de/lewandowski.htmlAktuelles Buch:Handbuch Internet-Suchmaschinen 2E-Mail:dirk.lewandowski@haw-hamburg.de

×