Wie Suchmaschinen die Inhalte des Web interpretierenDirk Lewandowski
Suchmaschinen ermöglichen es Nutzern, leicht an relevante Informationen zu gelangen. Doch wie entstehen eigentlich "relevante" Ergebnisse und welche Rolle spielt das Verhalten der Nutzer für die Bewertung der Dokumente durch die Suchmaschinen? Ausgehend von den Charakteristika des Nutzerverhaltens betrachtet der Vortrag vor allem den Interpretationsspielraum bei der Generierung von Suchergebnissen. Ausgangspunkt ist dabei die These, dass es zu den meisten Suchanfragen weit mehr relevante Dokumente gibt als ein Nutzer bereit ist anzusehen. Daraus ergibt sich eine Unterscheidung nicht mehr zwischen relevanten und nicht relevanten Dokumenten, sondern eine (algorithmische) Entscheidung zwischen unterschiedlichen relevanten Dokumenten. Daraus ergeben sich Implikationen für die Informationssuche, für das Design von Suchmaschinen und für den Zugang zu Informationen.
Suchmaschinen sind der meistgenutzte Dienst des Internet; täglich werden viele Milliarden Suchanfragen an Google und Co. gestellt. Doch dieser immensen Nutzung steht ein nur mangelhaftes Wissen über die Suchmaschinen gegenüber. Dabei geht es auf der einen Seite natürlich um ein Verständnis der zugrunde liegenden Technik; Suchmaschinen sind aber weit mehr: Hinter ihnen stehen Unternehmen, die mit der Suche im Web Geld verdienen wollen, Suchmaschinen spielen eine wichtige Rolle für den Informationserwerb in der Gesellschaft, und schließlich spielen Suchmaschinen als Plattform für das Online-Marketing eine bedeutende Rolle bei der Vermittlung zwischen Suchenden und Unternehmen.
Im Vortrag werden die zentralen Akteure auf dem Suchmaschinenmarkt vorgestellt und ausgeführt, warum ein Verständnis von Suchmaschinen aus nur einer Perspektive (sei diese technisch, wirtschaftlich oder gesellschaftlich) nicht ausreicht, sondern wir Suchmaschinen tatsächlich nur verstehen können, wenn wir sie ganzheitlich betrachten.
Wie Suchmaschinen die Inhalte des Web interpretierenDirk Lewandowski
Suchmaschinen ermöglichen es Nutzern, leicht an relevante Informationen zu gelangen. Doch wie entstehen eigentlich "relevante" Ergebnisse und welche Rolle spielt das Verhalten der Nutzer für die Bewertung der Dokumente durch die Suchmaschinen? Ausgehend von den Charakteristika des Nutzerverhaltens betrachtet der Vortrag vor allem den Interpretationsspielraum bei der Generierung von Suchergebnissen. Ausgangspunkt ist dabei die These, dass es zu den meisten Suchanfragen weit mehr relevante Dokumente gibt als ein Nutzer bereit ist anzusehen. Daraus ergibt sich eine Unterscheidung nicht mehr zwischen relevanten und nicht relevanten Dokumenten, sondern eine (algorithmische) Entscheidung zwischen unterschiedlichen relevanten Dokumenten. Daraus ergeben sich Implikationen für die Informationssuche, für das Design von Suchmaschinen und für den Zugang zu Informationen.
Suchmaschinen sind der meistgenutzte Dienst des Internet; täglich werden viele Milliarden Suchanfragen an Google und Co. gestellt. Doch dieser immensen Nutzung steht ein nur mangelhaftes Wissen über die Suchmaschinen gegenüber. Dabei geht es auf der einen Seite natürlich um ein Verständnis der zugrunde liegenden Technik; Suchmaschinen sind aber weit mehr: Hinter ihnen stehen Unternehmen, die mit der Suche im Web Geld verdienen wollen, Suchmaschinen spielen eine wichtige Rolle für den Informationserwerb in der Gesellschaft, und schließlich spielen Suchmaschinen als Plattform für das Online-Marketing eine bedeutende Rolle bei der Vermittlung zwischen Suchenden und Unternehmen.
Im Vortrag werden die zentralen Akteure auf dem Suchmaschinenmarkt vorgestellt und ausgeführt, warum ein Verständnis von Suchmaschinen aus nur einer Perspektive (sei diese technisch, wirtschaftlich oder gesellschaftlich) nicht ausreicht, sondern wir Suchmaschinen tatsächlich nur verstehen können, wenn wir sie ganzheitlich betrachten.
Zurzeit werden verschiedene Wege diskutiert, um das „Problem Google“ zu lösen. Vordergründig geht es dabei darum, Maßnahmen zu ergreifen, um Googles Monopol auf dem Suchmaschinenmarkt einzudämmen. Weitergehend geht es allerdings darum, wer zu welchen Bedingungen Zugriff auf die im Web verstreut vorliegenden Daten bekommt.
Die bisherigen Vorschläge reichen dabei von einem schlichten Hoffen auf den Markt bis hin zur Forderung nach dem Aufbau einer öffentlich-rechtlichen Suchmaschine. Allerdings würde als Ergebnis stets nur ein weiterer Marktteilnehmer (oder bestenfalls ein paar wenige) entsteht. An diesem Punkt setzt die Idee des “Open Web Index” an: Der Index wird als eine Infrastrukturmaßnahme angesehen, die von allen zu fairen Bedingungen genutzt werden kann. Auf der Basis des Index kann dann eine Vielzahl von Diensten aufgebaut werden, darunter natürlich Suchmaschinen, aber auch jede andere Form von Dienst, der Web-Daten in großem Umfang benötigt.
Der Vortrag setzt sich mit den wirtschaftlichen und technischen Fragen eines solchen offenen Web-Index auseinander und berichtet von den Fortschritten der Initiative Open Web Index.
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Dirk Lewandowski
Vortrag bei der Online Marketing Konferenz (OMK 2015). Ein Blick in die technische Zukunft der Web-Suchmaschinen und deren gesellschaftliche Auswirkungen.
Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...Hendrik Kalb
Zwischenpräsentation der Diplomarbeit von Christopher Schulz zum Thema Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotentiale von Semantik zur Erhöhung der Ergebnisqualität
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Dirk Lewandowski
Suchmaschinen sind das wichtigste Tor zu den Inhalten des Web – das Web wäre ohne Suchmaschinen gar nicht benutzbar. Doch was wird uns eigentlich auf den Suchergebnisseiten von Google angezeigt? Handelt es sich einfach um neutrale Informationen, die vollautomatisch zusammengestellt werden?
Der Vortrag zeigt, wie die unterschiedlichen Interessen von Suchmaschinenbetreibern, den Inhalteanbietern, den Suchmaschinenoptimierern und uns Nutzern erst im Zusammenspiel die Ergebnisse von Google und Co. generieren. Dabei geht es um die Frage, was diese Einflüsse für uns alles bedeuten, die wir Suchmaschinen zur Informationsrecherche benutzen.
The Need for and fundamentals of an Open Web IndexDirk Lewandowski
The document proposes the creation of an Open Web Index (OWI) to address the lack of a comprehensive, public index of web content. It argues that current initiatives like Common Crawl are insufficient as they are not kept fully up-to-date, lack search functionality, and do not address spam removal. The OWI would separate the crawling and indexing of web content from proprietary search services built on top of the index. Building such a major public project requires political and financial support as well as technical expertise. The goal is an independent index that serves as a public library of web content.
Search engines like Google have a massive influence on what information users get to see, and on what search results users select. This leads to search engines having a significant impact on what information we as a society acquire.
It has been often lamented that search engines are biased. I, however, argue that we have only scratched the surface because search engine bias is a multifaceted concept and the discussion usually solely focuses on some aspects.
Search engine bias can be classified into four different areas. Firstly, there are biases on the side of the search engine, e.g., in their ranking functions. Secondly, there are biases through external influencing of search engine results, predominantly through “search engine optimization”.
Thirdly, biases occur on the side of the user (e.g., position bias, confirmation bias, visual attraction bias). And fourthly, there are self-interests of search engine providers which influence the search results.
Further to giving an overview of the topic, I will show how search engine providers (and regulators) can take steps towards making search fair. Whereas a bias-free search engine is impossible, a fair search is. Here, I will not only focus on the big web search engines but also on how developers and product owners can make their search systems fair. Or, to put it another way, I will show what can we learn from these “worst practices” in web search when designing our own systems.
Weitere ähnliche Inhalte
Ähnlich wie Suchmaschinenforschung an der HAW Hamburg
Zurzeit werden verschiedene Wege diskutiert, um das „Problem Google“ zu lösen. Vordergründig geht es dabei darum, Maßnahmen zu ergreifen, um Googles Monopol auf dem Suchmaschinenmarkt einzudämmen. Weitergehend geht es allerdings darum, wer zu welchen Bedingungen Zugriff auf die im Web verstreut vorliegenden Daten bekommt.
Die bisherigen Vorschläge reichen dabei von einem schlichten Hoffen auf den Markt bis hin zur Forderung nach dem Aufbau einer öffentlich-rechtlichen Suchmaschine. Allerdings würde als Ergebnis stets nur ein weiterer Marktteilnehmer (oder bestenfalls ein paar wenige) entsteht. An diesem Punkt setzt die Idee des “Open Web Index” an: Der Index wird als eine Infrastrukturmaßnahme angesehen, die von allen zu fairen Bedingungen genutzt werden kann. Auf der Basis des Index kann dann eine Vielzahl von Diensten aufgebaut werden, darunter natürlich Suchmaschinen, aber auch jede andere Form von Dienst, der Web-Daten in großem Umfang benötigt.
Der Vortrag setzt sich mit den wirtschaftlichen und technischen Fragen eines solchen offenen Web-Index auseinander und berichtet von den Fortschritten der Initiative Open Web Index.
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Dirk Lewandowski
Vortrag bei der Online Marketing Konferenz (OMK 2015). Ein Blick in die technische Zukunft der Web-Suchmaschinen und deren gesellschaftliche Auswirkungen.
Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotent...Hendrik Kalb
Zwischenpräsentation der Diplomarbeit von Christopher Schulz zum Thema Kontextbasiertes Information Retrieval: Eine Systematik der Anwendungspotentiale von Semantik zur Erhöhung der Ergebnisqualität
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Dirk Lewandowski
Suchmaschinen sind das wichtigste Tor zu den Inhalten des Web – das Web wäre ohne Suchmaschinen gar nicht benutzbar. Doch was wird uns eigentlich auf den Suchergebnisseiten von Google angezeigt? Handelt es sich einfach um neutrale Informationen, die vollautomatisch zusammengestellt werden?
Der Vortrag zeigt, wie die unterschiedlichen Interessen von Suchmaschinenbetreibern, den Inhalteanbietern, den Suchmaschinenoptimierern und uns Nutzern erst im Zusammenspiel die Ergebnisse von Google und Co. generieren. Dabei geht es um die Frage, was diese Einflüsse für uns alles bedeuten, die wir Suchmaschinen zur Informationsrecherche benutzen.
The Need for and fundamentals of an Open Web IndexDirk Lewandowski
The document proposes the creation of an Open Web Index (OWI) to address the lack of a comprehensive, public index of web content. It argues that current initiatives like Common Crawl are insufficient as they are not kept fully up-to-date, lack search functionality, and do not address spam removal. The OWI would separate the crawling and indexing of web content from proprietary search services built on top of the index. Building such a major public project requires political and financial support as well as technical expertise. The goal is an independent index that serves as a public library of web content.
Search engines like Google have a massive influence on what information users get to see, and on what search results users select. This leads to search engines having a significant impact on what information we as a society acquire.
It has been often lamented that search engines are biased. I, however, argue that we have only scratched the surface because search engine bias is a multifaceted concept and the discussion usually solely focuses on some aspects.
Search engine bias can be classified into four different areas. Firstly, there are biases on the side of the search engine, e.g., in their ranking functions. Secondly, there are biases through external influencing of search engine results, predominantly through “search engine optimization”.
Thirdly, biases occur on the side of the user (e.g., position bias, confirmation bias, visual attraction bias). And fourthly, there are self-interests of search engine providers which influence the search results.
Further to giving an overview of the topic, I will show how search engine providers (and regulators) can take steps towards making search fair. Whereas a bias-free search engine is impossible, a fair search is. Here, I will not only focus on the big web search engines but also on how developers and product owners can make their search systems fair. Or, to put it another way, I will show what can we learn from these “worst practices” in web search when designing our own systems.
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...Dirk Lewandowski
Die Suche im Internet ist eine einfache Sache: Suchanfrage eingeben, Ergebnis auswählen, lesen, fertig! Doch wie wählen wir eigentlich Ergebnisse aus? Und welche Ergebnisse werden uns überhaupt zur Auswahl angeboten?
In diesem Vortrag werde ich zeigen, wie Nutzer durch bestimmte Formen von Ergebnissen und deren Darstellung beeinflusst werden. Dabei geht es um die Kennzeichnung von Anzeigen, um Googles Eigeninteressen bei der Anzeige seiner eigenen Inhalte (bspw. YouTube) und um die Beeinflussung der Suchergebnisse durch Externe.
Also: Nach diesem Vortrag kann man nicht nur selbst besser suchen, sondern auch besser einschätzen, welchen Einfluss Google darauf hat, welche Informationen wir alle aus dem Web erhalten.
Selbstfahrende Autos, Roboter, Flugtaxis – wenn von künstlicher Intelligenz (KI) die Rede ist, werden oft plastische bis drastische Beispiele gebraucht. Meist werden grundlegende Fragen der künstlichen Intelligenz anhand von Zukunftsszenarien diskutiert. Es lohnt sich jedoch ein Blick auf einen der Bereiche, in denen Verfahren der KI bereits heute deutlich ausgeprägt sind, nämlich die Suchmaschinen im Web.
Suchmaschinen haben sich zu „Next-Generation Search Systems“ (White, 2016) entwickelt. Die von den Suchmaschinen bekannte Technologie wurde erweitert und angepasst, um intelligente Dienste wie Siri, Cortana und Alexa möglich zu machen. Diese zeichnen sich zum einen dadurch aus, dass sie unterschiedliche Eingabeformate (wie Text oder Sprache) verstehen, zum anderen dadurch, dass sie nicht mehr nur Listen von potentiell relevanten Dokumenten, sondern echte Antworten geben.
Der Vortrag zeigt, wie sich Suchmaschinen auf der Basis von Technologien der künstlichen Intelligenz entwickelt haben und was diese Entwicklung für die Informationsrecherche bedeutet. Dass Suchmaschinen einen erheblichen Einfluss darauf haben, welche Informationen gesehen werden, steht außer Zweifel. Sie sind der von den Nutzern bei weitem bevorzugte Weg, um an Informationen (aus dem Web) zu gelangen (Koch & Frees, 2016) und genießen ein hohes Vertrauen (Purcell, Brenner, & Raine, 2012; Stark, Magin, & Jürgens, 2014). Doch ist dieses Vertrauen gerechtfertigt?
Analysing search engine data on socially relevant topicsDirk Lewandowski
This document summarizes a presentation on analyzing search engine data for socially relevant topics. It discusses collecting search results data at scale by automatically querying search engines and scraping results pages. A case study on insurance comparisons is presented where over 20,000 search results were analyzed for 121 queries. The results showed that a small number of domains and providers dominated the top search positions. Limitations and future work are also outlined.
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändertDirk Lewandowski
Suchmaschinen haben sich grundlegend geändert: Sie erlauben Eingaben über Text, Sprache und Bilder und geben anstelle der altbekannten Suchergebnislisten zunehmend auch direkte Antworten auf Fragen aus. Um dies zu ermöglichen, analysieren sie neben den Suchanfragen auch persönliche Informationen der Nutzer und ihrer sozialen Netzwerke sowie Massendaten aus vergangenen Suchvorgängen und anderen Interaktionen. Dies verändert die Weise, wie wir suchen und was wir finden.
Doch wie gehen Nutzer mit diesen „Next Generation Search Systems“ in Form von Suchmaschinen, sprachbasierten persönlichen Assistenten und anderen Assistenzsystemen im Alltag um? Und was bedeutet dies auf der einen Seite für das Online-Marketing, auf der anderen Seite für den nach Informationen suchenden Nutzer?
Are Ads on Google search engine results pages labeled clearly enough?Dirk Lewandowski
In an online experiment using a representative sample of the German online population (n=1,000), we compare users’ selection behavior on two versions of the same Google search engine results page (SERP), one showing advertisements and organic results, the other showing organic results only. Selection behavior is analyzed in relation to users’ knowledge on Google’s business model, on SERP design, and on these users’ actual performance in marking advertisements on SERPs correctly. We find that users who were not able to mark ads correctly selected ads significantly more often. This leads to the conclusion that ads need to be labeled more clearly, and that there is a need for more information literacy in search engine users.
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...Dirk Lewandowski
This document discusses a study that examined how ordinary search engine users assess the difficulty, effort, and outcomes of simple and complex search tasks.
The study involved 60 participants who were given 12 search tasks (6 simple, 6 complex) and asked to complete pre- and post-task questionnaires rating the difficulty, time effort, query effort, and likelihood of finding the right information. Results showed that users were generally able to correctly judge simple tasks (~90% accuracy) but accuracy dropped to ~2/3 for complex tasks. Statistical analysis found users were significantly better at judging the complexity of simple vs. complex tasks. The study aimed to provide insights into how well users can estimate efforts and outcomes for different types of search tasks.
The document discusses alternatives to Google for web searching. It notes that Google dominates the market, influencing how users perceive and interact with search results. Few true alternatives exist due to economic barriers to creating comprehensive indexes. The author proposes an independent, openly accessible web index to promote diversity and innovation in search applications beyond what any single company can offer. This could motivate new types of search tools and encourage alternatives to the current market dominance.
User Experience vs. Retrievaltests - Wie lässt sich die Relevanz von Sucherge...
Suchmaschinenforschung an der HAW Hamburg
1. Suchmaschinenforschung an der HAW Hamburg
Prof. Dr. Dirk Lewandowski
Hochschule für Angewandte Wissenschaften Hamburg, Department Information
dirk.lewandowski@haw-hamburg.de
2. Agenda
Einleitung: Forschungsbereiche und Methoden
Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?
Wie gut sind die Suchergebnisse?
Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?
Fazit
1 | Dirk Lewandowski
3. Agenda
Einleitung: Forschungsbereiche und Methoden
Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?
Wie gut sind die Suchergebnisse?
Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?
Fazit
2 | Dirk Lewandowski
5. Die Qualität von Suchmaschinen kann nur durch eine
Kombination unterschiedlicher Faktoren gemessen werden.
• Qualität des Index
– Größe des Datenbestands, Abdeckung des Web
– Abdeckung bestimmter Bereiche (Sprachräume, Länder)
– Überschneidungen der Indices
– Aktualität des Datenbestands
• Qualität der Suchresultate
– Retrievaleffektivität
– Zuverlässigkeit der Suchergebnisse
– Zufriedenheit der Nutzer
– Überschneidungen der (Top-)Ergebnisse
• Qualität der Suchfunktionen
• Nutzerfreundlichkeit + Benutzerführung
– Aufbau der Trefferseiten
(Lewandowski & Höchstötter 2007; ergänzt)
4 | Dirk Lewandowski
7. Aktuelle Projekte im Bereich Suche
• Forschungsprojekte
• Qualität von Web-Suchmaschinen (laufend bis 2011)
• Forschungsprojekt „Wissenschaftssuchmaschinen“ (seit WS 2008/09)
• Query Understanding (seit 2010)
• Search Experience (ab 2011)
Wir wollen den Suchprozess sowohl aus system- als auch aus
nutzerzentrierter Perspektive verstehen und aus diesem Verständnis
Empfehlungen für die Verbesserung von Suchsystemen ableiten.
6 | Dirk Lewandowski
8. Aktuelle Projekte im Bereich Suche
• Lehrprojekte
– Verbesserung der Musiksuche (WS2010/11; Musicload)
– Lokale Suchmaschinen: Eye-Tracking und Usability (WS 2009/10,
Projektpartner T-Online)
– Einbindung von Frage-Antwort-Diensten in die Web-Suche (WS2007/08,
Projektpartner Lycos Europe)
• Abgeschlossene Entwicklungsprojekte (mit MA-Studierenden)
• Suchanfragenklassifikation (in Zusammenarbeit mit T-Online)
• Produktsuche (mit Otto)
• Universal-Search-Konzept für die T-Online-Portalsuche
7 | Dirk Lewandowski
9. Abschlussarbeiten (Auswahl)
• Vergleichende Analyse und szenariobasierte Usability Tests zur Evaluation der
Gebrauchstauglichkeit neu gestarteter Suchmaschinen
• Vergleich der Eyetracking-Systeme von Tobii und Interactive Minds unter
besonderer Betrachtung der Auswertung bei dynamischen Webseiten-Elementen
• Empirische Analyse von emotionalen Reaktionen im Prozess der
Informationssuche im Web
• Die Qualität von Retrievalergebnissen im Vergleich – Google Book Search und der
OPAC einer wissenschaftlichen Bibliothek
• Zur Struktur der Trefferbeschreibungen in Web-Suchmaschinen und deren
Beurteilung durch den Nutzer
• Optimierung der Suche von Nachrichten-Inhalten am Beispiel von Stern.de
• Untersuchung zum Nutzerverhalten auf der Website SPIEGEL Wissen
8 | Dirk Lewandowski
10. Agenda
Einleitung: Forschungsbereiche und Methoden
Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?
Wie gut sind die Suchergebnisse?
Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?
Fazit
9 | Dirk Lewandowski
11. x
10 | Dirk Lewandowski (Eyetracking-Studie HAW-Hamburg 2010)
16. Anzeigen
Nachrichten
Bilder
x
Videos
Blogbeiträge
15 |
17. Empirische Untersuchung zur Präsentation der Treffer auf den
Ergebnisseiten
• Methode
• Suchanfragen-Stichprobe zufällig ausgewählt aus
• Top-Suchanfragen (pop)
• Seltenen Suchanfragen (rare)
• Stichprobe von 2x 1099 Suchanfragen
• Automatische Anfragen an die Suchmaschinen Ask, Bing, Google, Yahoo.
• Extraktion der auf den Ergebnisseiten präsentierten Elementen („screen scraping“).
16 | (Lewandowski & Höchstötter; in Arbeit)
20. Charakteristika der Treffermengen
• Wie häufig tauchen Wikipedia-Treffer* in den Top10 auf?
Ask Bing Google Yahoo
Populäre 12,8% 91,5% 58,3% 46,4%
Suchanfragen
Rare 12,6% 43,0% 22,4% 22,5%
Suchanfragen
* Nur deutsche Wikipedia-Treffer
19 | (Lewandowski & Höchstötter; in Arbeit)
21. Welcher Anteil der Ergebnisse (Top 10) hat einen kommerziellen
Hintergrund?
20 |
22. Agenda
Einleitung: Forschungsbereiche und Methoden
Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?
Wie gut sind die Suchergebnisse?
Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?
Fazit
21 | Dirk Lewandowski
23. Was soll eigentlich gemessen werden?
• Relevanz der Ergebnisse
• Durchschnittliche Bewertung der Suchergebnisse (Systemseite)
• Bewertung jedes einzelnen gefundenen Treffers hinsichtlich seiner Eignung zur
Beantwortung der Suchanfrage.
• Ergebnisse mehrerer Suchmaschinen können gemischt werden; Herkunft der
Treffer kann verschleiert werden.
• Zufriedenheit der Nutzer mit einem Suchprozess
• Durchschnittliche Bewertung der Suchprozesse (Nutzerseite)
• Bewertung jeder einzelnen Suchsession.
• Jeder Nutzer kann nur eine Suchmaschine bewerten; Kenntnis der Suchmaschine.
• Wissenszuwachs
• Durchschnittliche Bewertung dessen, „was hängen geblieben ist“ (Nutzerseite)
• Bewertung des Wissenszuwachses nach einer Suchsession.
• Jeder Nutzer kann nur eine Suchmaschine bewerten; Kenntnis der Suchmaschine.
22 |
24. Entscheidungen beim Design klassischer Retrievaltests
1. Welche Suchmaschine(n)?
2. Wie viele Suchanfragen?
3. Welche Suchanfragen?
4. Wie viele Ergebnisse pro Suchanfrage?
5. Wie viele Juroren?
6. Welche Juroren(gruppen)?
7. Wie viele Juroren je Suchanfrage?
8. Wie sollen Dokumente bewertet werden (Skalen)?
9. Sollen Dokumentbeschreibungen berücksichtigt werden?
10. Mit welchen Kennzahlen soll gemessen werden?
23 |
26. Welches Nutzerverhalten kann in Retrievaltests abgebildet
werden?
• Query-response paradigm
• Annahme: Nutzer gibt Suchanfrage ein, prüft dann das Ergebnis.
• Statisch; „systemorientiert“
„Klassische“ Retrievaltests (Abfrage der „objektiven“ Trefferqualität)
• Interaktives Retrieval
• Annahme:
• Recherche findet in mehreren Schritten statt.
• Bei der Recherche handelt es sich um einen „Dialog“ zwischen Nutzer und
System.
• Dynamisch, „nutzerorientiert“
Nutzerstudien (Abfrage der Zufriedenheit der Nutzer)
25 |
27. Tools: RAT & Search Logger
• RAT (Relevance Assessment Tool)
• Werkzeug zum Design und zur Durchführung klassischer Retrievaltests
• Baukastenprinzip beim Testdesign
• Automatische Abfrage der Treffer der bekannten Suchmaschinen
• Search Logger (Entwicklung der Uni Tartu, Estland)
• Werkzeug zum Protokollieren von Browserinteraktionen
• Task-basiert
• Ziel 2011: Zusammenführung der beiden Tools, um interaktives IR in
Suchmaschinen evaluieren zu können.
26 |
28. Agenda
Einleitung: Forschungsbereiche und Methoden
Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?
Wie gut sind die Suchergebnisse?
Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?
Fazit
27 | Dirk Lewandowski
29. Drei Anfragetypen
Anfragetypen nach Broder (2002)
• Informational (informationsorientiert)
– Nutzer möchte sich zu einem Thema informieren.
– Ziel sind mehrere Dokumente.
• Navigational (navigationsorientiert)
– Ziel ist es, eine bestimmte Seite (wieder) zu finden.
– Typisch: Suche nach Homepage („Daimler Chrysler“).
– Ziel ist i.d.R. ein Dokument.
• Transactional (transaktionsorientiert)
– Ziel ist das Auffinden einer Website, auf der dann eine Transaktion stattfinden
soll.
– Beispiele für Transaktionen: Kauf eines Produkts, Download einer Datei.
28 |
34. Agenda
Einleitung: Forschungsbereiche und Methoden
Was bekommen Nutzer auf den Suchergebnisseiten zu sehen?
Wie gut sind die Suchergebnisse?
Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint?
Fazit
33 | Dirk Lewandowski
35. Fazit
• Im Themenbereich Suchmaschinen gibt es vielfältige Fragen.
• Nur die Informationswissenschaft bietet
• das nötige breite Methodenspektrum
• Mischung aus technischem + sozial- und gesellschaftswissenschaftlichem Know-
How
• Und zuletzt: Die Berufsaussichten in diesem Themenbereich sind sehr gut!
34 |
36. Vielen Dank für Ihre
Aufmerksamkeit.
www.bui.haw-hamburg.de/lewandowski.html
Aktuelles Buch:
Handbuch Internet-Suchmaschinen 2
E-Mail:
dirk.lewandowski@haw-hamburg.de