Wie Suchmaschinen die Inhalte des Web interpretierenDirk Lewandowski
Suchmaschinen ermöglichen es Nutzern, leicht an relevante Informationen zu gelangen. Doch wie entstehen eigentlich "relevante" Ergebnisse und welche Rolle spielt das Verhalten der Nutzer für die Bewertung der Dokumente durch die Suchmaschinen? Ausgehend von den Charakteristika des Nutzerverhaltens betrachtet der Vortrag vor allem den Interpretationsspielraum bei der Generierung von Suchergebnissen. Ausgangspunkt ist dabei die These, dass es zu den meisten Suchanfragen weit mehr relevante Dokumente gibt als ein Nutzer bereit ist anzusehen. Daraus ergibt sich eine Unterscheidung nicht mehr zwischen relevanten und nicht relevanten Dokumenten, sondern eine (algorithmische) Entscheidung zwischen unterschiedlichen relevanten Dokumenten. Daraus ergeben sich Implikationen für die Informationssuche, für das Design von Suchmaschinen und für den Zugang zu Informationen.
Wie Suchmaschinen die Inhalte des Web interpretierenDirk Lewandowski
Suchmaschinen ermöglichen es Nutzern, leicht an relevante Informationen zu gelangen. Doch wie entstehen eigentlich "relevante" Ergebnisse und welche Rolle spielt das Verhalten der Nutzer für die Bewertung der Dokumente durch die Suchmaschinen? Ausgehend von den Charakteristika des Nutzerverhaltens betrachtet der Vortrag vor allem den Interpretationsspielraum bei der Generierung von Suchergebnissen. Ausgangspunkt ist dabei die These, dass es zu den meisten Suchanfragen weit mehr relevante Dokumente gibt als ein Nutzer bereit ist anzusehen. Daraus ergibt sich eine Unterscheidung nicht mehr zwischen relevanten und nicht relevanten Dokumenten, sondern eine (algorithmische) Entscheidung zwischen unterschiedlichen relevanten Dokumenten. Daraus ergeben sich Implikationen für die Informationssuche, für das Design von Suchmaschinen und für den Zugang zu Informationen.
Suchmaschinen sind der meistgenutzte Dienst des Internet; täglich werden viele Milliarden Suchanfragen an Google und Co. gestellt. Doch dieser immensen Nutzung steht ein nur mangelhaftes Wissen über die Suchmaschinen gegenüber. Dabei geht es auf der einen Seite natürlich um ein Verständnis der zugrunde liegenden Technik; Suchmaschinen sind aber weit mehr: Hinter ihnen stehen Unternehmen, die mit der Suche im Web Geld verdienen wollen, Suchmaschinen spielen eine wichtige Rolle für den Informationserwerb in der Gesellschaft, und schließlich spielen Suchmaschinen als Plattform für das Online-Marketing eine bedeutende Rolle bei der Vermittlung zwischen Suchenden und Unternehmen.
Im Vortrag werden die zentralen Akteure auf dem Suchmaschinenmarkt vorgestellt und ausgeführt, warum ein Verständnis von Suchmaschinen aus nur einer Perspektive (sei diese technisch, wirtschaftlich oder gesellschaftlich) nicht ausreicht, sondern wir Suchmaschinen tatsächlich nur verstehen können, wenn wir sie ganzheitlich betrachten.
Zurzeit werden verschiedene Wege diskutiert, um das „Problem Google“ zu lösen. Vordergründig geht es dabei darum, Maßnahmen zu ergreifen, um Googles Monopol auf dem Suchmaschinenmarkt einzudämmen. Weitergehend geht es allerdings darum, wer zu welchen Bedingungen Zugriff auf die im Web verstreut vorliegenden Daten bekommt.
Die bisherigen Vorschläge reichen dabei von einem schlichten Hoffen auf den Markt bis hin zur Forderung nach dem Aufbau einer öffentlich-rechtlichen Suchmaschine. Allerdings würde als Ergebnis stets nur ein weiterer Marktteilnehmer (oder bestenfalls ein paar wenige) entsteht. An diesem Punkt setzt die Idee des “Open Web Index” an: Der Index wird als eine Infrastrukturmaßnahme angesehen, die von allen zu fairen Bedingungen genutzt werden kann. Auf der Basis des Index kann dann eine Vielzahl von Diensten aufgebaut werden, darunter natürlich Suchmaschinen, aber auch jede andere Form von Dienst, der Web-Daten in großem Umfang benötigt.
Der Vortrag setzt sich mit den wirtschaftlichen und technischen Fragen eines solchen offenen Web-Index auseinander und berichtet von den Fortschritten der Initiative Open Web Index.
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Dirk Lewandowski
Vortrag bei der Online Marketing Konferenz (OMK 2015). Ein Blick in die technische Zukunft der Web-Suchmaschinen und deren gesellschaftliche Auswirkungen.
Suchmaschinen sind der meistgenutzte Dienst des Internet; täglich werden viele Milliarden Suchanfragen an Google und Co. gestellt. Doch dieser immensen Nutzung steht ein nur mangelhaftes Wissen über die Suchmaschinen gegenüber. Dabei geht es auf der einen Seite natürlich um ein Verständnis der zugrunde liegenden Technik; Suchmaschinen sind aber weit mehr: Hinter ihnen stehen Unternehmen, die mit der Suche im Web Geld verdienen wollen, Suchmaschinen spielen eine wichtige Rolle für den Informationserwerb in der Gesellschaft, und schließlich spielen Suchmaschinen als Plattform für das Online-Marketing eine bedeutende Rolle bei der Vermittlung zwischen Suchenden und Unternehmen.
Im Vortrag werden die zentralen Akteure auf dem Suchmaschinenmarkt vorgestellt und ausgeführt, warum ein Verständnis von Suchmaschinen aus nur einer Perspektive (sei diese technisch, wirtschaftlich oder gesellschaftlich) nicht ausreicht, sondern wir Suchmaschinen tatsächlich nur verstehen können, wenn wir sie ganzheitlich betrachten.
Zurzeit werden verschiedene Wege diskutiert, um das „Problem Google“ zu lösen. Vordergründig geht es dabei darum, Maßnahmen zu ergreifen, um Googles Monopol auf dem Suchmaschinenmarkt einzudämmen. Weitergehend geht es allerdings darum, wer zu welchen Bedingungen Zugriff auf die im Web verstreut vorliegenden Daten bekommt.
Die bisherigen Vorschläge reichen dabei von einem schlichten Hoffen auf den Markt bis hin zur Forderung nach dem Aufbau einer öffentlich-rechtlichen Suchmaschine. Allerdings würde als Ergebnis stets nur ein weiterer Marktteilnehmer (oder bestenfalls ein paar wenige) entsteht. An diesem Punkt setzt die Idee des “Open Web Index” an: Der Index wird als eine Infrastrukturmaßnahme angesehen, die von allen zu fairen Bedingungen genutzt werden kann. Auf der Basis des Index kann dann eine Vielzahl von Diensten aufgebaut werden, darunter natürlich Suchmaschinen, aber auch jede andere Form von Dienst, der Web-Daten in großem Umfang benötigt.
Der Vortrag setzt sich mit den wirtschaftlichen und technischen Fragen eines solchen offenen Web-Index auseinander und berichtet von den Fortschritten der Initiative Open Web Index.
Wie entwickeln sich Suchmaschinen heute, was kommt morgen?Dirk Lewandowski
Vortrag bei der Online Marketing Konferenz (OMK 2015). Ein Blick in die technische Zukunft der Web-Suchmaschinen und deren gesellschaftliche Auswirkungen.
Search Engine Bias - sollen wir Googles Suchergebnissen vertrauen?Dirk Lewandowski
Suchmaschinen sind das wichtigste Tor zu den Inhalten des Web – das Web wäre ohne Suchmaschinen gar nicht benutzbar. Doch was wird uns eigentlich auf den Suchergebnisseiten von Google angezeigt? Handelt es sich einfach um neutrale Informationen, die vollautomatisch zusammengestellt werden?
Der Vortrag zeigt, wie die unterschiedlichen Interessen von Suchmaschinenbetreibern, den Inhalteanbietern, den Suchmaschinenoptimierern und uns Nutzern erst im Zusammenspiel die Ergebnisse von Google und Co. generieren. Dabei geht es um die Frage, was diese Einflüsse für uns alles bedeuten, die wir Suchmaschinen zur Informationsrecherche benutzen.
The Need for and fundamentals of an Open Web IndexDirk Lewandowski
The document proposes the creation of an Open Web Index (OWI) to address the lack of a comprehensive, public index of web content. It argues that current initiatives like Common Crawl are insufficient as they are not kept fully up-to-date, lack search functionality, and do not address spam removal. The OWI would separate the crawling and indexing of web content from proprietary search services built on top of the index. Building such a major public project requires political and financial support as well as technical expertise. The goal is an independent index that serves as a public library of web content.
Search engines like Google have a massive influence on what information users get to see, and on what search results users select. This leads to search engines having a significant impact on what information we as a society acquire.
It has been often lamented that search engines are biased. I, however, argue that we have only scratched the surface because search engine bias is a multifaceted concept and the discussion usually solely focuses on some aspects.
Search engine bias can be classified into four different areas. Firstly, there are biases on the side of the search engine, e.g., in their ranking functions. Secondly, there are biases through external influencing of search engine results, predominantly through “search engine optimization”.
Thirdly, biases occur on the side of the user (e.g., position bias, confirmation bias, visual attraction bias). And fourthly, there are self-interests of search engine providers which influence the search results.
Further to giving an overview of the topic, I will show how search engine providers (and regulators) can take steps towards making search fair. Whereas a bias-free search engine is impossible, a fair search is. Here, I will not only focus on the big web search engines but also on how developers and product owners can make their search systems fair. Or, to put it another way, I will show what can we learn from these “worst practices” in web search when designing our own systems.
EIN ANDERER BLICK AUF GOOGLE: Wie interpretieren Nutzer/innen die Suchergebni...Dirk Lewandowski
Die Suche im Internet ist eine einfache Sache: Suchanfrage eingeben, Ergebnis auswählen, lesen, fertig! Doch wie wählen wir eigentlich Ergebnisse aus? Und welche Ergebnisse werden uns überhaupt zur Auswahl angeboten?
In diesem Vortrag werde ich zeigen, wie Nutzer durch bestimmte Formen von Ergebnissen und deren Darstellung beeinflusst werden. Dabei geht es um die Kennzeichnung von Anzeigen, um Googles Eigeninteressen bei der Anzeige seiner eigenen Inhalte (bspw. YouTube) und um die Beeinflussung der Suchergebnisse durch Externe.
Also: Nach diesem Vortrag kann man nicht nur selbst besser suchen, sondern auch besser einschätzen, welchen Einfluss Google darauf hat, welche Informationen wir alle aus dem Web erhalten.
Selbstfahrende Autos, Roboter, Flugtaxis – wenn von künstlicher Intelligenz (KI) die Rede ist, werden oft plastische bis drastische Beispiele gebraucht. Meist werden grundlegende Fragen der künstlichen Intelligenz anhand von Zukunftsszenarien diskutiert. Es lohnt sich jedoch ein Blick auf einen der Bereiche, in denen Verfahren der KI bereits heute deutlich ausgeprägt sind, nämlich die Suchmaschinen im Web.
Suchmaschinen haben sich zu „Next-Generation Search Systems“ (White, 2016) entwickelt. Die von den Suchmaschinen bekannte Technologie wurde erweitert und angepasst, um intelligente Dienste wie Siri, Cortana und Alexa möglich zu machen. Diese zeichnen sich zum einen dadurch aus, dass sie unterschiedliche Eingabeformate (wie Text oder Sprache) verstehen, zum anderen dadurch, dass sie nicht mehr nur Listen von potentiell relevanten Dokumenten, sondern echte Antworten geben.
Der Vortrag zeigt, wie sich Suchmaschinen auf der Basis von Technologien der künstlichen Intelligenz entwickelt haben und was diese Entwicklung für die Informationsrecherche bedeutet. Dass Suchmaschinen einen erheblichen Einfluss darauf haben, welche Informationen gesehen werden, steht außer Zweifel. Sie sind der von den Nutzern bei weitem bevorzugte Weg, um an Informationen (aus dem Web) zu gelangen (Koch & Frees, 2016) und genießen ein hohes Vertrauen (Purcell, Brenner, & Raine, 2012; Stark, Magin, & Jürgens, 2014). Doch ist dieses Vertrauen gerechtfertigt?
Analysing search engine data on socially relevant topicsDirk Lewandowski
This document summarizes a presentation on analyzing search engine data for socially relevant topics. It discusses collecting search results data at scale by automatically querying search engines and scraping results pages. A case study on insurance comparisons is presented where over 20,000 search results were analyzed for 121 queries. The results showed that a small number of domains and providers dominated the top search positions. Limitations and future work are also outlined.
Google Assistant, Alexa & Co.: Wie sich die Welt der Suche verändertDirk Lewandowski
Suchmaschinen haben sich grundlegend geändert: Sie erlauben Eingaben über Text, Sprache und Bilder und geben anstelle der altbekannten Suchergebnislisten zunehmend auch direkte Antworten auf Fragen aus. Um dies zu ermöglichen, analysieren sie neben den Suchanfragen auch persönliche Informationen der Nutzer und ihrer sozialen Netzwerke sowie Massendaten aus vergangenen Suchvorgängen und anderen Interaktionen. Dies verändert die Weise, wie wir suchen und was wir finden.
Doch wie gehen Nutzer mit diesen „Next Generation Search Systems“ in Form von Suchmaschinen, sprachbasierten persönlichen Assistenten und anderen Assistenzsystemen im Alltag um? Und was bedeutet dies auf der einen Seite für das Online-Marketing, auf der anderen Seite für den nach Informationen suchenden Nutzer?
Are Ads on Google search engine results pages labeled clearly enough?Dirk Lewandowski
In an online experiment using a representative sample of the German online population (n=1,000), we compare users’ selection behavior on two versions of the same Google search engine results page (SERP), one showing advertisements and organic results, the other showing organic results only. Selection behavior is analyzed in relation to users’ knowledge on Google’s business model, on SERP design, and on these users’ actual performance in marking advertisements on SERPs correctly. We find that users who were not able to mark ads correctly selected ads significantly more often. This leads to the conclusion that ads need to be labeled more clearly, and that there is a need for more information literacy in search engine users.
Ordinary Search Engine Users Assessing Difficulty, Effort and Outcome for Sim...Dirk Lewandowski
This document discusses a study that examined how ordinary search engine users assess the difficulty, effort, and outcomes of simple and complex search tasks.
The study involved 60 participants who were given 12 search tasks (6 simple, 6 complex) and asked to complete pre- and post-task questionnaires rating the difficulty, time effort, query effort, and likelihood of finding the right information. Results showed that users were generally able to correctly judge simple tasks (~90% accuracy) but accuracy dropped to ~2/3 for complex tasks. Statistical analysis found users were significantly better at judging the complexity of simple vs. complex tasks. The study aimed to provide insights into how well users can estimate efforts and outcomes for different types of search tasks.
The document discusses alternatives to Google for web searching. It notes that Google dominates the market, influencing how users perceive and interact with search results. Few true alternatives exist due to economic barriers to creating comprehensive indexes. The author proposes an independent, openly accessible web index to promote diversity and innovation in search applications beyond what any single company can offer. This could motivate new types of search tools and encourage alternatives to the current market dominance.
Dirk Lewandowski argues that an independent index of the web is needed to ensure competition in the search market and representation of different viewpoints. Currently, most search engines rely on Google's index, and it is too costly for alternatives to build their own. Lewandowski proposes creating an index that can be accessed fairly by all to enable new search applications to be developed and motivate more competition. Funding would need to come from a pan-European initiative and the index would be operated by an independent research institution. This could spur innovation and provide alternatives to current search engine models.
4. Bedeutung der Suchmaschinen
• Suchmaschinen sind der Zugang zu Informationen im Netz.
– Andere Zugänge (Kataloge, usw.) haben kaum noch Bedeutung.
– Suchmaschinen bestimmen über die sichtbaren Inhalte des Web.
– Suchmaschinen bestimmen das Nutzerverhalten (auch für andere
Informationssysteme).
3 |
5. Drei Anfragetypen
Anfragetypen nach Broder (2002)
• Informational (informationsorientiert)
– Nutzer möchte sich zu einem Thema informieren.
– Ziel sind mehrere Dokumente.
• Navigational (navigationsorientiert)
– Ziel ist es, eine bestimmte Seite (wieder) zu finden.
– Typisch: Suche nach Homepage („Daimler Chrysler“).
– Ziel ist i.d.R. ein Dokument.
• Transactional (transaktionsorientiert)
– Ziel ist das Auffinden einer Website, auf der dann eine Transaktion stattfinden soll.
– Beispiele für Transaktionen: Kauf eines Produkts, Download einer Datei.
4 |
6. „Die meisten Nutzer sind nicht willens, bei der Formulierung ihres
Suchziels allzu viel kognitive und zeitliche Energie aufzuwenden.“
(Machill et al. 2003)
• Boolesche Operatoren
– Bei weniger als 10% der Anfragen; keine Veränderung im Lauf der Jahre
(Spink&Jansen 2004).
– Nur etwa die Hälfte der Nutzer weiß, dass es Operatoren gibt (Machill et al.
2003).
– 20% der Nutzer geben an, sie öfter zu verwenden (Machill et al. 2003).
– Etwa die Hälfte der Anfragen mit Operatoren enthält Fehler (Spink et al. 2000),
bei der Verwendung von Plus-/Minuszeichen lag die Fehlerquote bei 2/3.
• Profisuche
– 59% der Nutzer kennen die Profisuche (Machill et al. 2003).
– Nur 14% nutzen sie öfter (Machill et al. 2003).
5 |
7. Grunddaten zum Nutzerverhalten (2)
• Auswertung der Treffer
– 80% der Nutzer betrachten nur die erste Ergebnisseite (= 10 Treffer)
(Spink&Jansen 2004).
– Vor allem die Treffer auf den ersten Listenplätzen werden angesehen; möglichst
kein Scrollen
– Pro Session werden nur etwa fünf Dokumente gesichtet (Spink&Jansen 2004).
– Sessions dauern weniger als 15 Minuten.
• Kaum Veränderungen im Lauf der Zeit
6 |
14. Die Qualität von Suchmaschinen kann nur durch eine
Kombination unterschiedlicher Faktoren gemessen werden.
Qualitätsfaktoren für Suchmaschinen
• Qualität des Index
– Größe des Datenbestands, Abdeckung des Web
– Abdeckung bestimmter Bereiche (Sprachräume, Länder)
– Überschneidungen der Indices
– Aktualität des Datenbestands
• Qualität der Suchresultate
– Retrievaleffektivität
– Zufriedenheit der Nutzer
– Überschneidungen der (Top-)Ergebnisse
• Qualität der Suchfunktionen
• Nutzerfreundlichkeit + Benutzerführung (Lewandowski & Höchstötter 2007)
13 |
15. Web-Abdeckung
Keine Suchmaschine deckt das gesamte Web ab!
– Aber: keine genauen Zahlen; aktuelle Untersuchungen fehlen.
– Größe des Web ist unbekannt; die großen Suchmaschinen haben einige
Milliarden Dokumente indexiert.
– Wenig erforschter Bereich: Invisible Web.
Definitionen Invisible/Deep Web
– “Text pages, files, or other often high-quality authoritative information available
via the World Wide Web that general-purpose search engines cannot, due to
technical limitations, or will not, due to deliberate choice, add to their indices of
Web pages" (Sherman u. Price 2001).
– “The deep Web - those pages do not exist until they are created dynamically as
the result of a specific search“ (Bergman 2001).
14 |
17. Überschneidung der Datenbestände
• Überschneidung der Indices
– Relativ gering, daher lohnt sich die Suche in mehreren Suchmaschinen.
• Überschneidung der Suchergebnisse
– Sehr gering innerhalb der Top10, 20.
16 |
24. Retrievaleffektivität: Informationsorientierte Anfragen
Klassische Tests
• Welche Suchmaschine liefert die besten Treffer?
• Test anhand von
– einer bestimmten Anzahl von Suchanfragen (50).
– einer bestimmten Anzahl von Treffern pro Suchmaschine (20).
– Bewertungen durch Juroren (wichtige Frage: wer bewertet?).
– Ja/Nein-Entscheidungen über Relevanz, verschiedenen Skalen.
23 |
25. Precision ist das am häufigsten verwendete Retrievalmaß.
Klassische Retrievalmaße
• Precision
– Anteil der relevanten ausgegebenen Treffer an der Gesamtheit der
ausgegebenen Treffer.
– Wird bei Suchmaschinen i.d.R. bis zu einem Cut-Off-Wert bestimmt (z.B. 20).
• Recall
– Anteil der relevanten ausgegebenen Treffer an der Gesamtheit aller überhaupt
vorhandenen Treffer (= aller im Web vorhandener relevanter Dokumente).
– Bei Suchmaschinen nicht messbar (Ausweg evtl. über Pooling-Methoden).
• Fallout
– Anteil der ausgegebenen nicht relevanten Treffer an der Gesamtzahl der nicht
relevanten Treffer im Datenbestand.
• Generality
– Anteil der relevanten Dokumente im zugrunde liegenden Datenbestand.
24 |
28. Keine klare Reihung der Suchmaschinen, wenn einzelne
Anfragen betrachtet werden.
27 |
29. Offene Frage: Wie können Retrievalmaße dem spezifischen
Verhalten der Suchmaschinen-Nutzer angepasst werden?
Problembereiche
• Such-Sessions
– Nur Treffer auf der ersten Ergebnisseite (bzw. auf dem direkt sichtbaren Bildschirmbereich)
werden angesehen.
– In der Regel werden maximal fünf Dokumente angesehen.
– Recherche wird oft abgebrochen, sobald ein passendes Dokument gefunden wurde.
Wie können die Maße dem Bedürfnis nach nur einem/wenigen relevanten Treffern
angepasst werden?
• Zusammensetzung der Trefferlisten
– Abbildung mehrerer Facetten eines Themas auf den vorderen Plätzen der Trefferlisten.
Wie kann in der Evaluierung auf Facetten eingegangen werden?
• Interaktion
– Allgemeines IR-Evaluationsproblem: Recherche ist immer als interaktiver Prozess
anzusehen.
Wie können die Maße an den tatsächlichen Suchprozess angepasst werden?
28 |
31. „Such-Ansätze“ des Web 2.0
• Social Bookmarking
– Nutzer speichern Lesezeichen online und machen diese öffentlich zugänglich.
– Lesezeichen werden mit tags verschlagwortet.
– Beispiele: Mr. Wong; del.icio.us
• Frage-Antwort-Dienste
– Nutzer stellen Fragen, Community antwortet.
– Fragen und Antworten werden mit tags verschlagwortet.
– Beispiele: Yahoo Clever, Lycos IQ
30 |
33. Fazit Web 2.0 Dienste für die Suche
• Web 2.0 Dienste bieten bisher keine den Suchmaschinen vergleichbare
Trefferqualität.
• Bislang kaum Ausnutzung der klassischen IR-Verfahren in diesen
Anwendungen.
• Mashup der Ergebnisse aus allen Quellen könnte zu Qualitätssteigerung
führen.
32 |
35. Fazit
• Suchmaschinen prägen das Nutzerverhalten auch für andere
Informationssysteme.
– „Google kann das doch auch!“
• Qualität der Suchmaschinen ist nur durch eine Kombination verschiedener
Faktoren messbar.
– Empirische Untersuchungen zeigen deutliche Unterschiede.
– Beliebtheit von Google lässt sich nicht allein durch die Qualität erklären.
• Web 2.0 Dienste verbessern die Suche bislang nicht.
– Potential ist aber durchaus vorhanden.
34 |
36. Vielen Dank für Ihre
Aufmerksamkeit.
www.bui.haw-hamburg.de/lewandowski.html
Alle in der Präsentation genannten
Artikel zum Download.
Bücher:
Handbuch Internet-Suchmaschinen
(erscheint im Oktober)
Web-2.0-Dienste als Ergänzung zu
algorithmischen Suchmaschinen
E-Mail:
dirk.lewandowski@haw-hamburg.de