Perspektiven eines „Open Web Index“
Prof. Dr. Dirk Lewandowski
Hochschule für Angewandte Wissenschaften Hamburg
dirk.lewandowski@haw-hamburg.de
@Dirk_Lew
DGI-Forum Wittenberg „True Fiction: Die Digitalisierung unseres Alltags“
Wittenberg, 25. September 2015
Gliederung
1.  Die Bedeutung der Suchmaschinen und der Suchmaschinenmarkt
2.  Das „Problem Google“
3.  Alternative Suchmaschinen
4.  Lösungsvorschläge
5.  Die Initiative „Open Web Index“ (OWI)
6.  Fazit
Die Bedeutung der Suchmaschinen und der Suchmaschinenmarkt
Ansätze zur Erschließung der Inhalte des Web (Auswahl)
Wer das Internet nutzt, nutzt Suchmaschinen
•  Suchmaschinen sind der beliebteste Dienst des Internt (Purcell, Brenner &
Raine, 2012; van Eimeren & Frees, 2013)
van Eimeren, B.; Frees, B. (2013): Rasanter Anstieg des Internetkonsums – Onliner fast drei Stunden täglich im Netz:
Ergebnisse der ARD/ZDF-Onlinestudie 2013. Media Perspektiven 54(7-8), 358-372.
Entwicklung des Suchanfragevolumens (USA)
Daten von ComScore. Die Daten wurden aus den regelmäßig bei „Search Engine Land“ veröffentlichten Zahlen
zusammengestellt. (s. http:// searchengineland.com/library/stats/stats-comscore))
Es wird eigentlich nur eine Suchmaschine genutzt
ComScore-Zahlen Deutschland, März 2012;
http://www.focus.de/digital/internet/netzoekonomie-blog/suchmaschinen-googles-marktanteil-steigt-
auf-96-prozent-in-deutschland_aid_723240.html
95,9
1,1
0,9
0 10 20 30 40 50 60 70 80 90 100
Google
Bing
Yahoo
Das „Problem Google“
Durch Google bzw. seine Marktmacht verursachte Probleme
1.  Nur eine von vielen möglichen algorithmischen Sichten auf die Inhalte
des Web
2.  Bevorzugung eigener Angebote
3.  Effekt der Suchmaschinenoptimierung
4.  (Dominanz bei der Online-Werbung)
Desktop layout
593 clicks (59.3%)
0 clicks (0%)
358 clicks (35.8%)
49 clicks (4.9%)
Bevorzugung eigener Angebote
23
Lewandowski, D.; Sünkler, S.: Representative online study to evaluate the commitments proposed by Google as part of EU
competition investigation AT.39740-Google - Report for Germany
http://searchstudies.org/tl_files/Publikationen_PDFs/2013/Google_Online_Survey_DE.pdf
Anfragetypen in der Websuche
nach Broder (2002)
•  Informational (informationsorientiert)
–  Nutzer möchte sich zu einem Thema informieren.
–  Ziel sind mehrere Dokumente.
•  Navigational (navigationsorientiert)
–  Ziel ist es, eine bestimmte Seite (wieder) zu finden.
–  Typisch: Suche nach Homepage („Ebay“).
–  Ziel ist i.d.R. ein Dokument.
•  Transactional (transaktionsorientiert)
–  Ziel ist das Auffinden einer Website, auf der dann eine Transaktion stattfinden soll.
–  Beispiele für Transaktionen: Kauf eines Produkts, Download einer Datei.
Zufriedenheit der Nutzer in Bezug auf die Anfragetypen
Tabelle 1: Eindeutige Bewertbarkeit von Suchanfragen nach Anfragetyp
Navigationsorientiert Informationsorientiert Transaktionsorientiert
Eindeutig bewertbar Suche nach einem bereits
bekannten Dokument
Suche nach einem Faktum
Suche nach Trivia
Informationsorientierte
Suche, zu der Informationen
aus einer bestimmten Quelle
erwartet werden (bspw.
Wikipedia)
Suche nach einer bekannten
Website, auf der eine
Transaktion durchgeführt
werden soll
Nicht eindeutig
bewertbar
- Klassische
Informationssuche mit dem
Anspruch, ein vollständiges
Bild zu gewinnen bzw. einen
umfassenden Überblick
Mehrere Varianten der
Transaktion möglich
Über was haben Suchmaschinen eigentlich Macht?
•  Über das, was überhaupt in den Index
aufgenommen wird
–  Technisch bedingte Probleme der Web-Indexierung
–  Demokratisch legitimierter Ausschluss von Inhalten
–  Willkürlicher Ausschluss von Inhalten
•  Über das, was wir als Nutzer zu sehen
bekommen
–  Reihung der Dokumente
–  Anordnung der Suchergebnisseiten
–  Direkte Antworten
Es kann keine verzerrungsfreie Suchmaschine geben
•  Verzerrungen werden zum Problem durch die Kombination von
•  Dominanz des Modells „algorithmische Web-Suchmaschine“
•  Dominanz von Google in diesem Bereich
•  Nutzerverhalten
•  Probleme werden sich zukünftig noch verstärken durch
•  Direkte Beantwortung von Suchanfragen
•  Wandel von Suchanfragen und Dokumenten
XXXX
•  XXXX
–  XXXX
–  XXXX
•  XXXX
–  XXXX
–  XXXX
Alternative Suchmaschinen
Alternative Suchmaschinen
•  Was ist eigentlich eine „alternative Suchmaschine“?
–  Jede Suchmaschine außer Google? à „Google Killer“, Cuil†
–  Suchmaschinen, die grundlegend dasselbe machen wie Google? à Bing
–  Suchmaschinen, die sich durch regionale Kompetenz abheben? à Seekport†
–  Suchmaschinen, die neue/alternative Ansätze zur Erschließung und
Durchsuchbarmachung des Web verfolgen?
•  Keine Alternative: „Suchmaschinen“, die Ergebnisse einer anderen
Suchmaschine anzeigen.
Beziehungsgeflecht der Suchmaschinen (Deutschland)
Lewandowski, D. (2015). Suchmaschinen verstehen. Berlin Heidelberg: Springer Vieweg. S. 158)
Das Partnerindex-Modell hat den Suchmaschinenmarkt
ausgedünnt
•  Geschäftsmodell Partnerindices
–  Eine Suchmaschine mit eigenem Index stellt ihre Ergebnisse und
ihre Textanzeigen dem Partner zur Verfügung
–  Das mit den Werbeklicks verdiente Geld wird nach einem vorher
festgelegten Schlüssel zwischen Suchmaschine und Partner
aufgeteilt
•  Attraktivität des Modells
–  Minimale zusätzliche Kosten pro Anfrage für die gebende
Suchmaschine
–  Enorme Kostenersparnis für die nehmende Suchmaschine
(Betrieb einer eigenen Suchmaschine entfällt)
–  Ergebnis: Ausdünnung des Suchmaschinenmarkts
•  Suchmaschinen-Indexe aktuell
–  Google
–  Bing
–  Yandex
–  Baidu
•  Eingestellte Suchmachinen-
Indexe (seit 2009)
–  Yahoo
–  Ask
–  Cuil
•  Neue Suchmaschinen-Indexe
–  Blekko
–  Duck Duck Go
•  Web-Indexe für Analysezwecke
(Beispiel)
–  Moz
–  OpenCrawl
Überblick Web-Indexe
Auswahl
Bias der Suchmaschinen
•  Drei Ebenen von Suchmaschinen-Bias (Weber, 2011)
–  Implementierung der Suchmaschine
–  Verhalten der Anbieter von Inhalten
–  Nutzung von Suchmaschinen
à  Eine „verzerrungsfreie“ Suchmaschine kann es nicht geben
•  Verzerrungen werden zum Problem durch die Kombination von
•  Dominanz des Modells „algorithmische Web-Suchmaschine“
•  Dominanz von Google in diesem Bereich
•  Nutzerverhalten
Warum brauchen wir mehr als eine Suchmaschine?
•  Meinungsvielfalt
•  Wahl zwischen verschiedenen (algorithmischen) Sichten auf die Welt
•  Ideologiefreie Suchmaschinen sind nicht möglich
Mögliche Lösungen
Lösungsvorschläge
1.  Der Markt wird‘s richten
2.  Google zu fairer Ergebnisanzeige verpflichten
3.  Google zerschlagen
4.  Eine alternative Suchmaschine aufbauen
5.  Google zwingen, seinen Index zu öffnen
6.  Web-Index als Infrastrukturmaßnahme
Die “lokale Kopie” des Web
Risvik, K. M., & Michelsen, R. (2002). Search engines and web dynamics. Computer Networks, 39(3), 289–302.
Entkopplung von Index und Diensten
Risvik, K. M., & Michelsen, R. (2002). Search engines and web dynamics. Computer Networks, 39(3), 289–302.
Infrastruktur
(öffentlich)
Dienste
(Eigeninitiative)
Ein offener Web-Index schafft die Voraussetzungen für die
Informationsautonomie der europäischen Wirtschaft und
Gesellschaft
•  „Ein für alle zu fairen Konditionen zugänglicher Index des Web“
–  „Für alle“ meint, dass jeder Interessierte auf diesen Index zugreifen
kann.
–  „Faire Bedingungen“ bedeutet nicht unbedingt kostenlos, sondern kann
auch ein faires Bezahlmodell vorsehen.
–  Unter „zugänglich“ ist zu verstehen, dass der Index leicht automatisch
abgefragt werden kann. Weiterhin sollte tatsächlich alles im Index
enthaltene auch abfragbar sein.
–  Und „Index des Web“ meint schließlich möglichst alle Inhalte des Web
(und ggf. darüber hinaus).
Finanzierung
•  Finanzierung
–  Aufgrund der immensen Kosten kann ein solcher Index nur auf europäischer
Ebene geschaffen werden.
•  Wer kann einen solchen Index betreiben?
–  Bestehende Forschungseinrichtung oder eine neu zu gründende Einrichtung
–  Der Betreiber des Index darf nicht allein über die Art der Erschließung der
Dokumente und ihre Verfügbarmachung bestimmen. à Kuratorium aus
(potentiellen) Anwendern
Die Initiative „Open Web Index“ (OWI)
Beteiligte
•  Sprecher
–  Dr. Wolfgang Sander-Beuermann, Suma e.V.
–  Prof. Dr. Dirk Lewandowski, Hochschule für Angewandte Wissenschaften
Hamburg
•  Beteiligte
–  Wissenschaft
–  Industrie (Deutsche Telekom, 1&1)
–  Informationsinfrastruktureinrichtungen
–  Public Relations
Arbeiten
•  Konzeptpapier „An Open Web Index for Europe“
•  Vernetzung von Interessierten aus unterschiedlichen Bereichen
•  Workshops und Veranstaltungen
•  Lobbyarbeit
•  Website: www.openwebindex.eu
Fazit
#1
Das „Google-Problem“ wurde (endlich)
erkannt. Wir sprechen nun über mögliche
Lösungen.
#2 Eine konstruktive Lösung ist einer
destruktiven vorzuziehen.
#3
Frei zugängliches Wissen ist die Quelle von
kontinuierlichem Wettbewerb, Innovation
und Unternehmertum auf der einen und
persönlicher und Meinungsfreiheit auf der
anderen Seite.
Der Open Web Index schafft dafür die
Voraussetzung.
#4
Diese Aufgabe ist mit Infrastrukturaufgaben
des Staates zu vergleichen – in Bezug auf
die Sammlung und Verfügbarmachung von
Wissen ist vor allem der Vergleich mit den
Bibliotheken zu ziehen.
Vielen Dank für Ihre Aufmerksamkeit
Prof. Dr. Dirk Lewandowski
Hochschule für Angewandte Wissenschaften Hamburg,
Department Information
dirk.lewandowski@haw-hamburg.de
Website:
www.searchstudies.org

Perspektiven eines Open Web Index

  • 1.
    Perspektiven eines „OpenWeb Index“ Prof. Dr. Dirk Lewandowski Hochschule für Angewandte Wissenschaften Hamburg dirk.lewandowski@haw-hamburg.de @Dirk_Lew DGI-Forum Wittenberg „True Fiction: Die Digitalisierung unseres Alltags“ Wittenberg, 25. September 2015
  • 2.
    Gliederung 1.  Die Bedeutungder Suchmaschinen und der Suchmaschinenmarkt 2.  Das „Problem Google“ 3.  Alternative Suchmaschinen 4.  Lösungsvorschläge 5.  Die Initiative „Open Web Index“ (OWI) 6.  Fazit
  • 3.
    Die Bedeutung derSuchmaschinen und der Suchmaschinenmarkt
  • 4.
    Ansätze zur Erschließungder Inhalte des Web (Auswahl)
  • 5.
    Wer das Internetnutzt, nutzt Suchmaschinen •  Suchmaschinen sind der beliebteste Dienst des Internt (Purcell, Brenner & Raine, 2012; van Eimeren & Frees, 2013) van Eimeren, B.; Frees, B. (2013): Rasanter Anstieg des Internetkonsums – Onliner fast drei Stunden täglich im Netz: Ergebnisse der ARD/ZDF-Onlinestudie 2013. Media Perspektiven 54(7-8), 358-372.
  • 6.
    Entwicklung des Suchanfragevolumens(USA) Daten von ComScore. Die Daten wurden aus den regelmäßig bei „Search Engine Land“ veröffentlichten Zahlen zusammengestellt. (s. http:// searchengineland.com/library/stats/stats-comscore))
  • 7.
    Es wird eigentlichnur eine Suchmaschine genutzt ComScore-Zahlen Deutschland, März 2012; http://www.focus.de/digital/internet/netzoekonomie-blog/suchmaschinen-googles-marktanteil-steigt- auf-96-prozent-in-deutschland_aid_723240.html 95,9 1,1 0,9 0 10 20 30 40 50 60 70 80 90 100 Google Bing Yahoo
  • 8.
  • 9.
    Durch Google bzw.seine Marktmacht verursachte Probleme 1.  Nur eine von vielen möglichen algorithmischen Sichten auf die Inhalte des Web 2.  Bevorzugung eigener Angebote 3.  Effekt der Suchmaschinenoptimierung 4.  (Dominanz bei der Online-Werbung)
  • 12.
    Desktop layout 593 clicks(59.3%) 0 clicks (0%) 358 clicks (35.8%) 49 clicks (4.9%) Bevorzugung eigener Angebote 23 Lewandowski, D.; Sünkler, S.: Representative online study to evaluate the commitments proposed by Google as part of EU competition investigation AT.39740-Google - Report for Germany http://searchstudies.org/tl_files/Publikationen_PDFs/2013/Google_Online_Survey_DE.pdf
  • 14.
    Anfragetypen in derWebsuche nach Broder (2002) •  Informational (informationsorientiert) –  Nutzer möchte sich zu einem Thema informieren. –  Ziel sind mehrere Dokumente. •  Navigational (navigationsorientiert) –  Ziel ist es, eine bestimmte Seite (wieder) zu finden. –  Typisch: Suche nach Homepage („Ebay“). –  Ziel ist i.d.R. ein Dokument. •  Transactional (transaktionsorientiert) –  Ziel ist das Auffinden einer Website, auf der dann eine Transaktion stattfinden soll. –  Beispiele für Transaktionen: Kauf eines Produkts, Download einer Datei.
  • 15.
    Zufriedenheit der Nutzerin Bezug auf die Anfragetypen Tabelle 1: Eindeutige Bewertbarkeit von Suchanfragen nach Anfragetyp Navigationsorientiert Informationsorientiert Transaktionsorientiert Eindeutig bewertbar Suche nach einem bereits bekannten Dokument Suche nach einem Faktum Suche nach Trivia Informationsorientierte Suche, zu der Informationen aus einer bestimmten Quelle erwartet werden (bspw. Wikipedia) Suche nach einer bekannten Website, auf der eine Transaktion durchgeführt werden soll Nicht eindeutig bewertbar - Klassische Informationssuche mit dem Anspruch, ein vollständiges Bild zu gewinnen bzw. einen umfassenden Überblick Mehrere Varianten der Transaktion möglich
  • 16.
    Über was habenSuchmaschinen eigentlich Macht? •  Über das, was überhaupt in den Index aufgenommen wird –  Technisch bedingte Probleme der Web-Indexierung –  Demokratisch legitimierter Ausschluss von Inhalten –  Willkürlicher Ausschluss von Inhalten •  Über das, was wir als Nutzer zu sehen bekommen –  Reihung der Dokumente –  Anordnung der Suchergebnisseiten –  Direkte Antworten
  • 17.
    Es kann keineverzerrungsfreie Suchmaschine geben •  Verzerrungen werden zum Problem durch die Kombination von •  Dominanz des Modells „algorithmische Web-Suchmaschine“ •  Dominanz von Google in diesem Bereich •  Nutzerverhalten •  Probleme werden sich zukünftig noch verstärken durch •  Direkte Beantwortung von Suchanfragen •  Wandel von Suchanfragen und Dokumenten
  • 18.
    XXXX •  XXXX –  XXXX – XXXX •  XXXX –  XXXX –  XXXX
  • 19.
  • 20.
    Alternative Suchmaschinen •  Wasist eigentlich eine „alternative Suchmaschine“? –  Jede Suchmaschine außer Google? à „Google Killer“, Cuil† –  Suchmaschinen, die grundlegend dasselbe machen wie Google? à Bing –  Suchmaschinen, die sich durch regionale Kompetenz abheben? à Seekport† –  Suchmaschinen, die neue/alternative Ansätze zur Erschließung und Durchsuchbarmachung des Web verfolgen? •  Keine Alternative: „Suchmaschinen“, die Ergebnisse einer anderen Suchmaschine anzeigen.
  • 21.
    Beziehungsgeflecht der Suchmaschinen(Deutschland) Lewandowski, D. (2015). Suchmaschinen verstehen. Berlin Heidelberg: Springer Vieweg. S. 158)
  • 22.
    Das Partnerindex-Modell hatden Suchmaschinenmarkt ausgedünnt •  Geschäftsmodell Partnerindices –  Eine Suchmaschine mit eigenem Index stellt ihre Ergebnisse und ihre Textanzeigen dem Partner zur Verfügung –  Das mit den Werbeklicks verdiente Geld wird nach einem vorher festgelegten Schlüssel zwischen Suchmaschine und Partner aufgeteilt •  Attraktivität des Modells –  Minimale zusätzliche Kosten pro Anfrage für die gebende Suchmaschine –  Enorme Kostenersparnis für die nehmende Suchmaschine (Betrieb einer eigenen Suchmaschine entfällt) –  Ergebnis: Ausdünnung des Suchmaschinenmarkts
  • 23.
    •  Suchmaschinen-Indexe aktuell – Google –  Bing –  Yandex –  Baidu •  Eingestellte Suchmachinen- Indexe (seit 2009) –  Yahoo –  Ask –  Cuil •  Neue Suchmaschinen-Indexe –  Blekko –  Duck Duck Go •  Web-Indexe für Analysezwecke (Beispiel) –  Moz –  OpenCrawl Überblick Web-Indexe Auswahl
  • 24.
    Bias der Suchmaschinen • Drei Ebenen von Suchmaschinen-Bias (Weber, 2011) –  Implementierung der Suchmaschine –  Verhalten der Anbieter von Inhalten –  Nutzung von Suchmaschinen à  Eine „verzerrungsfreie“ Suchmaschine kann es nicht geben •  Verzerrungen werden zum Problem durch die Kombination von •  Dominanz des Modells „algorithmische Web-Suchmaschine“ •  Dominanz von Google in diesem Bereich •  Nutzerverhalten
  • 25.
    Warum brauchen wirmehr als eine Suchmaschine? •  Meinungsvielfalt •  Wahl zwischen verschiedenen (algorithmischen) Sichten auf die Welt •  Ideologiefreie Suchmaschinen sind nicht möglich
  • 26.
  • 27.
    Lösungsvorschläge 1.  Der Marktwird‘s richten 2.  Google zu fairer Ergebnisanzeige verpflichten 3.  Google zerschlagen 4.  Eine alternative Suchmaschine aufbauen 5.  Google zwingen, seinen Index zu öffnen 6.  Web-Index als Infrastrukturmaßnahme
  • 28.
    Die “lokale Kopie”des Web Risvik, K. M., & Michelsen, R. (2002). Search engines and web dynamics. Computer Networks, 39(3), 289–302.
  • 29.
    Entkopplung von Indexund Diensten Risvik, K. M., & Michelsen, R. (2002). Search engines and web dynamics. Computer Networks, 39(3), 289–302. Infrastruktur (öffentlich) Dienste (Eigeninitiative)
  • 30.
    Ein offener Web-Indexschafft die Voraussetzungen für die Informationsautonomie der europäischen Wirtschaft und Gesellschaft •  „Ein für alle zu fairen Konditionen zugänglicher Index des Web“ –  „Für alle“ meint, dass jeder Interessierte auf diesen Index zugreifen kann. –  „Faire Bedingungen“ bedeutet nicht unbedingt kostenlos, sondern kann auch ein faires Bezahlmodell vorsehen. –  Unter „zugänglich“ ist zu verstehen, dass der Index leicht automatisch abgefragt werden kann. Weiterhin sollte tatsächlich alles im Index enthaltene auch abfragbar sein. –  Und „Index des Web“ meint schließlich möglichst alle Inhalte des Web (und ggf. darüber hinaus).
  • 31.
    Finanzierung •  Finanzierung –  Aufgrundder immensen Kosten kann ein solcher Index nur auf europäischer Ebene geschaffen werden. •  Wer kann einen solchen Index betreiben? –  Bestehende Forschungseinrichtung oder eine neu zu gründende Einrichtung –  Der Betreiber des Index darf nicht allein über die Art der Erschließung der Dokumente und ihre Verfügbarmachung bestimmen. à Kuratorium aus (potentiellen) Anwendern
  • 32.
    Die Initiative „OpenWeb Index“ (OWI)
  • 33.
    Beteiligte •  Sprecher –  Dr.Wolfgang Sander-Beuermann, Suma e.V. –  Prof. Dr. Dirk Lewandowski, Hochschule für Angewandte Wissenschaften Hamburg •  Beteiligte –  Wissenschaft –  Industrie (Deutsche Telekom, 1&1) –  Informationsinfrastruktureinrichtungen –  Public Relations
  • 34.
    Arbeiten •  Konzeptpapier „AnOpen Web Index for Europe“ •  Vernetzung von Interessierten aus unterschiedlichen Bereichen •  Workshops und Veranstaltungen •  Lobbyarbeit •  Website: www.openwebindex.eu
  • 35.
  • 36.
    #1 Das „Google-Problem“ wurde(endlich) erkannt. Wir sprechen nun über mögliche Lösungen.
  • 37.
    #2 Eine konstruktiveLösung ist einer destruktiven vorzuziehen.
  • 38.
    #3 Frei zugängliches Wissenist die Quelle von kontinuierlichem Wettbewerb, Innovation und Unternehmertum auf der einen und persönlicher und Meinungsfreiheit auf der anderen Seite. Der Open Web Index schafft dafür die Voraussetzung.
  • 39.
    #4 Diese Aufgabe istmit Infrastrukturaufgaben des Staates zu vergleichen – in Bezug auf die Sammlung und Verfügbarmachung von Wissen ist vor allem der Vergleich mit den Bibliotheken zu ziehen.
  • 40.
    Vielen Dank fürIhre Aufmerksamkeit Prof. Dr. Dirk Lewandowski Hochschule für Angewandte Wissenschaften Hamburg, Department Information dirk.lewandowski@haw-hamburg.de Website: www.searchstudies.org