Philip Ehring und Olaf Kopp nehmen Euch in diesem Deep Dive mit auf die Reise in die Welt moderner Suchmaschinen. Auf der Basis wissenschaftlicher Theorien und Google-Patenten wird erklärt wie Google heute funktionieren kann und zukünftig immer mehr funktionieren wird. Zudem gibt Euch Philip aus der Data Science Perspektive Einblicke zum Thema moderner Text-Embeddings (z.B. BERT) und wie entsprechende Systeme in der Praxis innerhalb der Otto-Gruppe eingesetzt werden.

1. Entitäten basierte Suche
SEOcampixx 2020
„Knowledge Graph, Knowledge
Vault, Hummingbird & BERT
sind die zentralen Bestandteile
für die Google-Suche. Entitäten
sind das verbindende Element.“

2. Freebase
Google kauft Freebase
2010

3. Die wichtigsten Google Updates
… der letzten 10 Jahre
2012

4. Die wichtigsten Google Updates
… der letzten 10 Jahre
2013

5. Die wichtigsten Google Updates
… der letzten 10 Jahre
2014???

6. Die wichtigsten Google Updates
… der letzten 10 Jahre
2015

7. Die wichtigsten Google Updates
… der letzten 10 Jahre
2019

8. Machine Learning in der Suche
Google Engagement in Sachen Machine Learning
2011:
Start von
„Google
Brain“
2014:
Kauf von Deep
Mind, Dark
Blue Labs &
Vision Factory
2015:
Einführung
Rankbrain &
Vorstellung
Quanten-
Computer
2019:
Einführung
„BERT“

9. Rolle: Machine Learning Specialist
Ausbildung: Fachangestellter für Medien- und
Informationsdienste Bibliothek
Studium: Informationsmanagement
Team: DeepSense – Text Mining Foundation
Themenbereiche:
• Natural Language Processing & Text Mining
• Information Retrieval
• Semantik
• Suchmaschinenoptimierung
• Web Scraping

10. Hallo! Mein Entitätsname ist Olaf Kopp
Attributs- Wert-Paare sind …
• Firma: Aufgesang
• Rolle 1: Co-Founder
• Beruf: Head of SEO /
CBDO
• Rolle 2: Blogger
• Rolle 3: Autor
• Rolle 4: Podcaster
• Rolle 5: SEAcamp
Mitveranstalter

11. Olaf Kopp, Co-Founder, Head of SEO, CBDO
Mein thematischer Kontext
• Content-Marketing
• Customer Journey
Management
• Digitaler
Markenaufbau
• Semantische SEO
• Content SEO
• Online-Marketing-
Strategien
• Leadership

12. Mein Engagement & Projekte
Online Marketer| Unternehmer | Autor | Podcaster | Mitveranstalter

13. Aufgesang GmbH
Agentur für digitale Marketing-Kommunikation
Retargeting
Public
Relations
Strategieentwicklung
Workshops
Marketing-
Automation
Content-Marketing
Lead Management
PPC-Werbung
Monitoring
Social-Media-
Marketing SEO & SEA

14. Worum geht es heute?
Erster Teil
1. Die wichtigsten Google Updates der letzten zehn Jahre
2. Wie funktioniert Google heute und zukünftig?
3. Was sind Entitäten und wie sind sie organisiert?
4. Wie ist der Google Knowledge Graph aufgebaut?
5. Wie funktioniert das Data Mining für den Knowledge Graph und den Knowledge
Vault?
Zweiter Teil:
1. Welche Rolle spielt Natural Language Processing (BERT) für die semantische Suche?
2. Was ist Kontext?
3. Wie funktioniert Natural Language Processing?
4. Wie funktionieren Word Embeddings?
5. Wie arbeitet Otto damit?
6. Welche Rolle spielen Entitäten für das Ranking?
7. Welche Rolle spielen Entitäten für E-A-T?
8. Was können SEOs daraus lernen?

15. Seit 2013 Forscher & Pionier zu …
Entitäten, Knowledge Graph, Natural Language Processing, E-A-T & Digitaler
Markenaufbau
• Über 6 Jahre Recherche in Sachen
Semantische Suche
• Über 80 aktive Google Patente aus
den letzten 7-8 Jahren

16. Wie funktioniert Google heute?
Information Retrieval & Scoring
Index
Bilder
Ne
ws
Büch
er
Dokumen
te
Video
s
Flüg
e
Knowledge
Graph
Query-Processor
(Rankbrain & BERT)
Enti
tät
Enti
tät
Enti
tät Enti
tät
Enti
tät
Enti
tät
Entität ?
Entitäten-
Schnittstelle
Scoring-Engine
(Hummingbird)
Personalisierung
Suchintention &
Semantische
Interpretation
Cleaning-Engine
Scoring &
Sortierung
(Dokument)
© Olaf Kopp, Aufgesang GmbH

17. Knowledge Graph
Aufbau
Quelle: Entity Oriented Search, Krisztian Balog

18. Knowledge Graph
Aufbau
Entität
(Knoten)
Entität
(Knoten)
Entität
(Knoten)
Entität
(Knoten)
Entität
(Knoten)
Entität
(Knoten)

19. Knowledge Graph
Informationen sind in Form von strukturierten Daten gespeichert

20. Semantisch Suche in der Praxis

21. Semantische Suche in der Praxis
Beziehungen zwischen Entitäten
Bundes-
präsident
Deutschland
Frank Walter
Steinmeier

22. Semantische Suche in der Praxis
Verknüpfung verschiedener Suchanfragen

23. Semantische Suche in der Praxis
Verknüpfung verschiedener Suchanfragen

24. Semantische Suche in der Praxis
Verknüpfung verschiedener Suchanfragen

25. Semantische Suche in der Praxis
Verknüpfung verschiedener Suchanfragen

26. Semantische Suche in der Praxis
Verknüpfung verschiedener Suchanfragen

27. Entitäten beim Search Query Processing
Test im eingeloggten Zustand. Erste Suchanfrage

28. Entitäten beim Search Query Processing
Test im eingeloggten Zustand. Zweite Suchanfrage

29. Entitäten beim Search Query Processing
Test im eingeloggten Zustand. Dritte Suchanfrage

30. Entitäten beim Search Query Processing
Neue SERPS, durch neuen Kontext

31. Semantische Suche in der Praxis
Verknüpfung verschiedener Suchanfragen
Quelle: Identifying teachable moments for contextual search,
US20190026338A1
“Methods, systems, and apparatus,
including computer programs encoded on a
computer storage medium, for receiving a
series of queries provided from a user
device, the series of queries including two
or more queries, obtaining a query pattern
of the series of queries based on one or
more entities and one or more aspects
associated with the two or more queries,
….“

32. Entitäten
Die Hauptaufgaben von Entitäten in der Suche
• Zentrales Organisations-Element
• Interpretation von Suchanfragen
• Kategorisierung auf Dokumentenebene
• Bewertung auf Domainebene bzw. Verfasser-Ebene
• Ausgabe einer Ad hoc Antwort in Form eines Knowledge Panel, Featured
Snippet …

33. ENTITÄTEN
Benannte Entitäten und Konzepte
Benannte Entitäten:
• Personen
• Unternehmen
• Tiere
• Bauwerke
• Städte/Orte
• Bücher
• Filme
• Veranstaltungen
• …
Konzepte:
• Emotionen
• Friede
• Entfernung
• Wetter
• Thema
• Website
• ….

34. Entitäten Boxen (Knowledge Panel)

35. Knowledge Panel = Entitäten-Boxen
Entitäts-Typ: Person

36. Knowledge Panel
Entitäts-Typ: Film & Computerspiel

37. Knowledge Panel
Entitäts-Typ: Buch & Mannschaft

38. MyBusiness Box
Lokale Unternehmens-Entitäten

39. Knowledge Panel
Google Patent
Die grundsätzliche Funktionsweise bei der Auslieferung
eines Knowledge Panel:
1. Identifikation einer oder mehrerer relevanter
Entitäten in der Suchanfrage
2. Identifikation von relevanten Quellen zur
Hauptentität
3. Erstellung relevanter Suchergebnisse bezüglich der
Suchanfrage
4. Prüfung ob die Suchanfrage sich wirklich auf die
tatsächliche Hauptentität bezieht
5. Ermittlung eines Entitätstyps für die nachgefragte
Hauptentität
6. Auswahl eines geeigneten Knowledge Panel
Templates passend zum ermittelten Entitätstyp
7. Ermittlung von relevanten Content-Elements
bezüglich der Hauptentität aus einer relevanten
und vertrauenswürdigen Quelle.
8. Ermittlung eines eines weiteren Content-Elements
aus einer weiteren Quelle.
9. Auffüllen der Platzhalter im ausgewählten
Knowledge Panel Template mit den ausgewählten
Content-Elementen.
10. Zusammenführen von Suchergebnissen und
Knowledge Panel auf einer Suchergebnisseite
Quelle: Providing knowledge panels with search results, US9268820B2

40. Knowledge Panel & Knowledge Cards
Google Patente
Durch die Analyse von Suchanfragen
können die am häufigsten angeforderten
Informationen für eine bestimmte Entität
identifiziert werden. Wenn dann ein
Benutzer eine Abfrage sendet, die sich
auf die bestimmte Entität bezieht,
können die am häufigsten angeforderten
Informationen als Antwort auf die
Abfrage in einem Panel bereitgestellt
werden.
Quelle: Identifying and ranking attributes of entities, US9047278B1

41. Knowledge Cards
Stellen gesuchte Informationen / Attribute zu Entitäten dar

42. Entitäten
Aufbau

43. Entitäts-Typ
Hierarchien zwischen Entitäts-Hautp- & -Sub-Typen & Entitäten-Domains
Auszug aus DBpedia Ontology; Quelle: Entity-Oriented Search – Krisztian Balog

44. Entitäts-Typ
Jeder Entitäts-Typ hat ein Set an möglichen Attributen und in Beziehung
stehenden Entitäten (siehe schema.org)

45. Entitäts-Typ
Kriterien für die in den SERPs angezeigten Attribute
• Häufigkeit der Kookkurrenzen aus Typ bzw. Entität + Attribut bei Suchanfragen
Quelle: Identifying and ranking attributes of entities, US9047278B1

46. Entitäts-Typ
Zuordnung einer Entität in eine Typen-Klasse
• Sobald eine Entität einen Schwellenwert von für eine Typen-Klasse
charakteristischen Schlüssel-Attribute erreicht kann diese dieser zugeordnet
werden.
Quelle: Object categorization for information extraction, US20070203868A1

47. Entitäts-Typ
Suchanfragen bezüglich Entitäts-Typen

48. Entitäts-Typ
Suchanfragen bezüglich Entitäts-Typen

49. Entitäten
Entitätsnamen und ID

50. Entitäten
Entitätstypen

51. Entitäten
Attribute

52. Entitäten und E-A-T
Entitäten-Relevanz für Personen über Vision API

53. Entitäten und E-A-T
Entitäten-Relevanz für Personen über Vision API

54. Entitäten und E-A-T
Entitäten-Relevanz für Personen über Vision API

55. Entitäten und E-A-T
Entitäten-Relevanz für Unternehmens-Logos über Vision API

56. Entitäten und E-A-T
Entitäten-Relevanz für Unternehmens-Logos über Vision API

57. Anspruch an eine Wissens-Datenbank
Vollständigkeit via Data Mining

58. Data Mining
Prozess
Identifikation
potentieller
Entitäten
(Named Entity
Recognition)
Extrahierung
von
semantischen
Klassen und
Typen
Extrahierung
der
Beziehungen
zwischen den
Entitäten

59. Data Mining
Datenquellen für den Knowledge Graph

60. Data Mining
Datenquellen: Strukturiert vs. unstrukturiert
Strukturiert & Semistrukturiert
+ Richtigkeit
+ Funktionale Einfachheit
- Abhängigkeit
- Vollständigkeit
- Nur bedingt skalierbar
Unstrukturiert
+ Vollständigkeit
+ Aktualität
+ Skalierbarkeit
- Richtigkeit
- Funktionale Komplexität
- Fehleranfällig

61. Data Mining
Search Profile Cards

62. Data Mining
Aus strukturierten Daten
Beispiel für eine strukturierte Datenquellen sind Freebase, Wikidata, Google my
Business, CIA World Factbook, Datensets wie z.B. Common Crawl.

63. Data Mining
… aus semistrukturierten Daten (z.B. Wikipedia)

64. Data Mining
Attribute sammeln mit Wikipedia als Startpunkt
Quelle: Google Patent Unsupervised extraction of facts, US9558186B2
Wikipedia-Beiträge werden als Seed-Dokumente genutzt um erste Attributs-Wert-Paare und
Entitäts-Typen für einzelne Entitäten zu extrahieren. Danach können weitere Informationen aus
anderen unstrukturierten Dokumenten zu der jeweiligen Entität gewonnen werden.

65. Data Mining
Wikipedia verfügt über die meisten Typen-Klassen
Quelle: Entity Oriented Search von Krisztian Balog

66. Data Mining
Geschlossene vs. Offene Extrahierung
Geschlossene Extrahierung
Entitäten sind bereits
erfasst, werden nur durch
neue Attribute, Beziehungen
… ergänzt.
Offene Extrahierung
Entitäten müssen nicht
bekannt/erfasst sein Auch
neue (Tail-)Entitäten können
identifiziert und erfasst
werden.
2013 bis heute zukünftig

67. Data Mining
Problem: Zu wenig strukturiert erfasste Entitäten, Attribute und Beziehungen

68. Data Mining
Problem: Zu wenig strukturiert erfasste Entitäten, Attribute und Beziehungen
Quelle: https://cikm2013.org/slides/kevin.pdf

69. Data Mining
Knowledge Vault
Quelle: https://cikm2013.org/slides/kevin.pdf

70. Data Mining
Knowledge Vault
Data Mining
bei Google
Knowledge
Graph
Entitäten-
SchnittstelleIndex
Bilder
News
Bücher
Websites
VideosApps
Crawler
© Olaf Kopp, Aufgesang GmbH
Manuell validierte & strukturierte Daten
Scholar
zukünftig

71. Data Mining
Knowledge Vault
Data Mining
bei Google
Knowledge
Graph
Entitäten-
SchnittstelleIndex
Bilder
News
Bücher
Websites
VideosApps
Crawler
© Olaf Kopp, Aufgesang GmbH
Data Mining via
NLP(BERT)
• Entität ?
• Urheber ?
• Beziehung ?
• Attribut ?
• Entitätstyp?
Labeler
• Labels
• Anntotationen
Manuell validierte & strukturierte Daten
Scholar

72. Data Mining
Anspruch an einen Knowledge Graph
Vollständigkeit
vs.
Richtigkeit

73. Data Mining
Vollständigkeit
So viele Informationen wie möglich in Form von
• Entitäten
• Attributen und Werten
• Beziehungen
• Entitäts-Typen & Entitäten-Domains
• …

74. Anspruch an eine Wissens-Datenbank
Die große Herausforderung Richtigkeit

75. Anspruch an eine Wissens-Datenbank
Richtigkeit

76. Data Mining
Supervised Machine Learning
Wikipedianer,
Webmaster …

77. Data Mining
Knowledge Vault
(nicht validierte
Daten)
Data Mining
Fehlende Validität ist der Hauptgrund dafür, dass der KG nur langsam wächst
Knowledge
Graph
(validierte
Daten)
Entitäten-
SchnittstelleIndex
Bilder
News
Bücher
Websites
VideosApps
Crawler
© Olaf Kopp, Aufgesang GmbH
Manuell validierte & strukturierte Daten
Scholar

78. Data Mining
Knowledge Vault
Data Mining
Machine Learning erhöht Skalierbarkeit des Data Minings exponentiell
Knowledge
Graph
Machine
LearningIndex
Bilder
News
Bücher
Websites
VideosApps
Crawler
© Olaf Kopp, Aufgesang GmbH
Manuell validierte & strukturierte Daten
Scholar

79. Data Mining via Machine Learning & NLP
Trainingsdaten aus u.a. Books, Wikipedia Knowledge Graph
Quelle: https://www.cbc.ca/radio/q/blog/are-bert-and-ernie-a-gay-couple-finally-the-answer-1.4828952

80. Data Mining via Machine Learning & NLP
Trainingsdaten aus u.a. Books, Wikipedia Knowledge Graph

81. Data Mining
Unsupervised Machine Learning

82. Anspruch an eine Wissens-Datenbank
Häufigkeit als Proof für Validität
Erreicht die Häufigkeit eines Attribut-Werte-Paares aus bestimmten
Datenquellen einen gewissen Schwellenwert ist die Aussage valide.
Quelle: Attribute-value extraction from structured documents, US8645391B1

83. Data Mining
Machine Learning
Die Fortschritte im Machine
Learning machen Methoden wie
Natural Language Processing und
Vektorraumanalysen für Google
immer performanter und skalierbarer in
der Praxis anwendbar, was die
Interpretation von Entitäten,
Suchanfragen und Inhalten sowie deren
Ranking immer besser möglich macht.

84. Data Mining
Via NLP über Wortbeziehungen
Subjekt ---------- Prädikat ----------- Objekt
Triple

85. Entitäten
Über Triples lassen sich nicht in der Query erwähnte Entitäten identifzieren

86. Data Mining
aus unstrukturierten Daten (Google Patente)
Quelle: Automatic discovery of new entities using graph reconciliation, US10331706
Quelle: Computerized Systems and Methods for Extracting and Storing Information regarding Entities ,
US10198491B1

87. Danke!
Fragen?
Olaf Kopp
Co-Founder / CBDO / Head of SEO
Aufgesang GmbH
kopp@aufgesang.de
Ihr findet mich bei:
www.xing.com/profile/Olaf_Kopp/
www.linkedin.com/in/olafkopp/
www.instagram.com/olaf_kopp/
twitter.com/olaf_kopp
www.facebook.com/olaf.kopp
www.amazon.de/Olaf-Kopp/e/B00BEQGURG
www.termfrequenz.de/moderatoren/olaf-
kopp/