Semantische Suche
                            am Beispiel audiovisueller Daten

                            Dr. Harald Sac...
0. Kurzvorstellung
2
            Dr. Harald Sack
               ■ Promotion Uni Trier, 2002: formale Verifikation
        ...
0. Kurzvorstellung
3




            Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam
Donnerstag, 11. Juni 2009
Semantische Suche
4
            1. Schlüsselwort-basierte Suche
                  1.1 klassisches Information Retrieval
  ...
1. Schlüsselwort-basierte Suche
            1.1 Klassisches Information Retrieval

5

                                    ...
1. Schlüsselwort-basierte Suche
            1.1 Klassisches Information Retrieval

6

                                    ...
1. Schlüsselwort-basierte Suche
            1.1 Klassisches Information Retrieval

7
            Information Retrieval Mod...
1. Schlüsselwort-basierte Suche
            1.1 Klassisches Information Retrieval

8
            Information Retrieval Mod...
1. Schlüsselwort-basierte Suche
            1.1 Klassisches Information Retrieval

9
            Information Retrieval Mod...
1. Schlüsselwort-basierte Suche
            1.1 Klassisches Information Retrieval

10          Information Retrieval Model...
1. Schlüsselwort-basierte Suche
            1.1 Klassisches Information Retrieval

11          Evaluation von Information ...
Semantische Suche
12
            1. Schlüsselwort-basierte Suche
                  1.1 klassisches Information Retrieval
 ...
1. Schlüsselwort-basierte Suche
            1.2 Suchmaschinen im World Wide Web

13


               • World Wide Web ist ...
1. Schlüsselwort-basierte Suche
            1.2 Suchmaschinen im World Wide Web

14
             Web-Crawler (Web Robot)

...
1. Schlüsselwort-basierte Suche
            1.2 Suchmaschinen im World Wide Web

15
            Vorverarbeitung und Indexi...
1. Schlüsselwort-basierte Suche
            1.2 Suchmaschinen im World Wide Web

16
            Effiziente Indexdatenstruk...
1. Schlüsselwort-basierte Suche
            1.2 Suchmaschinen im World Wide Web

17
            Relevanzbewertung (Ranking...
1. Schlüsselwort-basierte Suche
            1.2 Suchmaschinen im World Wide Web

18
            Das ,Google Paradigma‘



...
1. Schlüsselwort-basierte Suche
            1.2 Suchmaschinen im World Wide Web

19
            Das ,Google Paradigma‘



...
1. Schlüsselwort-basierte Suche
            1.2 Suchmaschinen im World Wide Web

20
            Das ,Google Paradigma‘



...
Semantische Suche
21
            1. Schlüsselwort-basierte Suche
                  1.1 klassisches Information Retrieval
 ...
1. Schlüsselwort-basierte Suche
            1.3 Probleme aktueller WWW-Suchmaschinen

22
            Das WWW ist ,ziemlich...
1. Schlüsselwort-basierte Suche
            1.3 Probleme aktueller WWW-Suchmaschinen

23
           Problemfeld 1: Informa...
1. Schlüsselwort-basierte Suche
            1.3 Probleme aktueller WWW-Suchmaschinen

24
           Problemfeld 2: Informa...
Semantische Suche
25
            1. Schlüsselwort-basierte Suche
                  1.1 klassisches Information Retrieval
 ...
2. Suche in audiovisuellen Daten
            2.1 allgemeine Problematik

26
             Wie findet man etwas in einem aud...
2. Suche in audiovisuellen Daten
            2.1 allgemeine Problematik

27           Retrieval in Audiovisuellen (zeitabh...
2. Suche in audiovisuellen Daten
            2.1 allgemeine Problematik

28           Retrieval in Audiovisuellen (zeitabh...
Semantische Suche
29
            1. Schlüsselwort-basierte Suche
                  1.1 klassisches Information Retrieval
 ...
2. Suche in audiovisuellen Daten
            2.1 Automatisierte Analyse und Metadatengewinnung

30           Videosuchmasc...
2. Suche in audiovisuellen Daten
            2.1 Automatisierte Analyse und Metadatengewinnung

31           Automatische ...
2. Suche in audiovisuellen Daten
            2.1 Automatisierte Analyse und Metadatengewinnung

32           Videosegmenti...
2. Suche in audiovisuellen Daten
            2.1 Automatisierte Analyse und Metadatengewinnung

33           Szenenerkennu...
2. Suche in audiovisuellen Daten
            2.1 Automatisierte Analyse und Metadatengewinnung

34          Keyframe Extra...
Semantische Suche
35
            1. Schlüsselwort-basierte Suche
                  1.1 klassisches Information Retrieval
 ...
2. Suche in audiovisuellen Daten
            2.2 yovisto.com - Akademische Videosuche

36
            yovisto.com
        ...
2. Suche in audiovisuellen Daten
            2.2 yovisto.com - Akademische Videosuche

37
            yovisto.com - Arbeit...
2. Suche in audiovisuellen Daten
            2.2 yovisto.com - Akademische Videosuche

38
            Strukturelle (tempor...
2. Suche in audiovisuellen Daten
            2.2 yovisto.com - Akademische Videosuche

39
            Inhaltsbezogene Vide...
2. Suche in audiovisuellen Daten
            2.2 yovisto.com - Akademische Videosuche

40
           Metadatengewinnung

 ...
2. Suche in audiovisuellen Daten
            2.2 yovisto.com - Akademische Videosuche

41
            Benutzergenerierte M...
2. Suche in audiovisuellen Daten
            2.2 yovisto.com - Akademische Videosuche

42
            Kollaborative Annota...
2. Suche in audiovisuellen Daten
            2.2 yovisto.com - Akademische Videosuche

43           Kollaborative Annotati...
2. Suche in audiovisuellen Daten
            2.2 yovisto.com - Akademische Videosuche

44
            Temporale Annotation...
2. Suche in audiovisuellen Daten
            2.2 yovisto.com - Akademische Videosuche

45
            Spatiale Annotation
...
2. Suche in audiovisuellen Daten
            2.2 yovisto.com - Akademische Videosuche

46
            MPEG-7 Metadata Desc...
2. Suche in audiovisuellen Daten
            2.2 yovisto.com - Akademische Videosuche

47
            Facettierte Suche
  ...
2. Suche in audiovisuellen Daten
            2.2 yovisto.com - Akademische Videosuche

48
            Facettierte Suche
  ...
Semantische Suche
49
            1. Schlüsselwort-basierte Suche
                  1.1 klassisches Information Retrieval
 ...
3. Semantische Suche
            3.1 Semantic Web Technologie

50
            Die ursprüngliche Vision des World Wide Web
...
3. Semantische Suche
            3.1 Semantic Web Technologie

51
            Inhalte im Web maschinell „verstehen“
      ...
3. Semantische Suche
            3.1 Semantic Web Technologie

52
            Inhalte im Web maschinell „verstehen“
      ...
3. Semantische Suche
            3.1 Semantic Web Technologie

53
            Ontologien als Wissensrepräsentation
       ...
3. Semantische Suche
            3.1 Semantic Web Technologie

54
            Ontologien als Wissensrepräsentation

      ...
3. Semantische Suche
            3.1 Semantic Web Technologie

55
            Das Semantic Web - Datenzentrierte Verarbeit...
3. Semantische Suche
            3.1 Semantic Web Technologie

56
               Das Semantic Web - Architektur
          ...
3. Semantische Suche
            3.1 Semantic Web Technologie

57
            Inhalte im Semantic Web                     ...
3. Semantische Suche
            3.1 Semantic Web Technologie

58
               Linked Data - Datenzentrierte Verarbeitun...
3. Semantische Suche
            3.1 Semantic Web Technologie

59
            Linked Data Mashups
            □ Linked Dat...
Semantische Suche
60
            1. Schlüsselwort-basierte Suche
                  1.1 klassisches Information Retrieval
 ...
3. Semantische Suche
            3.2 Semantisch unterstütztes Information Retrieval

61
            Semantisch unterstützt...
3. Semantische Suche
            3.2 Semantisch unterstütztes Information Retrieval

62
            Erweiterung der Sucher...
3. Semantische Suche
            3.2 Semantisch unterstütztes Information Retrieval

63
            Präzisierung der Suche...
3. Semantische Suche
            3.2 Semantisch unterstütztes Information Retrieval

64
            Herleitung impliziter ...
3. Semantische Suche
            3.2 Semantisch unterstütztes Information Retrieval

65
            Herstellung von Querve...
3. Semantische Suche
            3.2 Semantisch unterstütztes Information Retrieval

66
            Explorative Suche
    ...
3. Semantische Suche
            3.2 Semantisch unterstütztes Information Retrieval

67
            Implementierung einer ...
3. Semantische Suche
            3.2 Semantisch unterstütztes Information Retrieval

68
            Implementierung einer ...
5. Explorative Suche

69




            Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam
Donnerstag, 11. Juni ...
Semantische Suche
70
            1. Schlüsselwort-basierte Suche
                  1.1 klassisches Information Retrieval
 ...
3. Semantische Suche
            3.3 Semantische Suche in audiovisuellen Daten

71
            Semantische Videoanalyse
  ...
3. Semantische Suche
            3.3 Semantische Suche in audiovisuellen Daten

72
            Semantische Annotation
    ...
3. Semantische Suche
            3.3 Semantische Suche in audiovisuellen Daten

73
            Semantische Annotationen
  ...
3. Semantische Suche
            3.3 Semantische Suche in audiovisuellen Daten

74
            Semantische Annotationen
  ...
3. Semantische Suche
            3.3 Semantische Suche in audiovisuellen Daten

75
            Semantische Annotationen
  ...
3. Semantische Suche
            3.3 Semantische Suche in audiovisuellen Daten

76
            Explorative Suche - ein ein...
3. Semantische Suche
            3.3 Semantische Suche in audiovisuellen Daten

77
            Explorative Suche - ein ein...
3. Semantische Suche
            3.3 Semantische Suche in audiovisuellen Daten

78
            Explorative Suche - ein ein...
3. Semantische Suche
            3.3 Semantische Suche in audiovisuellen Daten

79
            Explorative Suche - ein ein...
3. Semantische Suche
            3.3 Semantische Suche in audiovisuellen Daten

80
            Explorative Suche - ein ein...
3. Semantische Suche
            3.3 Semantische Suche in audiovisuellen Daten

81




                                   ...
Semantische Suche
82
            1. Schlüsselwort-basierte Suche
                  1.1 klassisches Information Retrieval
 ...
Nächste SlideShare
Wird geladen in …5
×

Semantische Suche

4.264 Aufrufe

Veröffentlicht am

Traditionelle Suchmaschinen stoßen im World Wide Web heute schnell an ihre Grenzen. Zum Einen erhält der Benutzer auf eine Suchanfrage hin oft Listen mit Millionen von Dokumenten zurück, von denen er meist nur die er-sten Seiten in Augenschein nimmt, so dass eine Beurteilung der Vollständig-keit des Suchergebnisses nicht mehr möglich ist. Zum Anderen enthält diese Vielzahl von Ergebnissen zahlreiche nicht relevante Informationen, die durch die Mehrdeutigkeit von Suchbegriffen bzw. auch durch deren Nutzung in un-terschiedlichem Kontext und Pragmatik verursacht werden. Wünschenswert wären demnach sowohl eine höhere Treffgenauigkeit und damit Qualität der erzielten Suchergebnisse sowie ein besserer Überblick über die Suchergebnis-se einerseits und über den gesamten Suchraum andererseits. Abhilfe ver-spricht eine semantische Suche, die sich am tatsächlichen Inhalt und der Bedeutung des Inhalts der durchsuchten Dokumente orientiert, anstatt wie heute üblich am Vergleich von Zeichenketten, wobei Kontext und Pragmatik berücksichtigt werden müssen. Im Semantic Web wird die Bedeutung natür-lichsprachlicher und multimedialer Dokumente mit Hilfe geeigneter Wissens-repräsentationen explizit gemacht. Werden diese Wissensrepräsentationen in den Suchprozess integriert, eröffnen sich neue Möglichkeiten, die Qualität der erzielten Suchergebnisse zu verbessern und speziell an die Bedürfnisse des Benutzers anzupassen. Inhaltliche Zusammenhänge zwischen einzelnen Do-kumenten können explizit gemacht werden und erlauben über Klassifikatio-nen und Kategorisierungen neue Wege der Visualisierung des Such- und Er-gebnisraumes hin zu einer explorativen Suche, die es dem Benutzer gestat-tet, die Suchergebnisse und damit im Zusammenhang stehende Informatio-nen und Dokumente zu erforschen und zu erfahren. Diese neuen Möglichkei-ten der semantischen Suche werden am Beispiel der Videosuchmaschine yovisto.com dargestellt.

Veröffentlicht in: Technologie, Bildung
0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
4.264
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
108
Aktionen
Geteilt
0
Downloads
70
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Semantische Suche

  1. 1. Semantische Suche am Beispiel audiovisueller Daten Dr. Harald Sack Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam 11. Juni 2009 Donnerstag, 11. Juni 2009
  2. 2. 0. Kurzvorstellung 2 Dr. Harald Sack ■ Promotion Uni Trier, 2002: formale Verifikation ■ 2002-2008: PostDoc FSU Jena ■ 2007-2009: Gastwissenschaftler am HPI ■ seit 1.1.2009: Senior Researcher am HPI ■ Forschungsschwerpunkte: □ Semantic Web Technologien □ Multimedia Retrieval ■ Videosuchmaschine yovisto.com Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  3. 3. 0. Kurzvorstellung 3 Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  4. 4. Semantische Suche 4 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  5. 5. 1. Schlüsselwort-basierte Suche 1.1 Klassisches Information Retrieval 5 similarity information Anfrage- Indexierung files of records requests formulierung Menge von Anfragen Indexierungs- Menge von Dokumenten sprache “Information-Retrieval Systems • process files of records and requests for information, and • identify and retrieve from the files certain records in response to the information requests. • The retrieval of particular records depends on the similarity between the records and the queries, which in turn is • measured by comparing the values of certain attributes to records and information requests.” (nach Salton,G., McGill, M.J.: Introduction to Modern Information Retrieval. McGraw-Hill, New York 1983) Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  6. 6. 1. Schlüsselwort-basierte Suche 1.1 Klassisches Information Retrieval 6 Information beruht auf Retrieval mit dem Ziel Analyse/Modellierung Bereitstellen der im Objektbereich von festgelegten Informationen Wissensobjekte durch Anwendung von durch Anwendung von Suchfunktionen Verfahren der und Wissensrekonstruktion Navigationsformen Informations- Retrieval aufbereitung Interne Wissens- Ergebnisse abgelegt als repräsentationen operieren über Allgemeines Modell des Information Retrieval nach [Kuhlen 1995] Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  7. 7. 1. Schlüsselwort-basierte Suche 1.1 Klassisches Information Retrieval 7 Information Retrieval Modelle • Boolean Retrieval • Vector Space Model A B • Probabilistic Model C (A ∧ ¬B) ∧ C • verwendet Aussagenlogik als Retrievalsprache • erlaubt Selektion und Verknüpfung beliebiger Dokumentenmengen aus einer einer Dokumentenkollektion • mit Hilfe Boolescher Junktoren (Suchoperatoren) • einfache Implementierung • keine differenzierte Termgewichtung möglich • keine Rangreihenfolge der Ergebnisse (Ranking) Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  8. 8. 1. Schlüsselwort-basierte Suche 1.1 Klassisches Information Retrieval 8 Information Retrieval Modelle Bsp.: n = 3 • Boolean Retrieval Deskriptor2 Dokument = (2,4,2) Suchabfrage = (1,0,0) • Vector Space Model 4 • Probabilistic Model Dokument • Dokumente und Anfragen werden als Punkte in einem hochdimensionalen, metrischen Vektorraum repräsentiert • Zum Retrieval wird die Distanz zwischen Suchanfrage Suchanfrage- und Dokumentenvektor ρ verwendet • Relevanzbewertung (Ranking) erfolgt nach 2 Deskriptor1 der ermittelten Distanz • Differenzierte Termgewichtung möglich 2 • lineare Termanordnung im Dokument geht Deskriptor3 verloren • mangelnde semantische Sensitivität (Vokabularabhängigkeit) G. Salton, A. Wong, C. S. Yang: quot;A Vector Space Model for Automatic Indexing,quot; Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Communications of the ACM, vol. 18, nr. 11, pp. 613–620, 1975. Donnerstag, 11. Juni 2009
  9. 9. 1. Schlüsselwort-basierte Suche 1.1 Klassisches Information Retrieval 9 Information Retrieval Modelle • Boolean Retrieval • Vector Space Model • Probabilistic Model • Dokumente werden gemäß der Wahrscheinlichkeit ihrer Relevanz bzgl. der Anfrage gewichtet • IR-System schätzt die Wahrscheinlichkeit der Relevanz bzgl. einer Anfrage ab Robertson, S. E., Sparck Jones, K.: Relevance weighting of search terms. In Document Retrieval Systems, P. Willett, Ed. Taylor Graham Series In Foundations Of Information Science, vol. 3. Taylor Graham Publishing, London, UK, 143-160, 1988. Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  10. 10. 1. Schlüsselwort-basierte Suche 1.1 Klassisches Information Retrieval 10 Information Retrieval Modelle Dominik Kuropka: Modelle zur Repräsentation natürlichsprachlicher Dokumente. Ontologie-basiertes Information-Filtering und -Retrieval mit relationalen Datenbanken, Advances in Information Systems and Management Science, Bd. 10, Logos Verlag, Berlin, 2004. Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  11. 11. 1. Schlüsselwort-basierte Suche 1.1 Klassisches Information Retrieval 11 Evaluation von Information Retrieval Systemen relevante Dokumente, die gefunden wurden |R∩P| Recall= |R| R P |R∩P| Precision= |P| relevante Dokumente gefundene Dokumente Text REtrieval Conference (TREC, seit 1992) veröffentlicht jährlich Challenges in unterschiedlichen Gebieten des Information Retrievals mit zugehörigen Testdaten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  12. 12. Semantische Suche 12 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  13. 13. 1. Schlüsselwort-basierte Suche 1.2 Suchmaschinen im World Wide Web 13 • World Wide Web ist ein verteiltes Hypermediasystem • multimediale Dokumente • über Hyperlinks miteinander vernetzt • WWW-Suchmaschinen sind Information Retrieval Systeme mit folgenden Aufgaben • Erstellung und Pflege eines Indexes (Web Crawler + Indexing) • Verarbeitung von Suchabfragen (Retrieval + Ranking) • Aufbereitung der Ergebnisse (Visualisierung) Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  14. 14. 1. Schlüsselwort-basierte Suche 1.2 Suchmaschinen im World Wide Web 14 Web-Crawler (Web Robot) HTTP Request WWW-Server 2 4 http://www.xxxx.de/1234... http://www.xxxx.de/2234... http://www.xxxx.de/3234... http://www.xxxx.de/4234... <a href=“...“ .../> http://www.xxxx.de/5234... 1 http://www.xxxx.de/6234... http://www.xxxx.de/7234... <a href=“...“ .../> ... WWW-Server liefert angefragte HTML-Dokumente an den 3 Web-Crawler zurück HTML URL Liste Dokumente Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  15. 15. 1. Schlüsselwort-basierte Suche 1.2 Suchmaschinen im World Wide Web 15 Vorverarbeitung und Indexierung Datennormalisierung Wortidentifikation Datenanalyse Sprachidentifikation und Anlegen Web Crawler der Index- Word Stemming Datenstrukturen POS-Tagging Deskriptorengenerierung Indexierung Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  16. 16. 1. Schlüsselwort-basierte Suche 1.2 Suchmaschinen im World Wide Web 16 Effiziente Indexdatenstrukturen Ananas DocID Pos Frequenz Gewicht Aachen D123 1;13;77;132 4 9.4 Altavista D456 22;38 2 6.7 Ananas … … … … … D998 15 1 1.2 … Invertierte Datei Zustand Zypern Indexdatei Location List D123 Frequenz URL <H1> … <H6> <title> … text 4 1 1 0 1 … 1 D123 http://producers.ananas.org/index.htm <html> <head><title=“Ananas around the World“> </head> <body> … </body> </html> Direkte Datei Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  17. 17. 1. Schlüsselwort-basierte Suche 1.2 Suchmaschinen im World Wide Web 17 Relevanzbewertung (Ranking) • Ranking erfolgt nach Linkpopularität (Google PageRank) Ausgangssituation Iteration der PageRank Berechnung resultierender PageRank A B A B 1.0 Nr. PR(A) PR(B) PR(C) PR(D) 1.0 1.49 0,78 1 1,0 1,0 1,0 1,0 2 1,0 0,575 2,275 0,15 3 2,083 0,575 1,1912 0,15 1.0 … … … … … 1.0 1.57 0,15 n 1,49 0,7833 1,577 0,15 C D C D Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  18. 18. 1. Schlüsselwort-basierte Suche 1.2 Suchmaschinen im World Wide Web 18 Das ,Google Paradigma‘ • Eingabe einer Suchphrase • Boolesche Verknüpfung einzelner Suchbegriffe • Volltextsuche • Normalisierung ... Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  19. 19. 1. Schlüsselwort-basierte Suche 1.2 Suchmaschinen im World Wide Web 19 Das ,Google Paradigma‘ Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  20. 20. 1. Schlüsselwort-basierte Suche 1.2 Suchmaschinen im World Wide Web 20 Das ,Google Paradigma‘ • Erzeugung einer linearen (nach Relevanz gewichteten) Ergebnisliste • TFIDF / PageRank • Personalisierung (Logdatenanalyse) Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  21. 21. Semantische Suche 21 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  22. 22. 1. Schlüsselwort-basierte Suche 1.3 Probleme aktueller WWW-Suchmaschinen 22 Das WWW ist ,ziemlich groß` •ca. 25 x 109 in Suchmaschinen indizierte Dokumente (TNL Blog: Google has 24 billion items index, considers MSN search nearest competitor, September 2005) •Web Crawler: > 1012 Dokumente (The Official Google Blog: We knew the Web was Big....., Juli 25, 2008) •DeepWeb (Darkweb) schätzungsweise bis zu 550 mal größer als das Surface Web (Bergman, 2001) Probleme: • Aktualität des Suchmaschinenindex • syntaktische / semantische Inkonsistenzen im Suchmaschinenindex • Skalierbarkeit der Suchmaschinenanwendung • kann man der Information auch trauen...? Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  23. 23. 1. Schlüsselwort-basierte Suche 1.3 Probleme aktueller WWW-Suchmaschinen 23 Problemfeld 1: Informationssuche • Keyword-Suche führt zu vielen nicht relevanten Ergebnissen • Bedeutungsunterschiede • Homonyme • unterschiedlicher Kontext • Keyword-Suche findet nicht alle relevanten Ergebnisse • Synonyme • fehlende Kontextpräzisierung Suchbegriff: „Golf“ Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  24. 24. 1. Schlüsselwort-basierte Suche 1.3 Probleme aktueller WWW-Suchmaschinen 24 Problemfeld 2: Informationsextraktion bild.de • kann nur von menschlichem “Agenten“ korrekt durchgeführt und bewertet werden • heterogene Anordnung von Information • Software-Agent verfügt nicht über • Kontextwissen • Weltwissen um Informationen aus der Text-/ Bilddarstellung zu lösen • implizites Wissen, muss durch logische Schlussfolgerungen aus der Kombination vorhandener Informationen ermittelt werden Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  25. 25. Semantische Suche 25 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  26. 26. 2. Suche in audiovisuellen Daten 2.1 allgemeine Problematik 26 Wie findet man etwas in einem audiovisuellen Archiv? • Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen. Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  27. 27. 2. Suche in audiovisuellen Daten 2.1 allgemeine Problematik 27 Retrieval in Audiovisuellen (zeitabhängigen) Daten automatische inhaltliche Analyse ist • schwierig und • • berechnungs-/speicheraufwändig ???? ???? Marlene Dietrich { „...ich bin von Kopf bis Fuß...“ © Friedrich Wilhelm Murnau Stiftung, DFI Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  28. 28. 2. Suche in audiovisuellen Daten 2.1 allgemeine Problematik 28 Retrieval in Audiovisuellen (zeitabhängigen) Daten • Fazit: Wir benötigen textuelle Beschreibungen • des Inhalts • des Produktionsprozesses • der technischen Parameter • etc.... Metadaten manuell AV-Analyse automatisch Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  29. 29. Semantische Suche 29 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  30. 30. 2. Suche in audiovisuellen Daten 2.1 Automatisierte Analyse und Metadatengewinnung 30 Videosuchmaschine - prinzipielle Architektur temporale Extraktion von Video- MPEG-7 segmentierung Deskriptoren Indexierung MPEG-Dekoder Metadatengenerierung Metadata Server Retrieval Video Database User-interface Query input, Player, Timeline, Summary,... Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  31. 31. 2. Suche in audiovisuellen Daten 2.1 Automatisierte Analyse und Metadatengewinnung 31 Automatische Metadatengewinnung in AV-Daten •Typische Aufgaben: •Segmentierung (Shot-, Szenen-, Kapiteldetektion) • Videoanalyse • kombinierte Audio-/Videoanalyse... •Intelligent Character Recognition (ICR) •Objekterkennung / Objektverfolgung • Gesichtserkennung / Identifikation ... •Kontextdetektion • in-/outdoor, Landschaft, Gebäude,... •Genreerkennung • Nachrichten, Sport, Werbung,... •Eventanalyse • Tennis, Fußball etc. ... Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  32. 32. 2. Suche in audiovisuellen Daten 2.1 Automatisierte Analyse und Metadatengewinnung 32 Videosegmentierung program / news feature film commercials feature film clip level scene scene1 scene2 scene 3 scene4 scene5 level shot shot1 shot2 shot3 level sub-shot sub-shot1 sub-shot2 sub-shot3 sub-shot4 sub-shot5 level frame frames level Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  33. 33. 2. Suche in audiovisuellen Daten 2.1 Automatisierte Analyse und Metadatengewinnung 33 Szenenerkennung •Eine Szene ist ein zeitliches Videosegment mit 3 konsistenten Eigenschaften: •Ereignis •Kameraeinstellung •Zeitraum Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  34. 34. 2. Suche in audiovisuellen Daten 2.1 Automatisierte Analyse und Metadatengewinnung 34 Keyframe Extraktion Motion:
GoF
/
GoP,
MotionActivity,
CameraMotion,
Motion
Trajectory,
 












Parametric
Motion shot01 shot02 Shot-/Subshotdetection Color:




Dominant
Color,
Scalable
Color,
Color
Layout,
Color
Structure
 Texture:
Edge
Histogram,
Homogeneous
Texture,
Texture
Browsing Shape:


Contour-based
Shape,
Region-based
Shape Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  35. 35. Semantische Suche 35 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  36. 36. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 36 yovisto.com • Videosuchmaschine mit dem Schwerpunkt akademischer Lehrveranstaltungen • aktuell mehr als 6.000 Vorlesungen und wissenschaftliche Vorträge aus der ganzen Welt • automatische Segmentierung und Videoanalyse • benutzergenerierte Co-Annotation • Social Tagging • Diskussionen • Rezensionen • Wikis • Lernmaterialien • Zielgenauer Zugriff auf gesuchte Videoinhalte Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  37. 37. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 37 yovisto.com - Arbeitsweise search engine frontend search for analyze and link to video content any available academic WWW video recording in the WWW browse, play, and annotate video results video analysis and search index creation upload your own academic video recording Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  38. 38. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 38 Strukturelle (temporäre) Segmentierung ■ Grobsegmentierung (rein strukturell) □ --> Zerlegung Einzelbilder/Blöcke, Histogrammvergleich Zeit ■ Feinsegmentierung (inhaltsbasiert) □ --> Objekterkennung/-verfolgung □ --> OCR/ICR □ --> Korrelation Audio/Video (NLP) Zusammenfassen Verfeinern Zusammenfassen Zeit Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  39. 39. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 39 Inhaltsbezogene Videoanalyse ■ Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen Metadaten Zeit Metadaten Metadaten Metadaten Metadaten Metadaten Metadaten ■ Metadaten setzen sich zusammen aus kombinierten Low Level/ High Level Deskriptoren ■ Metadaten als Basis für traditionelles Information Retrieval Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  40. 40. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 40 Metadatengewinnung ICR / OCR Keyterm Spotting Dictionary ASR Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  41. 41. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 41 Benutzergenerierte Metadaten □ automatische Analyse nur begrenzt leistungsfähig □ mangelnde Genauigkeit / Vollständigkeit □ Benutzergenerierte Metadaten können qualitativ zuverlässiger sein □ autoritative Metadaten □ strukturierte Daten □ unstrukturierte (textuelle) Daten □ nicht-autoritative Metadaten □ Tags □ Kommentare □ Diskussionen □ Rezensionen □ Feedback □ etc... Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  42. 42. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 42 Kollaborative Annotation Apfel apple Apfel Obst Frühstück Frucht Autor Ressource Benutzer kaufen nicht- autoritative autoritative Metadaten Metadaten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  43. 43. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 43 Kollaborative Annotation -- Social Tagging •Visualisierung der Benutzerannotation als Tag-Cloud Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  44. 44. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 44 Temporale Annotation der Videodaten Key Frame 01 Key Frame 02 Key Frame 03 0:00:00 0:02:34 0:13:57 Zeit • Nutzer1: Informatik • Nutzer1: Sprache • Nutzer2: Phonogramm • Nutzer4: Vorlesung • Nutzer2: Kehlkopf, • Nutzer3: Piktogramm, • Nutzer3: Dr. Sack… Sprache Ideogramm • Nutzer3: Spracherzeugung • Nutzer4: Klausur, • Nutzer4: Klausur Schriftzeichen, • ... Logogramme • ... Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  45. 45. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 45 Spatiale Annotation (xmin, ymin, xmax, ymax) Hieroglyphen mit Königskartusche, Haute-Relief (xmin, ymin, xmax, ymax) Harald Sack Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  46. 46. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 46 MPEG-7 Metadata Description Framework ■ umfassender XML-basierter Standard zur strukturellen und inhaltlichen Beschreibung von multimedialen Daten <!xml version=“1.0“ encoding=“iso-8859-1“> <Mpeg7 xmlns=urn:mpeg:mpeg7:schema:2001 …> … <AudioVisualSegment> <TextAnnotation type=“heading“ xml:lang=“de“> <FreeTextAnnotation> Der Computer als universales Kommunikationsmedium </FreeTextAnnotation> </TextAnnotation> ….. <MediaTime> <MediaTimePoint> T00:03:42.2 </MediaTimePoint> <MediaDuration> PT1M28.6S </MediaDuration> </MediaTime> …. Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  47. 47. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 47 Facettierte Suche ■ Nutze (strukturierte) Metadaten zur Differenzierung und Kategorisierung der Suchergebnisse ■ ermöglicht besseren Überblick durch facettierte Filterung Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  48. 48. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 48 Facettierte Suche ■ Nutze (strukturierte) Metadaten zur Differenzierung und Kategorisierung der Suchergebnisse ■ ermöglicht besseren Überblich durch facettierte Filterung Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  49. 49. Semantische Suche 49 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  50. 50. 3. Semantische Suche 3.1 Semantic Web Technologie 50 Die ursprüngliche Vision des World Wide Web Tim Berners-Lee, Semantic Web Roadmap, Sept 1998 „The Web was designed as an information space, with the goal that it should be useful not only for human-human communication, but also that machines would be able to participate and help… “ Voraussetzung: • Inhalte können maschinell gelesen und korrekt interpretiert (= verstanden) werden Wie kann das funktionieren? Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  51. 51. 3. Semantische Suche 3.1 Semantic Web Technologie 51 Inhalte im Web maschinell „verstehen“ •um Inhalte im Web maschinell „verstehen“ zu können werden zwei unterschiedliche Ansätze verfolgt Natural Language Processing Semantic Web • Natürliche Sprache soll mit • (Natürlichsprachliche) Web- Techniken der Linguistik und Inhalte werden explizit mit Hilfe Statistik analysiert werden von semantischen Metadaten • Die Bedeutung (Semantik) soll annotiert implizit (oder auch explizit) • semantische Metadaten tragen daraus erschlossen werden die Bedeutung (Semantik) der • Techniken kommen im Web-Inhalte und lassen sich klassischen Information maschinell lesen und korrekt Retrieval (WWW-Such- interpretieren maschinen) zum Einsatz Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  52. 52. 3. Semantische Suche 3.1 Semantic Web Technologie 52 Inhalte im Web maschinell „verstehen“ Text: „Diego zu Bayern?“ Entitäten- zuweisung Diego Ribas da Cunha (Instanz) Klassen- ist ein zugehörigkeit Fußballspieler (Klasse) Subklasse ist eine ist eine • Die Bedeutung (Semantik) der Klassen Superklasse muss ebenfalls explizit definiert werden. • Bedeutung wird über geeignete Wissens- Person (Klasse) repräsentationen (Ontologien) kodiert Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  53. 53. 3. Semantische Suche 3.1 Semantic Web Technologie 53 Ontologien als Wissensrepräsentation „Philosophische Disziplin, die sich primär mit dem Sein, dem Seienden als solchem und mit den fundamentalen Typen von Entitäten beschäftigt…“ (wikipedia) quot;An ontology is an explicit, formal specification of a shared conceptualization. The term is borrowed from philosophy, where an Ontology is a systematic account of Existence. For AI systems, what ‘exists’ is that which can be represented.“ (Thomas R. Gruber, 1993) Konzeptualisierung: abstraktes Modell (Domäne, identifizierte relevante Begriffe, Beziehungen) Explizit: Bedeutungen aller Begriffe definiert Formal: maschinenverstehbar Gemeinsam: Konsens bzgl. Ontologie Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  54. 54. 3. Semantische Suche 3.1 Semantic Web Technologie 54 Ontologien als Wissensrepräsentation verwenden gemeinsames Konzept Konzept ruft hervor referenziert Symbol Gegenstand steht für „Golf“ Ogden, Richards, semiotisches Dreieck, 1923 Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  55. 55. 3. Semantische Suche 3.1 Semantic Web Technologie 55 Das Semantic Web - Datenzentrierte Verarbeitung •Die Bedeutung der Informationen (Semantik) wird durch standardisierte Wissensrepräsentationen (Ontologien) explizit formalisiert (strukturiert) • Damit wird es möglich, •die Bedeutung der Informationen maschinell zu verarbeiten •unterschiedliche (heterogene) Daten miteinander in Beziehung zu setzen •implizite (nicht offensichtliche) Information aus der vorhandenen (offensichtlichen) Information automatisch zu folgern Das Semantic Web ist eine Art globaler Datenbank, die ein universales Netz semantischer Aussagen bereit hält Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  56. 56. 3. Semantische Suche 3.1 Semantic Web Technologie 56 Das Semantic Web - Architektur Interface & Application Trust Current Research Proof Unifying Logic Query: Ontology: OWL Rule: RIF Crypto SPARQL RDFS Data Interchange: RDF XML / XSD URI / IRI Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  57. 57. 3. Semantische Suche 3.1 Semantic Web Technologie 57 Inhalte im Semantic Web Webseite <?xml version=quot;1.0quot; encoding=quot;UTF-8quot;?> <!DOCTYPE html PUBLIC quot;-//W3C//DTD XHTML+RDFa 1.0//ENquot; quot;http://www.w3.org/MarkUp/DTD/xhtml-rdfa-1.dtdquot;> <html xmlns=quot;http://www.w3.org/1999/xhtmlquot; xmlns:foaf=quot;http://xmlns.com/foaf/0.1/quot; version=quot;XHTML+RDFa 1.0quot; xml:lang=quot;enquot;> ... <body> ... <div class=“content“ about=“http://www2.diego10.com.br/diego“ instanceof=“foaf:Person“> <span property=“foaf:givenname“>Diego</span> zu Bayern?“ ... <img rel=“foaf:depiction“ src=“http://www.bild.de/xyz.jpg /> ... </div> ... </body> </html> foaf:Person Diego rdf:type foaf:givenname http://www2.diego10.com.br/diego http://www.bild.de/xyz.jpg foaf:depiction Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  58. 58. 3. Semantische Suche 3.1 Semantic Web Technologie 58 Linked Data - Datenzentrierte Verarbeitung •Ziel des Semantic Web: ...to create a ,Web of Data‘ Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  59. 59. 3. Semantische Suche 3.1 Semantic Web Technologie 59 Linked Data Mashups □ Linked Data Mashups sind Web-Anwendungen, die vernetzte RDF- Daten aus unterschiedlichen Datenquellen nutzen □ im Gegensatz zu diversen Schnittstellen und Ergebnisformaten regulärer Web-APIs bieten vernetzte Daten (Linked Data) folgende Vorteile: □ flexibles, standardisiertes Datenformat (RDF) □ standardisierter Zugriffsmechanismus (http) □ Möglichkeit, Verweise (Links) zwischen unterschiedlichen Datenquellen zu setzen » ermöglicht Navigation » wird von Suchmaschinen genutzt (Crawler) » Ermöglichung expressiver Suchfunktionalität über gesammelte Daten hinweg S. Auer, J. Lehmann, Ch. Bizer: Semantitsche Mashups auf Basis vernetzter Daten, in T. Pellegrini, A. Blumauer (Hrsg.): Social Semantic Web, Springer, 2009. Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  60. 60. Semantische Suche 60 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  61. 61. 3. Semantische Suche 3.2 Semantisch unterstütztes Information Retrieval 61 Semantisch unterstütztes Information Retrieval • Semantische Annotationen ermöglichen eine Verbesserung der traditionellen Schlüsselwort-basierten Suche durch • Erweiterung / Präzisierung der Suchergebnisse • Herleitung von impliziten Informationen • Herstellung von Querverweisen • Nutzung von semantischen Beziehungen zur Visualisierung und Navigation durch den Suchraum (Explorative Suche) •Um semantische Annotationen im Information Retrieval effizient nutzen zu können, müssen diese explizit in die Indexdatenstruktur einer Suchmaschine integriert werden Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  62. 62. 3. Semantische Suche 3.2 Semantisch unterstütztes Information Retrieval 62 Erweiterung der Suchergebnisse •Keyword-basierte Suche liefert nicht alle inhaltlich relevanten Suchergebnisse zu einer Suchphrase, da Synonyme, Metaphern und Umschreibungen den gesuchten Inhalt mit anderen Termen beschreiben. •Verfeinerung/Erweiterung der ursprünglichen Suchphrase (Query Refinement) • Nutzung von Wörterbüchern und Thesauri • Synonyme, Ober- und Unterbegriffe • Nutzung von Domain Ontologien • Meronyme, Holonyme, Assoziationen Suchphrase: Bank Mögliche Erweiterung: Bank ∨ Kreditanstalt ∨ Sparkasse ∨ ... Bank ∨ Konto ∨ Kredit ∨ ... Bank ∨ Santander ∨ Raiffeisen ∨ ... Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  63. 63. 3. Semantische Suche 3.2 Semantisch unterstütztes Information Retrieval 63 Präzisierung der Suchergebnisse •Keyword-basierte Suche liefert zu viele inhaltlich nicht relevante Suchergebnisse zu einer Suchphrase, da Suchbegriffe mehrere Bedeutung und in unterschiedlichem Kontext/Pragmatik genutzt werden. •Verfeinerung/Erweiterung der ursprünglichen Suchphrase (Query Refinement) • Nutzung von Wörterbüchern und Thesauri • Homonyme mit Hilfe von Ober- und Unterbegriffen disambiguieren • Nutzung von Domain Ontologien • Meronyme, Holonyme Suchphrase: Bank Mögliche Erweiterung: Bank ∧ Kreditanstalt oder Bank ∧ Sitzgelegenheit oder Bank ∧ Sediment Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  64. 64. 3. Semantische Suche 3.2 Semantisch unterstütztes Information Retrieval 64 Herleitung impliziter Information ■ deduktives Reasoning □ häufigste Form, aus explizit gespeicherten Fakten wird auf implizites Wissen geschlossen □ Anna rdf:type Mutter . Mutter rdf:subClass Frau . Schlussfolgerung: Anna ist eine Frau ■ induktives Reasoning □ Lernprozess, aus vorhandenem Faktenwissen werden allgemeinere Behauptungen aufgestellt □ Anna rdf:type Frau . Anna hasChild Franz . Beate rdf:type Frau . □ Lerne neues Konzept „Mutter“ aus positivem Beispiel (Anna) und negativem Beispiel (Beate) --> (Frau ⊓ ∃hasChild) Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  65. 65. 3. Semantische Suche 3.2 Semantisch unterstütztes Information Retrieval 65 Herstellung von Querverweisen □ Bereitstellung von Suchergebnissen, die zwar den Suchbegriff nicht notwendigerweise enthalten, aber mit diesem in inhaltlichem Zusammenhang stehen □ Nutzung von Domain Ontologien □ Nutzung von Thesauri und Kookurrenzanalysen repräsentativer Dokumentenkorpora Suchphrase: Hemingway ermittelter Oberbegriff zu Hemingway: amerikanischer Autor Ausweitung der Suche auf andere amerikanische Autoren dbpedia:AmericanNovelists rdf:type rdf:type Instanzerkennung Hemingway dbpedia:Ernest_Hemingway dbpedia:Edgar_Allen_Poe Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  66. 66. 3. Semantische Suche 3.2 Semantisch unterstütztes Information Retrieval 66 Explorative Suche • Abkehr vom „Google Paradigma“ • Visualisierung von Querverbindungen zwischen • Suchbegriffen (Ontologieebene) • Suchergebnissen (Instanzebene) • Ermöglicht es dem Benutzer • Suchergebnisse „zufällig“ zu entdecken, die er eigentlich gar nicht gesucht hat (Serendipity) • einen besseren Überblick über den Suchraum / Ergebnisraum zu gewinnen Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  67. 67. 3. Semantische Suche 3.2 Semantisch unterstütztes Information Retrieval 67 Implementierung einer explorativen Suche • Beispiel NPBibSearch • bibliografische Suche auf ECCC (Electronic Colloquium of Computational Complexity) NP-complete is special/general variant NP P is weaker / stronger is a is a can be reduced to is a member of decision problem complexity class has member is a is a … problem graph problem logic problem set problem is a is a Colorability SAT 3-SAT (NP-Ontologie, Sack, Niedermeier, Vogel ) Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  68. 68. 3. Semantische Suche 3.2 Semantisch unterstütztes Information Retrieval 68 Implementierung einer explorativen Suche • Beispiel NPBibSearch • bibliografische Suche auf ECCC (Electronic Colloquium of Computational Complexity) SAT CNF-SAT le to weaker cib u version red 2-SAT 3-SAT o ib le t generalization uc red SAT SAT Colorability Knapsack Sack: NPBibSearch - an Ontology Augmented Bibliographic Search, SWAP 2005 Sack, Krüger, Dom: A Knowledge Base on NP-complete Decision Problems and Vertex Cover its Application in Bibliographic Search, XML-Tage Berlin, 2006 Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  69. 69. 5. Explorative Suche 69 Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  70. 70. Semantische Suche 70 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  71. 71. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 71 Semantische Videoanalyse ■ Ursprüngliche Metadaten enthalten □ OCR/ICR - Textdaten □ Textdaten aus Audio-Transkribierung □ Low Level Deskriptoren ■ Identifiziere relevante Schlüsselwörter □ traditionell TF/IDF, OKAPI, TF-ICF, KLD, etc. ■ Mapping der relevanten Schlüsselwörter auf Domain-Ontologie □ Statistische Auswahl der relevanten Domain-Ontologie (Kategorisierung) □ Manuelle Auswahl durch Autor/Ersteller ■ Instanz-Erkennung / Konzept-Erkennung □ Disambiguierung durch Koreferenz-/Kontextanalyse, Clustering, Machine Learning, etc. Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  72. 72. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 72 Semantische Annotation • Entitätenerkennung in den textuellen Metadaten des Grunddatenbestand Zeit Metadaten Metadaten Metadaten Metadaten Metadaten Person xy Metadaten Person yz Ort xyz Ereignis abc Person xy Ort yz semantische Metadaten (z.B. als DC-RDF / MPEG7-COMM u.a.) Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  73. 73. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 73 Semantische Annotationen • Entitätenerkennung in den textuellen Metadaten des Grunddatenbestand • Mapping der erkannten Entitäten gegen vorhandene Ontologien Person xy Person yz Person xy Ort xyz Ort yz Ereignis abc z.B. bibliografische Daten, geografische Daten, enzyklopädische Daten, .... Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  74. 74. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 74 Semantische Annotationen • Entitätenerkennung in den textuellen Metadaten des Grunddatenbestand • Mapping der erkannten Entitäten gegen vorhandene Ontologien (Linked Open Data) • Nutzung von Objektbeziehungen (object properties) innerhalb der Ontologien zur Herstellung von Querbezügen zwischen den vorhandenen textuellen Metadaten Klasse A stehtInBeziehungMit Klasse B Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  75. 75. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 75 Semantische Annotationen • Entitätenerkennung in den textuellen Metadaten des Grunddatenbestand • Mapping der erkannten Entitäten gegen vorhandene Ontologien (Linked Open Data) • Nutzung von Objektbeziehungen (object properties) innerhalb der Ontologien zur Herstellung von Querbezügen zwischen den vorhandenen textuellen Metadaten • Nutzung der Querbezüge zur Navigation (Visualisierung) der ursprünglichen Grunddaten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  76. 76. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 76 Explorative Suche - ein einfaches Beispiel • Suche im Grunddatenbestand nach ,Ernest Hemingway‘ • Identifikation einer Entität dbpedia:Ernest_Hemingway • Bestimmung gleichartiger Entitäten dbpedia:Ernest_Hemingway foaf:name “Ernest Hemingway“ . dbpedia:Ernest_Hemingway rdfs:type dbpedia:class/yago/AmericanNovelist . Finde weitere Ressourcen vom selben Typ, d.h. (1) finde weitere amerikanische Autoren (2) finde Ressourcen (Videos) mit weiteren amerikanischen Autoren Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  77. 77. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 77 Explorative Suche - ein einfaches Beispiel • Suche im Grunddatenbestand nach ,Ernest Hemingway‘ • Identifikation einer Entität dbpedia:Ernest_Hemingway • Bestimmung eines geeigneten ,Properties‘ dbpedia:Ernest_Hemingway foaf:name “Ernest Hemingway“ . dbpedia:Ernest_Hemingway rdfs:type dbpedia:class/yago/AmericanNovelist . ... dbpedia:Ernest_Hemingway dbpedia:ontology/influences dbpedia:Ezra_Pound . dbpedia:Ezra_Pound rdfs:type dbpedia:class/yago/AmericanNovelist . ... dbpedia:J._D._Salinger dbpedia:ontology/influences dbpedia:Ernest_Hemingway . dbpedia:J._D._Salinger rdfs:type dbpedia:class/yago/AmericanNovelist . Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  78. 78. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 78 Explorative Suche - ein einfaches Beispiel • Suche im Grunddatenbestand nach ,Ernest Hemingway‘ • Identifikation einer Entität dbpedia:Ernest_Hemingway • Bestimmung eines geeigneten ,Properties‘ dbpedia:Ernest_Hemingway foaf:name “Ernest Hemingway“ . dbpedia:Ernest_Hemingway rdfs:type dbpedia:class/yago/AmericanNovelist . ... dbpedia:Ernest_Hemingway dbpedia:ontology/influences dbpedia:Ezra_Pound . dbpedia:Ezra_Pound rdfs:type dbpedia:class/yago/AmericanNovelist . ... dbpedia:J._D._Salinger dbpedia:ontology/influences dbpedia:Ernest_Hemingway . dbpedia:J._D._Salinger rdfs:type dbpedia:class/yago/AmericanNovelist . Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  79. 79. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 79 Explorative Suche - ein einfaches Beispiel • Suche im Grunddatenbestand nach ,Ernest Hemingway‘ • Identifikation einer Entität dbpedia:Ernest_Hemingway • Bestimmung eines geeigneten ,Properties‘ dbpedia:Ernest_Hemingway foaf:name “Ernest Hemingway“ . dbpedia:Ernest_Hemingway rdfs:type dbpedia:class/yago/AmericanNovelist . ... dbpedia:Ernest_Hemingway dbpedia:ontology/influences dbpedia:Ezra_Pound . dbpedia:Ezra_Pound rdfs:type dbpedia:class/yago/AmericanNovelist . ... dbpedia:J._D._Salinger dbpedia:ontology/influences dbpedia:Ernest_Hemingway . dbpedia:J._D._Salinger rdfs:type dbpedia:class/yago/AmericanNovelist . Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  80. 80. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 80 Explorative Suche - ein einfaches Beispiel • Suche im Grunddatenbestand nach ,Ernest Hemingway‘ • Identifikation einer Entität dbpedia:Ernest_Hemingway • Bestimmung eines geeigneten „Properties“ • Nutzung des Properties zur Navigation/Visualisierung Ezra Pound Ernest Hemingway J.D. Salinger dbpedia:ontology/influences dbpedia:ontology/influences • Erweitere Suche mit asoziierten Entitäten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  81. 81. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 81 Explore Window Waitelonis, Sack: Augmenting Video Search with Linked Open Data, in Proc. I-Semantics , Graz 2009. Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  82. 82. Semantische Suche 82 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen Vielen Dank für Ihre Aufmerksamkeit ! 2. Suche in Audiovisuellen Daten Fragen....? 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche Links: • HPI Homepage: 3. Semantische Suche http://www.hpi.uni-potsdam.de/meinel/sack.html • Yovisto: www.yovisto.com 3.1 Semantic Web Technologie • Blogs: http://moresemantic.blogspot.com/ http://yovisto.blogspot.com/ 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009

×