Einführung in MPEG 7 / MPEG 21
Agenda MPEG Standards MPEG 7 - Warum MPEG7? - MPEG 7 Definitions - Mögliche Anwendungsbereiche MPEG 21 Fazit
Rückblick MPEG 1: Interactive CD, MP3 MPEG 2: DTV, STB, DVD MPEG 4: Multimedia für Web und Mobile MPEG 7: ? MPEG 21: ?
MPEG 7 Multimedia Content Description Interface  ISO/IEC: 15938 Entwickelt von: MPEG Standard definiert seit: 2002 Hauptaufgabe: Standard für Content Management / Beschreibung von multimedialen Daten mithilfe von  Meta informationen
Metadaten Griech.: ”Daten über Daten” - technische Daten (Auflösung, Abtastrate,…) - Angaben über Inhalt z. B. MP3 (ID3-Tags): Interpret, Album, Jahr, Genre, … Metadaten müssen sich nicht zwangsläufig auf dem gleichen Medium befinden wie Multimedia-Daten
Notwendigkeit von MPEG 7 durch multimediale Datenflut (insbes. im Web) Verschiedene Geräte mit unterschiedlichen Anforderungen Anwendbar auf: Audio, Video, Multimedia Unabhängig von Medium und Kodierung Einfache Bedienbarkeit Standardisierung der Schnittstellen ( XML ) Warum MPEG 7?
XML (E)Xtensible Markup Language W3C Erweiterung von HTML i.w.S. Universelles Format zum Austausch strukturierter Informationen für das WWW Interoperabilität von Systemen (Handy, TV, PC) Kommunikation: M2M oder HCI
MPEG 7 Definitions Descriptors (D) - Beschreibung der Merkmale unterste Ebene:  -Merkmalsextraktion -einfach beschreibbar, kann weitgehend  automatisiert werden Oberste Ebene:  semantische Information Audio Visual Frequenz Farbe Szenentitel Tempo Personen Tempowechsel Texturen Tonart Formen Musikinstrumente Ort Klangfarbe Gesichtserkennung Melodiestruktur Bewegung Objekte Sprache Bewegung Kamera
MPEG 7 Definitions II. Description Schemes (DS) - Beziehungen zw. Komponenten / Semantik III. Description Definition Language (DDL) - Sprache um D und DS zu erzeugen - DS editieren / erweitern
Semantik Semantik = Bedeutungslehre / Bedeutung der Zeichen z.B. “bank” = Kreditinstitut, Damm, Flussufer, Schräglage (bei Schiffen),... Infos über Orte, Personen und Dinge sollen automatisch miteinander in Beziehung gebracht werden,  z.B. FOAF (Friend of a friend)
MPEG 7 Software: Caliph
Automated Voice Response (AVR) z.B. für Callcenter Liederkennung (z.B. Shazam für iPhone) Gesichtserkennung in Bildern und Videos Mögliche Anwendungsbereiche
Anwendung Gesichtserkennung: iPhoto
MPEG 7 Spoken Content Demonstrator
Anwendung Bildersuche: Sketch and Search
Anwendung: Bildersuche Teil 2 Verkehrsüberwachung Kameraüberwachung nach Wichtigkeit Suche nach semantischen Inhalten (z.B. Personen, Gegenstände) in Bildern und Videosignalen Content Based Image Retrieval
MPEG 21 ISO/IEC: 15938 Entwickelt von: MPEG Standard definiert seit: 2002 Hauptaufgabe von MPEG 21: Schaffung eines Standards für die Erzeugung, Produktion und Freibgabe sowie Handel mit Multimediainhalten.
Warum MPEG 21? Integration komplexer Technologien zu einem Gesamtsystem Effiziente und automatisierte Interoperabilität zwischen verschiedenen Multimedia-Dienstanbietern Alle am Arbeitsfluss Beteiligte sollen berücksichtigt werden Sicherheit (DRM)
Rollen: Anbieter, Konsument, Autor, Verteiler Digital Items
Fazit MPEG 7 MPEG 7: Beschreibung durch und Generierung von Metadaten für MM-Inhalte und in Beziehung zueinander setzen Deutlich erleichterte Suchmöglichkeit sobald Suchmaschinenalgorithmen ausgereift Eine Suchmaschine um alle Features zu Nutzen wird wohl kaum machbar sein Sehr viel Inhalt (ca. 2000 Zeilen), wenig Nutzer Konkurrenz: TVanytime (EPG oder auf Webseiten)
Fazit MPEG 21 Multimedia Framework, welches eine Infrastruktur zur Erzeugung, Produktion und  Noch mehr Inhalt als MPEG 7, noch weniger Nutzer Viele Unternehmen schaffen eigene Standards
Quellen A. Heyna, M. Briede, U. Schmidt: Datenformate im Medienbereich http://www.chiariglione.org  (Website MPEG) Ali Tabatabai / Sony US Research Lab.  Matthias Gruhne / Fraunhofer Institut http://www.chrisharrison.net/projects/searchbysketch www.youtube.com
Bei Fragen oder Anregungen schreiben Sie mich einfach an. Kommentare sind erwünscht.

Mpeg7 und Mpeg21

  • 1.
  • 2.
    Agenda MPEG StandardsMPEG 7 - Warum MPEG7? - MPEG 7 Definitions - Mögliche Anwendungsbereiche MPEG 21 Fazit
  • 3.
    Rückblick MPEG 1:Interactive CD, MP3 MPEG 2: DTV, STB, DVD MPEG 4: Multimedia für Web und Mobile MPEG 7: ? MPEG 21: ?
  • 4.
    MPEG 7 MultimediaContent Description Interface ISO/IEC: 15938 Entwickelt von: MPEG Standard definiert seit: 2002 Hauptaufgabe: Standard für Content Management / Beschreibung von multimedialen Daten mithilfe von Meta informationen
  • 5.
    Metadaten Griech.: ”Datenüber Daten” - technische Daten (Auflösung, Abtastrate,…) - Angaben über Inhalt z. B. MP3 (ID3-Tags): Interpret, Album, Jahr, Genre, … Metadaten müssen sich nicht zwangsläufig auf dem gleichen Medium befinden wie Multimedia-Daten
  • 6.
    Notwendigkeit von MPEG7 durch multimediale Datenflut (insbes. im Web) Verschiedene Geräte mit unterschiedlichen Anforderungen Anwendbar auf: Audio, Video, Multimedia Unabhängig von Medium und Kodierung Einfache Bedienbarkeit Standardisierung der Schnittstellen ( XML ) Warum MPEG 7?
  • 7.
    XML (E)Xtensible MarkupLanguage W3C Erweiterung von HTML i.w.S. Universelles Format zum Austausch strukturierter Informationen für das WWW Interoperabilität von Systemen (Handy, TV, PC) Kommunikation: M2M oder HCI
  • 8.
    MPEG 7 DefinitionsDescriptors (D) - Beschreibung der Merkmale unterste Ebene: -Merkmalsextraktion -einfach beschreibbar, kann weitgehend automatisiert werden Oberste Ebene: semantische Information Audio Visual Frequenz Farbe Szenentitel Tempo Personen Tempowechsel Texturen Tonart Formen Musikinstrumente Ort Klangfarbe Gesichtserkennung Melodiestruktur Bewegung Objekte Sprache Bewegung Kamera
  • 9.
    MPEG 7 DefinitionsII. Description Schemes (DS) - Beziehungen zw. Komponenten / Semantik III. Description Definition Language (DDL) - Sprache um D und DS zu erzeugen - DS editieren / erweitern
  • 10.
    Semantik Semantik =Bedeutungslehre / Bedeutung der Zeichen z.B. “bank” = Kreditinstitut, Damm, Flussufer, Schräglage (bei Schiffen),... Infos über Orte, Personen und Dinge sollen automatisch miteinander in Beziehung gebracht werden, z.B. FOAF (Friend of a friend)
  • 11.
  • 12.
    Automated Voice Response(AVR) z.B. für Callcenter Liederkennung (z.B. Shazam für iPhone) Gesichtserkennung in Bildern und Videos Mögliche Anwendungsbereiche
  • 13.
  • 14.
    MPEG 7 SpokenContent Demonstrator
  • 15.
  • 16.
    Anwendung: Bildersuche Teil2 Verkehrsüberwachung Kameraüberwachung nach Wichtigkeit Suche nach semantischen Inhalten (z.B. Personen, Gegenstände) in Bildern und Videosignalen Content Based Image Retrieval
  • 17.
    MPEG 21 ISO/IEC:15938 Entwickelt von: MPEG Standard definiert seit: 2002 Hauptaufgabe von MPEG 21: Schaffung eines Standards für die Erzeugung, Produktion und Freibgabe sowie Handel mit Multimediainhalten.
  • 18.
    Warum MPEG 21?Integration komplexer Technologien zu einem Gesamtsystem Effiziente und automatisierte Interoperabilität zwischen verschiedenen Multimedia-Dienstanbietern Alle am Arbeitsfluss Beteiligte sollen berücksichtigt werden Sicherheit (DRM)
  • 19.
    Rollen: Anbieter, Konsument,Autor, Verteiler Digital Items
  • 20.
    Fazit MPEG 7MPEG 7: Beschreibung durch und Generierung von Metadaten für MM-Inhalte und in Beziehung zueinander setzen Deutlich erleichterte Suchmöglichkeit sobald Suchmaschinenalgorithmen ausgereift Eine Suchmaschine um alle Features zu Nutzen wird wohl kaum machbar sein Sehr viel Inhalt (ca. 2000 Zeilen), wenig Nutzer Konkurrenz: TVanytime (EPG oder auf Webseiten)
  • 21.
    Fazit MPEG 21Multimedia Framework, welches eine Infrastruktur zur Erzeugung, Produktion und Noch mehr Inhalt als MPEG 7, noch weniger Nutzer Viele Unternehmen schaffen eigene Standards
  • 22.
    Quellen A. Heyna,M. Briede, U. Schmidt: Datenformate im Medienbereich http://www.chiariglione.org (Website MPEG) Ali Tabatabai / Sony US Research Lab. Matthias Gruhne / Fraunhofer Institut http://www.chrisharrison.net/projects/searchbysketch www.youtube.com
  • 23.
    Bei Fragen oderAnregungen schreiben Sie mich einfach an. Kommentare sind erwünscht.

Hinweis der Redaktion

  • #4 DTV= Digitales Fernsehen STB= Set Top Box (für Premiere Digital) -> DBox
  • #5 Daten weltweit austauschbar machen Beteiligte: Broadcast-Unternehmen, Gerätehersteller, Hersteller Digitaler Inhalte, Übertragungsdienste, Verlage, Rechteverwertungsanstalten, Universitäten
  • #6 OMDB: Online Music Database Für MP3: 128 Bit Strom, wird an das Ende des MP3 Stroms angehängt Mit ID3V2 sogar Lyrics, Bilder
  • #7 Metainformationen werden in XML Dokumenten gespeichert Kein Kompressionsstandard! / Alles kann darstellbar gemacht werden, nichts muss! Metainformationen: Ein oder mehrere XML Dateien, erst ein mal getrennt von den Daten, Möglichkeit zur Integration in das File
  • #8 (E)Xtensible Markup Language = erweiterbare Auszeichnungssprache Distributed Computing M2M: z.B.: Kaffee und Essensautomat / Google Suche MathML für mathematische Formeln im Webbrowser / SMIL: zeitlich organisierte multimediale Präsentationen. SVG-Dokumente beschreiben Vektorgrafiken.
  • #9 Alle drei basieren auf XML
  • #10 DS: (vordefinierte Descriptorstrukturen) beschreibt Beziehungen zw. Descriptor & Despription Schemes oder DS & DS // z.B. inhaltl. Beschreibung einer Szene + Farbe, Luminanz, etc. / Umfang kann eingeschränkt werden DDL: Beschreibt Speicherformat, Beschreibt die Syntax, Prüft Konformität , Anleitung zur Extraktion und Nutzung von Deskriptoren
  • #11 SIOC: Plattformen, wie Blog-Kommentare, Mailing-Listen oder Web-Foren miteinander verbinden
  • #12 EXIF: Exchangeable Image File Format / Standard von Japanern entwickelt Japan Electronic and Information Technology Industries Association (JEITA) Brennweite, Belichtungszeit, Blendeneinstellung
  • #13 AVR basiert auf MPEG-7 SpokenContent Description Scheme (DS 1: anhand der Metadaten
  • #17 Semantische Inhalte: E-Commerce: Suche nach Kleidern der Schauspieler bei TV Überwachung: Altersbeschränkung, Preis hinterlegen
  • #18 Beteiligte: zusätzlich Musiklabels, Filmindustrie
  • #19 I (z.B. Digital Rights Management)