Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
Kollaborative Bildverwaltung mit semantischen Techniken Social Software @ Work 2009
Suche nach Bildern (bei Bildagenturen) www.imagenotion.com Bildkäufer Bildsuchmaschinen Bildbeschriftung erforderlich
Community: Bildredakteure in Bildagenturen <ul><li>Unser Fokus: Bildredakteure in Bildagentur </li></ul><ul><ul><li>Kleine...
Textbasierte Bildbeschriftung: Homonyme <ul><li>„ Paris Hilton“ vs. „Paris Hilton“ </li></ul>www.imagenotion.com Ortssuche...
Textbasierte Bildbeschriftung: Synonyme <ul><li>„ Bauwerk“ vs. „Gebäude“: fehlende Ergebnisse </li></ul><ul><li>Einzahl vs...
Mehrsprachigkeit <ul><li>„ dog“ vs. „chien“ vs. „Hund“ vs. …  </li></ul><ul><li>! Automatische Übersetzung: stark fehleran...
Verwandte Bilder <ul><li>„ Flugzeug“ vs. „Doppeldecker“ (speziellere Anfrage) </li></ul>www.imagenotion.com
Verwandte Bilder: Schauspieler <ul><li>„ Nicole Kidman“ vs. „Schauspieler aus Australien“ </li></ul>www.imagenotion.com
Probleme <ul><li>Textbasierte Beschriftung </li></ul><ul><ul><li>Sehr zeitaufwendig, somit kostenintensiv </li></ul></ul><...
Ziel: Zeitersparnis bei Bildbeschriftung  <ul><li>Lösungsansatz </li></ul><ul><ul><li>Nutzung von semantischen Technologie...
Einsatz semantischer Technologien <ul><li>Semantische Technologien </li></ul><ul><ul><li>Erstellung von semantischen Eleme...
Probleme mit semantischen Techniken <ul><li>Bisher: getrennte Arbeitsabläufe </li></ul><ul><ul><li>Ontologien: werden erst...
Anforderungen <ul><li>Anforderungen für praktisch nutzbarer Einsatz semantischer Technologien  </li></ul><ul><li>Verständl...
Einsatz automatischer Techniken <ul><li>Problem bei textueller Beschriftung </li></ul><ul><ul><li>Ergebnisse nicht kombini...
ImageNotion <ul><li>Das Bildverwaltungssystem ImageNotion </li></ul><ul><li>Ergebnis aus dem EU Projekt IMAGINATION </li><...
Imagenotions: visuelle semantische Elemente <ul><li>Imagenotions:  visuelle Repräsentierung von semantischen Elementen dur...
Erstellung von Ontologien <ul><li>ImageNotion Methode </li></ul><ul><ul><li>Umsetzung des „Ontology Maturing Process Model...
Erstellung von semantischen Elementen <ul><li>Beispiel “Kevin Costner” </li></ul><ul><li>1, 2) Textuelle Informationen kol...
Erstellung von Beziehungen <ul><li>3)  Kollaborativ Beziehungen erstellen:  Semantik! </li></ul><ul><li>Relationen:  </li>...
Semantische Beschriftung von Bildern <ul><li>Beispiel: Beschriftung von Bildteil  </li></ul>www.imagenotion.com
Ergebnis: ein integrierter Arbeitsablauf www.imagenotion.com
Kombination von automatischen Prozessen <ul><li>Automatische Prozesse in ImageNotion </li></ul><ul><ul><li>Gesichtsdetekti...
Beispiel www.imagenotion.com Caption   „Prof. Dr. Bernd Raffelhächen unterrichtet Finanzwissenschaft an der Universitä Fre...
Zusammenfassung <ul><li>ImageNotion </li></ul><ul><li>Ergebnis aus Benutzerstudien:  </li></ul><ul><ul><li>semantische Tec...
Aktuelle Arbeit : Unsere Vision <ul><li>Aktuell </li></ul><ul><li>ImageNotion als Software-as-a-Service </li></ul><ul><li>...
Screen Video www.imagenotion.com
ImageNotion: Kontakt <ul><li>Andreas Walter </li></ul><ul><ul><li>Tel: 0721 / 9654 724 </li></ul></ul><ul><ul><li>E-Mail: ...
Nächste SlideShare
Wird geladen in …5
×

Socialsoftware At Work Workshop

600 Aufrufe

Veröffentlicht am

Kollaborative Bildverwaltung mit semantischen Techniken - Vortrag innerhalb des Workshops Social Software @ Work, September 2009, Düsseldorf

Veröffentlicht in: Bildung
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Socialsoftware At Work Workshop

  1. 1. Kollaborative Bildverwaltung mit semantischen Techniken Social Software @ Work 2009
  2. 2. Suche nach Bildern (bei Bildagenturen) www.imagenotion.com Bildkäufer Bildsuchmaschinen Bildbeschriftung erforderlich
  3. 3. Community: Bildredakteure in Bildagenturen <ul><li>Unser Fokus: Bildredakteure in Bildagentur </li></ul><ul><ul><li>Kleine Gruppe, meist 2 bis 6 Personen </li></ul></ul><ul><ul><li>Aufgabe: Beschriftung der Bilder mit hoher Qualität </li></ul></ul><ul><li>Kollaboration </li></ul><ul><ul><li>Iterative Überarbeitung der Bilder </li></ul></ul><ul><ul><li>Ausarbeitung gemeinsamer Beschriftungsregeln </li></ul></ul><ul><li>Bildbeschriftung </li></ul><ul><ul><li>Standard: Textbasiert mittels Bildverwaltungssoftware </li></ul></ul><ul><ul><li>Stichwörter werden als Text zu einzelnen Bildern hinzugefügt </li></ul></ul><ul><ul><li>Oft sehr umfangreich, ca. 30 Stichwörter … </li></ul></ul>www.imagenotion.com
  4. 4. Textbasierte Bildbeschriftung: Homonyme <ul><li>„ Paris Hilton“ vs. „Paris Hilton“ </li></ul>www.imagenotion.com Ortssuche: Paris Hilton im Hotel Hilton-> Suche: Paris Hilton
  5. 5. Textbasierte Bildbeschriftung: Synonyme <ul><li>„ Bauwerk“ vs. „Gebäude“: fehlende Ergebnisse </li></ul><ul><li>Einzahl vs. Mehrzahl (oft: gemeint Mehrzahl, gesucht Einzahl) </li></ul>www.imagenotion.com
  6. 6. Mehrsprachigkeit <ul><li>„ dog“ vs. „chien“ vs. „Hund“ vs. … </li></ul><ul><li>! Automatische Übersetzung: stark fehleranfällig -> manuell </li></ul>www.imagenotion.com
  7. 7. Verwandte Bilder <ul><li>„ Flugzeug“ vs. „Doppeldecker“ (speziellere Anfrage) </li></ul>www.imagenotion.com
  8. 8. Verwandte Bilder: Schauspieler <ul><li>„ Nicole Kidman“ vs. „Schauspieler aus Australien“ </li></ul>www.imagenotion.com
  9. 9. Probleme <ul><li>Textbasierte Beschriftung </li></ul><ul><ul><li>Sehr zeitaufwendig, somit kostenintensiv </li></ul></ul><ul><ul><li>Tagging Ansätze: nicht gewollt: eigene Kontrolle über Bilder </li></ul></ul><ul><ul><li>Kein Hintergrundwissen über verwendete Begriffe </li></ul></ul><ul><li>Automatische Bilderkennung </li></ul><ul><ul><li>Bisher kaum Automatisierung für Erkennung von Bildteilen </li></ul></ul><ul><ul><ul><li>Gesichter </li></ul></ul></ul><ul><ul><ul><li>Personen </li></ul></ul></ul><ul><ul><ul><li>Objekte </li></ul></ul></ul>www.imagenotion.com
  10. 10. Ziel: Zeitersparnis bei Bildbeschriftung <ul><li>Lösungsansatz </li></ul><ul><ul><li>Nutzung von semantischen Technologien </li></ul></ul><ul><ul><li>Nutzung und Kombination einer Vielzahl von automatischen Techniken </li></ul></ul>www.imagenotion.com
  11. 11. Einsatz semantischer Technologien <ul><li>Semantische Technologien </li></ul><ul><ul><li>Erstellung von semantischen Elementen „Nicole Kidman“ </li></ul></ul><ul><ul><li>Elemente in Beziehung setzen „Nicole Kidman“ ‚hat Beruf“ „Schauspieler“ </li></ul></ul><ul><ul><li>Ergebnis: Ontologien </li></ul></ul><ul><li>Semantische Technologien ermöglichen </li></ul><ul><ul><li>Hintergrundwissen: System kennt Bedeutung von Beschriftungen </li></ul></ul><ul><ul><ul><li>„ Jaguar E-Type“ ist ein Auto </li></ul></ul></ul><ul><ul><ul><li>„ Nicole Kidman“ ist Schauspielerin aus Australien </li></ul></ul></ul><ul><ul><li>Unterscheidung von Homonymen </li></ul></ul><ul><ul><ul><li>„ Jaguar“ ist eine Automarke != „Jaguar“ ist ein Tier </li></ul></ul></ul><ul><ul><li>Unterstützung für Synonyme: Unterschiedliche Begriffe hinzufügbar </li></ul></ul><ul><ul><li>Mehrsprachigkeit: Nutzung mehrere Sprachen für semantische Elemente </li></ul></ul><ul><ul><li>Vorschlag von verwandten Bildern: Flugzeug -> Doppeldecker </li></ul></ul>www.imagenotion.com
  12. 12. Probleme mit semantischen Techniken <ul><li>Bisher: getrennte Arbeitsabläufe </li></ul><ul><ul><li>Ontologien: werden erstellt durch Experten </li></ul></ul><ul><ul><ul><li>Erstellung von Ontologie vor Nutzung </li></ul></ul></ul><ul><ul><ul><li>Integration in ein semantisches Bildverwaltungssystem </li></ul></ul></ul><ul><ul><li>Beschriftung: durch Bildredakteure </li></ul></ul><ul><ul><ul><li>Nutzen vorhandene Ontologien </li></ul></ul></ul><ul><ul><ul><ul><li>Oft schwer verständlich für Nutzer </li></ul></ul></ul></ul><ul><ul><ul><li>Fehlende Elemente: müssen an Experten gemeldet werden </li></ul></ul></ul><ul><ul><ul><ul><li>Kein kollaboratives Erstellen durch Nutzer selbst möglich </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Wartezeit, bis aktualisiert </li></ul></ul></ul></ul><ul><ul><ul><li>Ablehnung bei Bildredakteuren </li></ul></ul></ul><ul><ul><ul><li>Semantische Technologien so nicht einsetzbar </li></ul></ul></ul><ul><li>Geschwindigkeit </li></ul><ul><ul><li>Semantische Suche oft deutlich langsamer als textbasierte Suche </li></ul></ul>www.imagenotion.com
  13. 13. Anforderungen <ul><li>Anforderungen für praktisch nutzbarer Einsatz semantischer Technologien </li></ul><ul><li>Verständlichkeit </li></ul><ul><ul><li>Vorhandene Ontologien müssen durch Bildredakteur verständlich sein </li></ul></ul><ul><li>Nutzbarkeit </li></ul><ul><ul><li>Ein Workflow: Fehlende semantische Elemente müssen durch Bildredakteure selbst eingefügt werden können </li></ul></ul><ul><li>Kollaboration </li></ul><ul><ul><li>Gruppe von Bildredakteuren soll Ontologie gemeinsam erstellen und pflegen können </li></ul></ul><ul><li>Geschwindigkeit </li></ul><ul><ul><li>Suchergebnisse müssen schnell erscheinen </li></ul></ul>www.imagenotion.com
  14. 14. Einsatz automatischer Techniken <ul><li>Problem bei textueller Beschriftung </li></ul><ul><ul><li>Ergebnisse nicht kombinierbar, z.B. „Ergebnis Personenerkenner“ und „Ergebnis Gesichtserkenner“ </li></ul></ul><ul><ul><ul><li>Mit Kombination: deutlich höhere Qualität des Ergebnisses </li></ul></ul></ul><ul><li>Lösungsansatz </li></ul><ul><ul><li>Kombination von semantischen und automatischen Techniken </li></ul></ul><ul><ul><li>Dann Kombination von Ergebnissen möglich </li></ul></ul>www.imagenotion.com
  15. 15. ImageNotion <ul><li>Das Bildverwaltungssystem ImageNotion </li></ul><ul><li>Ergebnis aus dem EU Projekt IMAGINATION </li></ul><ul><li>Verwendet semantischen Bildbeschriftungen </li></ul><ul><li>Basiert auf der kollaborativen Erstellung von Ontologien </li></ul><ul><li>Integriert und kombiniert Vielzahl von automatischen Prozessen </li></ul>www.imagenotion.com
  16. 16. Imagenotions: visuelle semantische Elemente <ul><li>Imagenotions: visuelle Repräsentierung von semantischen Elementen durch Bilder </li></ul><ul><li>Konkrete Elemente (z.B. Personen, Filmtitel) </li></ul><ul><li>Abstrakte Elemente (e.g. gender, profession) </li></ul>www.imagenotion.com
  17. 17. Erstellung von Ontologien <ul><li>ImageNotion Methode </li></ul><ul><ul><li>Umsetzung des „Ontology Maturing Process Model“ (FZI) </li></ul></ul><ul><ul><li>Idee: Ontologien reifen kollaborativ in mehreren Phasen </li></ul></ul><ul><ul><li>Erstellung integriert in die Arbeit der Bildbeschriftung </li></ul></ul>www.imagenotion.com Usage of imagenotions for semantic image annotation <ul><li>Imagenotion </li></ul><ul><li>Imagenotion </li></ul><ul><li>2. Consolidation in communities </li></ul><ul><li>Descriptive </li></ul><ul><li>Textual - Label text </li></ul><ul><li>- Synonyms </li></ul><ul><li>Date information </li></ul><ul><li>Links </li></ul><ul><li>Visual Associate an image </li></ul><ul><li>3. Formalization: Rules and relations </li></ul><ul><li>1. Create imagenotions Emergence of new ideas </li></ul>
  18. 18. Erstellung von semantischen Elementen <ul><li>Beispiel “Kevin Costner” </li></ul><ul><li>1, 2) Textuelle Informationen kollaborativ hinzufügen </li></ul><ul><li>Label, Beschreibung, Synonyme, … </li></ul>www.imagenotion.com
  19. 19. Erstellung von Beziehungen <ul><li>3) Kollaborativ Beziehungen erstellen: Semantik! </li></ul><ul><li>Relationen: </li></ul><ul><li>is-a Person, has-gender Mann, has-profession Schauspieler </li></ul>www.imagenotion.com
  20. 20. Semantische Beschriftung von Bildern <ul><li>Beispiel: Beschriftung von Bildteil </li></ul>www.imagenotion.com
  21. 21. Ergebnis: ein integrierter Arbeitsablauf www.imagenotion.com
  22. 22. Kombination von automatischen Prozessen <ul><li>Automatische Prozesse in ImageNotion </li></ul><ul><ul><li>Gesichtsdetektion und Erkennung </li></ul></ul><ul><ul><li>Erkennung von Geschlecht und Gemütszuständen (glücklich, traurig, …) </li></ul></ul><ul><ul><li>Personenerkennung </li></ul></ul><ul><ul><li>Erkennung von Objekten, z.B. Autos und Flugzeuge </li></ul></ul><ul><ul><li>Erkennung von Text in bestehenden, textbasierten Beschriftungen </li></ul></ul>www.imagenotion.com
  23. 23. Beispiel www.imagenotion.com Caption „Prof. Dr. Bernd Raffelhächen unterrichtet Finanzwissenschaft an der Universitä Freiburg; Prof. Dr. Bernd Raffelhäschen an der Uni Freiburg”
  24. 24. Zusammenfassung <ul><li>ImageNotion </li></ul><ul><li>Ergebnis aus Benutzerstudien: </li></ul><ul><ul><li>semantische Technologien leicht verständlich in ImageNotion </li></ul></ul><ul><ul><li>Praktische Nutzbarkeit von Ontologien mit ImageNotion Methode </li></ul></ul><ul><li>Automatische Prozesse </li></ul><ul><ul><li>Vielzahl von Prozessen, miteinander kombinierbar! </li></ul></ul><ul><li>=> Gewünschte Zeitersparnis umgesetzt </li></ul><ul><ul><li>Durchgeführte Messungen ergaben Zeitersparnis von ca. 30 Prozent bei Bildbeschriftung mit ImageNotion (vergleich zu textbasierter Beschriftung) </li></ul></ul>www.imagenotion.com
  25. 25. Aktuelle Arbeit : Unsere Vision <ul><li>Aktuell </li></ul><ul><li>ImageNotion als Software-as-a-Service </li></ul><ul><li>Vision </li></ul><ul><li>Große Menge an Benutzern, beschriften Bilder </li></ul><ul><ul><li>Kollaborative Erstellung von semantischen Elementen </li></ul></ul><ul><ul><li>Kollaboratives Training von automatischen Prozessen </li></ul></ul><ul><ul><ul><li>Training von Objekten </li></ul></ul></ul><ul><ul><ul><li>Training von Gesichtern </li></ul></ul></ul><ul><ul><li>Kollaborative Erstellung von Trainingsdaten </li></ul></ul><ul><ul><li>Wiederverwendbarkeit auf großer Wissensbasis </li></ul></ul>www.imagenotion.com
  26. 26. Screen Video www.imagenotion.com
  27. 27. ImageNotion: Kontakt <ul><li>Andreas Walter </li></ul><ul><ul><li>Tel: 0721 / 9654 724 </li></ul></ul><ul><ul><li>E-Mail: awalter@fzi.de </li></ul></ul><ul><li>Webseite: www.imagenotion.com </li></ul>www.imagenotion.com

×