User study about semantic content annotation presented at Xinnovations 2012, September 2012 and at ISWC 2012 http://iswc2012.semanticweb.org/sites/default/files/76490161.pdf

1. Semantische Annotationen verstehen -
Ergebnisse zweier Nutzerstudien
Ralf Heese, Adrian Paschke, Annika Hinze, Alexa Schlegel
Xinnovations 2012, 12. September 2012, Berlin

2. 2
Markierungen in Texten
Kommentar
Symbol
überlappende
Markierungen
Kategorien
kurze/lange
Markierungen

3. 3
Begriffe
Annotationsinhalt
Textatom

4. 4
Use case: loomp
Kategorien
Annotationsinhalt
Textatom
Markierung

5. 5
Beispiel - Loomp: Semantische
Anreicherung von Inhalten
• Erzeuge semantisch angreicherten Inhalt …
• so einfach wie Auszeichnungen in Word,
• ohne Wissen über semantische Technologien,
• mit automatischer Unterstützung durch
Vorschlagsannotationen.
History
The earliest evidence of settlements in today's Berlin central areas is a wooden
beam dated from approximately 1192.[18] The first written mention of towns in the
area of present-day Berlin dates from the late twelfth century. The settlement of
Spandau is first mentioned in 1197, and Köpenick in 1209, though these areas did
not join Berlin until 1920.[19] The central part of Berlin can be traced back to two
towns. Cölln on the Fischerinsel is first mentioned in a 1237 document, and Berlin,
across the Spree in what is now called the Nikolaiviertel, is referenced in a document
from 1244.[18] The former is considered to be the "founding date…
City DistrictCountry Geography
CancelSave
Waters
VocabulariesAnnotations
Geography
Berlin is located in eastern Germany,
about 70 kilometers (44 miles) west …
Climate
Summers are warm with average high
temperatures of 22 - 25°C (mid 70s) …
SearchBerlin
One Click Annotator

6. 6
Kollaborative Semantische Annotation

7. 7
Aspekte von Annotationen
• Markieren von Textatomen
• Umgang mit überlappenden Markierung
• Verknüpfen von Markierung und
Annotationsinhalten
 Zwei Nutzerstudien

8. Einfache semantische Annotationen und
deren Visualisierung

9. 9
Erste Studie: Einfache semantische Annotationen
• Zuordnung von vordefinierten Kategorien
• Überlappende Annotationen
Überschneidung Inklusion
AngrenzungIdentität

10. 10
Zuordnungen und Überlappungen
• Hintergrundfarbe
• Unterstreichung
• Fettdruck
• Farbmischung
• Mischung von Textstilen
• Horiz./vert. Balken

11. 11
Design der Nutzerstudie
• Fokus
• Zuordnen von Kategorien
• Überlappungsarten
• kurze und lange Textatome
Balken-AnsichtBox-Ansicht

12. 12
Durchführung der Studie
• Web-Anwendung
• 12 TeilnehmerInnen
• 2 Pilottests
• 4 Phasen
• 2 Gruppen
Studie erklären
Ausprobieren
Aufgaben lösen
Fragebogen

13. 13
Hauptergebnis
• Balken-Ansicht  Lange Annotationen
• Box-Ansicht  Kurze Annotationen

14. Annotieren mit semantischen Identitäten

15. 15
Semantik in Annotationen
Freitext
Kategorien
Semantische
Identität

16. 16
Semantische Identität
• Feingranulare maschinelle Verarbeitung von Inhalten
 Zuordnen eines Identifikators zu einem Textatom
http://dbpedia.org/resource/Turkey

17. 17
Design der Studie
• Fokus
• Zuordnen von semantischen Identitäten
• Studie
• Paper Prototype
• 12 TeilnehmerInnen
• 4 Phasen

18. 18
Wahl der ID ist schwierig
Da müsste eine Liste aller
Kanzler der BRD sein.
Was ist das, sind das
ein oder zwei Flüsse?

19. 19
Nicht alle Annotationen waren korrekt
Irgendwie ist der ganze
Text ein politisches Event.
Ich würde einen
Kollegen fragen.

20. 20
Erkenntnisse
• Semantische Identitäten sind noch ungebräuchlich
• Task-Experte zusätzlich zum Domänenexperten
• Use Cases und Evaluationskriterien nötig

21. 21
Vielen Dank
• Ralf Heese
heese@inf.fu-berlin.de
• Adrian Paschke
paschke@inf.fu-berlin.de
• Annika Hinze
hinze@cs.waikato.ac.nz
1. Corporate Semantic Web http://www.corporate-semantic-web.de
2. User-guided Semantic Enrichment
http://www.csw.inf.fu-berlin.de/UserGuidedSemanticEnrichment/

22. 22
Links
• User-guided Semantic Enrichment Projekt
http://www.csw.inf.fu-berlin.de/UserGuidedSemanticEnrichment/
• Corporate Semantic Web Loomp
http://www.corporate-semantic-web.de/technologies.html
http://www.loomp.org/ Github: https://github.com/ag-csw/loomp
• Publications
• Annika Hinze, Ralf Heese, Markus Luczak-Rösch, Adrian Paschke: Semantic Enrichment by
Non-experts: Usability of Manual Annotation Tools. International Semantic Web Conference
(1) 2012: 165-181 (spotlight best paper at ISWC 2012)
• Annika Hinze, Ralf Heese, Alexa Schlegel, Markus Luczak-Rösch: User-Defined Semantic Enrichment of
Full-Text Documents: Experiences and Lessons Learned. TPDL 2012: 209-214
• Alexa Schlegel, Ralf Heese, Annika Hinze: Visualisation of Semantic Enrichment. GI-Jahrestagung
2012: 1047-1058
• Markus Luczak-Rösch, Ralf Heese, Adrian Paschke, "Future Content Authoring", In Nodilities – The
Magazine of the Semantic Web, Issue 11, pp. 17-18, 2010.
• Ralf Heese, Markus Luczak-Rösch, Adrian Paschke, Radoslaw Oldakowski and Olga Streibel, "One Click
Annotation", 6th Workshop on Scripting and Development for the Semantic Web, colocated with ESWC
2010, Crete, Greece, May 31, 2010.
• Markus Luczak-Rösch, Ralf Heese, Adrian Paschke, "Menschen und das Datenweb: Semantische
Textverarbeitung für Nicht-Experten Humans and the Web of Data", in i-com Volume 8, Issue 3, pp. 5-
11, 2009.
• Ralf Heese, Markus Luczak-Rösch, Adrian Paschke, Radoslaw Oldakowski and Olga Streibel, "One Click
Annotation" (Poster), Workshop on Collaborative Construction, Management and Linking of Structured
Knowledge (CK 2009) , colocated with ISWC 2009, Washington, DC., USA, October 25, 2009
• Markus Luczak-Rösch and Ralf Heese, "Linked Data Authoring for Non-Experts", Linked Data on the
Web Workshop at WWW2009, Madrid, Spain, April 20, 2009