Das Dokument beschreibt das BMBF-Projekt 'tech4comp', welches sich auf die personalisierte Kompetenzentwicklung mittels datengestützter Analysen im E-Assessment konzentriert. Es wird ein Ansatz zur Identifikation von Kompetenzprofilen durch automatische Annotation von Prüfungsitems sowie zur Analyse von Benutzerantworten vorgestellt. Zudem werden Herausforderungen bei der Implementierung und im Datenaustausch thematisiert.

1. Kompetenzmessung durch
Datenanalyse für E-Assessment
Prof. Dr. Andreas Thor & Roy Meissner
Hochschule für Telekommunikation Leipzig & Universität Leipzig
thor@hft-leipzig.de, roy.meissner@uni-leipzig.de
Im Rahmen des tech4comp Projektes

2. 2@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Projekt tech4comp
● BMBF-Projekt, 7,3 Mio. €, 3 ½ Jahre bis 2022, 34 Mitwirkende
● Thematik: Personalisierte Kompetenzentwicklung durch
skalierbare (E-)Mentoringprozesse
● Teilgebiet Uni-Leipzig (DB):
● E-Assessment (Modulbegleitend & Prüfung)
● Kompetenzermittlung durch Assessment-Analyse

3. 3@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
E-Assessment-Item (Single-Choice-Beispiel)

4. 4@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Datenanalyse für E-Assessment
• Item-basierte Analyse, u.a.
• Schwierigkeitsgrad
• Trennschärfe
• …
• Nutzer-basierte Analyse
• Durchschnitts- / Gesamtpunktzahl
• Rankings / Perzentilen
• …
• Kompetenzprofile?
• Ausnutzen falscher Antworten?
Item
Nr.
Nutzer
A B
1
2
3
4
5
6
7
8
9
10

5. 5@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Annotation von Items mit Metadaten
Anforderungsstufe
Thema

6. 6@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Item Nutzer
Nr. Thema Anford. St. A B
1 RM Erinnern
3 SQL Erinnern
4 RM Erinnern
7 SQL Erinnern
10 SQL Erinnern
2 RM Verstehen
5 SQL Verstehen
9 RM Verstehen
6 RM Anwenden
8 SQL Anwenden
Datenanalyse für E-Assessment mit Metadaten
Item Nutzer
Nr. Thema Anford. St. A B
1 RM Erinnern
2 RM Verstehen
3 SQL Erinnern
4 RM Erinnern
5 SQL Verstehen
6 RM Anwenden
7 SQL Erinnern
8 SQL Anwenden
9 RM Verstehen
10 SQL Erinnern

7. 7@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Identifikation von Kompetenzen bei falschen Antworten
5 + 3 =
8 – 1 =
4
2
5 + 3 =
8 – 1 =
2
9
A B
Erinnern
Verstehen
Anwenden
Analysieren
Evaluieren
Erschaffen
Berechnung Summe & Differenz
Zuordnung Symbol & Operation

8. 8@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Kompetenzanalyse durch E-Assessment
• Automatische Annotation von Items mit Metadaten (u.a.
Anforderungsstufe) als Grundlage zur Identifikation von
Kompetenzprofilen durch Datenanalyse / Data Mining
• Automatische Generierung und Strukturierung von Items
zur Identifikation von Teilkompetenzen, z.B. auf niedrigerer
Anforderungsstufe, bei (teilweise) falschen Antworten
Das E-Assessment-Literacy Tool
www.easlit.de

9. 9@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Vokabular & Shapes für E-Assessment
●
Auf Basis von RDF(S) und SHACL (explizit nicht OWL)
– Aufspannen eines Konzept- und Eigenschafts-Raums
– Intendierte Nutzung auf Basis von SHACL Shapes
eal:Item
a rdfs:Class ;
rdfs:comment "Super Class ..."@en ;
rdfs:label "Question Item"@en .
eal:FreeTextItem
a rdfs:Class ;
rdfs:comment "A free text item"@en ;
rdfs:label "Free Text Item"@en ;
rdfs:subClassOf eal:Item .
eal:ItemShape
a sh:NodeShape ;
sh:targetClass eal:Item, eal:FreeTextItem ;
sh:property [
a sh:PropertyShape ;
sh:path dct:title ;
sh:dataType xsd:string ;
sh:minCount 1 ;
sh:maxCount 1 .
] ;
… .
https://gitlab.com/Tech4Comp/eal-vocabulary-and-shapes

10. 10@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Herausforderungen Vokabular & Shapes
●
Aus Vokabular und Shapes visuelle Graphen
generieren
●
Tool-Unterstützung für Passung von Vokabular,
Shapes und Standarddaten
●
Shacl-Shapes vglw. neu
– Wenig Tool-Unterstützung
– Existierende Tools unterstützen nicht
die volle Shacl Spezifikation
– Shape Nutzung für „on the fly“ Schema Validierung

11. 11@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Automatisierte thematische Einordnung
● „Gegeben seien die Relationenschemata R (a,b) und S (c,d). Attribut b
ist ein Fremdschlüssel auf S mit der Löschregel ON DELETE CASCADE.
Bei welchem der folgenden Ereignisse kommt die Löschregel zur
Anwendung?“
Begriffe:
● Löschregel (Regel)
● Anwendung
● Attribut
● Fremdschlüssel (Schlüssel)
● Ereignis
●
Relationenschemata
(Schemata)●
http://de.dbpedia.org/resource/Eigenschaft
●
http://de.dbpedia.org/resource/
Schlüssel_(Datenbank)
Text-
Analyse
DBpedia-
Spotlight

12. 12@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Automatisierte thematische Einordnung
Schlüssel label:
unique key
Wikidata:
primary key
subject:Data
Modeling
subClassOf:
unique key
also known
as: ...
Beste
Abbildung
part of:
relational database Ergibt:
●
Datenmodellierung
●
Primärschlüssel
(Schlüssel)
●
Relational
●
Datenbank
●
…
Begriffe:
●
Löschregel (Regel)
●
Anwendung
●
Attribut
●
Fremdschlüssel (Schlüssel)
●
Ereignis
●
Relationenschemata (Schemata)
Domänenmodell
Datenbank
Löschregel
Tabelle
Schlüssel
Relational Primärschlüssel
Spalte
Cluster Relationale Datenbanken

13. 13@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Datenaustausch per QUIT-Store
Quit
Service A
Service B
Service C
Web
Uni-Leipzig
Git-Upstreams (Push/Pull)
Sparql
Quit
Service A
Service E
Service C
Uni-Halle
Sparql
Service D

14. 14@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Quit
{ }
Concepts-Graph
{ }
Data-Graph
https://eal.uni-leipzig.de/data
- https://eal.uni-leipzig.de/item/1
- ...
https://eal.uni-leipzig.de/concepts
- https://tech4comp.org/Item
- ...

15. 15@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Herausforderungen
● Datentausch erzeugt neue Graphen in Ziel-Store
– Transfer problemlos (Graphen sind isomorph)
– Custom/Selektiver-Merge zw. (Daten-)Graphen nötig
– Ohne Custom-Merge keine Synchronizität der Daten
– Weicht von Git-Flow ab
– Store muss Blank-Node Management unterstützen
● (Teil-)Lösung: Aufgabe von Linked-Data Prinzipien
– Graph-Bezeichner und URI-Prefixes in jedem Store gleich
● Bspw. http://tech4comp.org/…
– URIs werden wie herkömmliche IDs genutzt (nicht wie Verweise)
– Probleme:
● Keine Linked-Data Vorteile mehr
● Software muss herkömmlich implementiert werden