SlideShare ist ein Scribd-Unternehmen logo
Kompetenzmessung durch
Datenanalyse für E-Assessment
Prof. Dr. Andreas Thor & Roy Meissner
Hochschule für Telekommunikation Leipzig & Universität Leipzig
thor@hft-leipzig.de, roy.meissner@uni-leipzig.de
Im Rahmen des tech4comp Projektes
2@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Projekt tech4comp
● BMBF-Projekt, 7,3 Mio. €, 3 ½ Jahre bis 2022, 34 Mitwirkende
● Thematik: Personalisierte Kompetenzentwicklung durch
skalierbare (E-)Mentoringprozesse
● Teilgebiet Uni-Leipzig (DB):
● E-Assessment (Modulbegleitend & Prüfung)
● Kompetenzermittlung durch Assessment-Analyse
3@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
E-Assessment-Item (Single-Choice-Beispiel)
4@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Datenanalyse für E-Assessment
• Item-basierte Analyse, u.a.
• Schwierigkeitsgrad
• Trennschärfe
• …
• Nutzer-basierte Analyse
• Durchschnitts- / Gesamtpunktzahl
• Rankings / Perzentilen
• …
• Kompetenzprofile?
• Ausnutzen falscher Antworten?
Item
Nr.
Nutzer
A B
1
2
3
4
5
6
7
8
9
10
5@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Annotation von Items mit Metadaten
Anforderungsstufe
Thema
6@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Item Nutzer
Nr. Thema Anford. St. A B
1 RM Erinnern
3 SQL Erinnern
4 RM Erinnern
7 SQL Erinnern
10 SQL Erinnern
2 RM Verstehen
5 SQL Verstehen
9 RM Verstehen
6 RM Anwenden
8 SQL Anwenden
Datenanalyse für E-Assessment mit Metadaten
Item Nutzer
Nr. Thema Anford. St. A B
1 RM Erinnern
2 RM Verstehen
3 SQL Erinnern
4 RM Erinnern
5 SQL Verstehen
6 RM Anwenden
7 SQL Erinnern
8 SQL Anwenden
9 RM Verstehen
10 SQL Erinnern
7@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Identifikation von Kompetenzen bei falschen Antworten
5 + 3 =
8 – 1 =
4
2
5 + 3 =
8 – 1 =
2
9
A B
Erinnern
Verstehen
Anwenden
Analysieren
Evaluieren
Erschaffen
Berechnung Summe & Differenz
Zuordnung Symbol & Operation
8@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Kompetenzanalyse durch E-Assessment
• Automatische Annotation von Items mit Metadaten (u.a.
Anforderungsstufe) als Grundlage zur Identifikation von
Kompetenzprofilen durch Datenanalyse / Data Mining
• Automatische Generierung und Strukturierung von Items
zur Identifikation von Teilkompetenzen, z.B. auf niedrigerer
Anforderungsstufe, bei (teilweise) falschen Antworten
Das E-Assessment-Literacy Tool
www.easlit.de
9@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Vokabular & Shapes für E-Assessment
●
Auf Basis von RDF(S) und SHACL (explizit nicht OWL)
– Aufspannen eines Konzept- und Eigenschafts-Raums
– Intendierte Nutzung auf Basis von SHACL Shapes
eal:Item
a rdfs:Class ;
rdfs:comment "Super Class ..."@en ;
rdfs:label "Question Item"@en .
eal:FreeTextItem
a rdfs:Class ;
rdfs:comment "A free text item"@en ;
rdfs:label "Free Text Item"@en ;
rdfs:subClassOf eal:Item .
eal:ItemShape
a sh:NodeShape ;
sh:targetClass eal:Item, eal:FreeTextItem ;
sh:property [
a sh:PropertyShape ;
sh:path dct:title ;
sh:dataType xsd:string ;
sh:minCount 1 ;
sh:maxCount 1 .
] ;
… .
https://gitlab.com/Tech4Comp/eal-vocabulary-and-shapes
10@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Herausforderungen Vokabular & Shapes
●
Aus Vokabular und Shapes visuelle Graphen
generieren
●
Tool-Unterstützung für Passung von Vokabular,
Shapes und Standarddaten
●
Shacl-Shapes vglw. neu
– Wenig Tool-Unterstützung
– Existierende Tools unterstützen nicht
die volle Shacl Spezifikation
– Shape Nutzung für „on the fly“ Schema Validierung
11@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Automatisierte thematische Einordnung
● „Gegeben seien die Relationenschemata R (a,b) und S (c,d). Attribut b
ist ein Fremdschlüssel auf S mit der Löschregel ON DELETE CASCADE.
Bei welchem der folgenden Ereignisse kommt die Löschregel zur
Anwendung?“
Begriffe:
● Löschregel (Regel)
● Anwendung
● Attribut
● Fremdschlüssel (Schlüssel)
● Ereignis
●
Relationenschemata
(Schemata)●
http://de.dbpedia.org/resource/Eigenschaft
●
http://de.dbpedia.org/resource/
Schlüssel_(Datenbank)
Text-
Analyse
DBpedia-
Spotlight
12@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Automatisierte thematische Einordnung
Schlüssel label:
unique key
Wikidata:
primary key
subject:Data
Modeling
subClassOf:
unique key
also known
as: ...
Beste
Abbildung
part of:
relational database Ergibt:
●
Datenmodellierung
●
Primärschlüssel
(Schlüssel)
●
Relational
●
Datenbank
●
…
Begriffe:
●
Löschregel (Regel)
●
Anwendung
●
Attribut
●
Fremdschlüssel (Schlüssel)
●
Ereignis
●
Relationenschemata (Schemata)
Domänenmodell
Datenbank
Löschregel
Tabelle
Schlüssel
Relational Primärschlüssel
Spalte
Cluster Relationale Datenbanken
13@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Datenaustausch per QUIT-Store
Quit
Service A
Service B
Service C
Web
Uni-Leipzig
Git-Upstreams (Push/Pull)
Sparql
Quit
Service A
Service E
Service C
Uni-Halle
Sparql
Service D
14@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Quit
{ }
Concepts-Graph
{ }
Data-Graph
https://eal.uni-leipzig.de/data
- https://eal.uni-leipzig.de/item/1
- ...
https://eal.uni-leipzig.de/concepts
- https://tech4comp.org/Item
- ...
15@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Herausforderungen
● Datentausch erzeugt neue Graphen in Ziel-Store
– Transfer problemlos (Graphen sind isomorph)
– Custom/Selektiver-Merge zw. (Daten-)Graphen nötig
– Ohne Custom-Merge keine Synchronizität der Daten
– Weicht von Git-Flow ab
– Store muss Blank-Node Management unterstützen
● (Teil-)Lösung: Aufgabe von Linked-Data Prinzipien
– Graph-Bezeichner und URI-Prefixes in jedem Store gleich
● Bspw. http://tech4comp.org/…
– URIs werden wie herkömmliche IDs genutzt (nicht wie Verweise)
– Probleme:
● Keine Linked-Data Vorteile mehr
● Software muss herkömmlich implementiert werden

Weitere ähnliche Inhalte

Ähnlich wie tech4comp - Kompetenzmessung durch Datenanalyse für E-Assessment

Analytics meets Big Data – R/Python auf der Hadoop/Spark-Plattform
Analytics meets Big Data – R/Python auf der Hadoop/Spark-PlattformAnalytics meets Big Data – R/Python auf der Hadoop/Spark-Plattform
Analytics meets Big Data – R/Python auf der Hadoop/Spark-Plattform
Rising Media Ltd.
 
Text Analytics - Kommunikation systematisch analysieren
Text Analytics - Kommunikation systematisch analysierenText Analytics - Kommunikation systematisch analysieren
Text Analytics - Kommunikation systematisch analysieren
Jens Albrecht
 
Objekt-Relationales Mapping - von Java zu relationalen DBs
Objekt-Relationales Mapping - von Java zu relationalen DBsObjekt-Relationales Mapping - von Java zu relationalen DBs
Objekt-Relationales Mapping - von Java zu relationalen DBs
Sebastian Dietrich
 
IT-Tage 2017: Visuelle Analyse komplexer Datenbestände am Beispiel der Panama...
IT-Tage 2017: Visuelle Analyse komplexer Datenbestände am Beispiel der Panama...IT-Tage 2017: Visuelle Analyse komplexer Datenbestände am Beispiel der Panama...
IT-Tage 2017: Visuelle Analyse komplexer Datenbestände am Beispiel der Panama...
Karin Patenge
 
Cognitive Computing in der Finanzindustrie
Cognitive Computing in der FinanzindustrieCognitive Computing in der Finanzindustrie
Cognitive Computing in der Finanzindustrie
scopeKM GmbH Knowledge Management
 
eoda R-Akademie 2014
eoda R-Akademie 2014 eoda R-Akademie 2014
eoda R-Akademie 2014
eoda GmbH
 
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem VormarschVon Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
enpit GmbH & Co. KG
 
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem VormarschVon Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Andreas Koop
 
Digitale Transformation und L&D - Personal Süd 2017
Digitale Transformation und L&D - Personal Süd 2017Digitale Transformation und L&D - Personal Süd 2017
Digitale Transformation und L&D - Personal Süd 2017
scil CH
 
Präsentationen der 29 Studierenden-Apps der Open Data Vorlesung 2014
Präsentationen der 29 Studierenden-Apps der Open Data Vorlesung 2014Präsentationen der 29 Studierenden-Apps der Open Data Vorlesung 2014
Präsentationen der 29 Studierenden-Apps der Open Data Vorlesung 2014Matthias Stürmer
 
Google Analytics Konferenz 2019_Vom Reporting zu Insights_Maike Duhr (lunapar...
Google Analytics Konferenz 2019_Vom Reporting zu Insights_Maike Duhr (lunapar...Google Analytics Konferenz 2019_Vom Reporting zu Insights_Maike Duhr (lunapar...
Google Analytics Konferenz 2019_Vom Reporting zu Insights_Maike Duhr (lunapar...
e-dialog GmbH
 
Dietze linked data-vr-es
Dietze linked data-vr-esDietze linked data-vr-es
Dietze linked data-vr-es
Stefan Dietze
 
scopeKM: Chancen und Risiken erkennen mit der textanalytischen Lösung Luxid®
scopeKM: Chancen und Risiken erkennen mit der textanalytischen Lösung Luxid® scopeKM: Chancen und Risiken erkennen mit der textanalytischen Lösung Luxid®
scopeKM: Chancen und Risiken erkennen mit der textanalytischen Lösung Luxid®
scopeKM GmbH Knowledge Management
 
Einsatz von Open Data für agile Wissensvermittlung
Einsatz von Open Data für agile WissensvermittlungEinsatz von Open Data für agile Wissensvermittlung
Einsatz von Open Data für agile WissensvermittlungMonika Steinberg
 
Open Source Software zur Verarbeitung und Analyse von Metadatenmanagement
Open Source Software zur Verarbeitung und Analyse von MetadatenmanagementOpen Source Software zur Verarbeitung und Analyse von Metadatenmanagement
Open Source Software zur Verarbeitung und Analyse von Metadatenmanagement
Magnus Pfeffer
 
Von Textwüsten zu Forschungsdateninfrastrukturen mit Wissensgraphen
Von Textwüsten zu Forschungsdateninfrastrukturen mit WissensgraphenVon Textwüsten zu Forschungsdateninfrastrukturen mit Wissensgraphen
Von Textwüsten zu Forschungsdateninfrastrukturen mit Wissensgraphen
Ricardo Usbeck
 
Verarbeitung von Sacherschließungselementen - GfKl_Hildesheim 2012
Verarbeitung von Sacherschließungselementen - GfKl_Hildesheim 2012Verarbeitung von Sacherschließungselementen - GfKl_Hildesheim 2012
Verarbeitung von Sacherschließungselementen - GfKl_Hildesheim 2012
Haake
 
Market Research Meets Business Intelligence
Market Research Meets Business IntelligenceMarket Research Meets Business Intelligence
Market Research Meets Business Intelligence
DataLion
 
eoda R-Akademie 2015_Kursprogramm
eoda R-Akademie 2015_Kursprogrammeoda R-Akademie 2015_Kursprogramm
eoda R-Akademie 2015_Kursprogramm
eoda GmbH
 
OPAL - Open Data Portal Germany
OPAL - Open Data Portal GermanyOPAL - Open Data Portal Germany
OPAL - Open Data Portal Germany
Adrian Wilke
 

Ähnlich wie tech4comp - Kompetenzmessung durch Datenanalyse für E-Assessment (20)

Analytics meets Big Data – R/Python auf der Hadoop/Spark-Plattform
Analytics meets Big Data – R/Python auf der Hadoop/Spark-PlattformAnalytics meets Big Data – R/Python auf der Hadoop/Spark-Plattform
Analytics meets Big Data – R/Python auf der Hadoop/Spark-Plattform
 
Text Analytics - Kommunikation systematisch analysieren
Text Analytics - Kommunikation systematisch analysierenText Analytics - Kommunikation systematisch analysieren
Text Analytics - Kommunikation systematisch analysieren
 
Objekt-Relationales Mapping - von Java zu relationalen DBs
Objekt-Relationales Mapping - von Java zu relationalen DBsObjekt-Relationales Mapping - von Java zu relationalen DBs
Objekt-Relationales Mapping - von Java zu relationalen DBs
 
IT-Tage 2017: Visuelle Analyse komplexer Datenbestände am Beispiel der Panama...
IT-Tage 2017: Visuelle Analyse komplexer Datenbestände am Beispiel der Panama...IT-Tage 2017: Visuelle Analyse komplexer Datenbestände am Beispiel der Panama...
IT-Tage 2017: Visuelle Analyse komplexer Datenbestände am Beispiel der Panama...
 
Cognitive Computing in der Finanzindustrie
Cognitive Computing in der FinanzindustrieCognitive Computing in der Finanzindustrie
Cognitive Computing in der Finanzindustrie
 
eoda R-Akademie 2014
eoda R-Akademie 2014 eoda R-Akademie 2014
eoda R-Akademie 2014
 
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem VormarschVon Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
 
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem VormarschVon Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
Von Big Data zu Künstlicher Intelligenz - Maschinelles Lernen auf dem Vormarsch
 
Digitale Transformation und L&D - Personal Süd 2017
Digitale Transformation und L&D - Personal Süd 2017Digitale Transformation und L&D - Personal Süd 2017
Digitale Transformation und L&D - Personal Süd 2017
 
Präsentationen der 29 Studierenden-Apps der Open Data Vorlesung 2014
Präsentationen der 29 Studierenden-Apps der Open Data Vorlesung 2014Präsentationen der 29 Studierenden-Apps der Open Data Vorlesung 2014
Präsentationen der 29 Studierenden-Apps der Open Data Vorlesung 2014
 
Google Analytics Konferenz 2019_Vom Reporting zu Insights_Maike Duhr (lunapar...
Google Analytics Konferenz 2019_Vom Reporting zu Insights_Maike Duhr (lunapar...Google Analytics Konferenz 2019_Vom Reporting zu Insights_Maike Duhr (lunapar...
Google Analytics Konferenz 2019_Vom Reporting zu Insights_Maike Duhr (lunapar...
 
Dietze linked data-vr-es
Dietze linked data-vr-esDietze linked data-vr-es
Dietze linked data-vr-es
 
scopeKM: Chancen und Risiken erkennen mit der textanalytischen Lösung Luxid®
scopeKM: Chancen und Risiken erkennen mit der textanalytischen Lösung Luxid® scopeKM: Chancen und Risiken erkennen mit der textanalytischen Lösung Luxid®
scopeKM: Chancen und Risiken erkennen mit der textanalytischen Lösung Luxid®
 
Einsatz von Open Data für agile Wissensvermittlung
Einsatz von Open Data für agile WissensvermittlungEinsatz von Open Data für agile Wissensvermittlung
Einsatz von Open Data für agile Wissensvermittlung
 
Open Source Software zur Verarbeitung und Analyse von Metadatenmanagement
Open Source Software zur Verarbeitung und Analyse von MetadatenmanagementOpen Source Software zur Verarbeitung und Analyse von Metadatenmanagement
Open Source Software zur Verarbeitung und Analyse von Metadatenmanagement
 
Von Textwüsten zu Forschungsdateninfrastrukturen mit Wissensgraphen
Von Textwüsten zu Forschungsdateninfrastrukturen mit WissensgraphenVon Textwüsten zu Forschungsdateninfrastrukturen mit Wissensgraphen
Von Textwüsten zu Forschungsdateninfrastrukturen mit Wissensgraphen
 
Verarbeitung von Sacherschließungselementen - GfKl_Hildesheim 2012
Verarbeitung von Sacherschließungselementen - GfKl_Hildesheim 2012Verarbeitung von Sacherschließungselementen - GfKl_Hildesheim 2012
Verarbeitung von Sacherschließungselementen - GfKl_Hildesheim 2012
 
Market Research Meets Business Intelligence
Market Research Meets Business IntelligenceMarket Research Meets Business Intelligence
Market Research Meets Business Intelligence
 
eoda R-Akademie 2015_Kursprogramm
eoda R-Akademie 2015_Kursprogrammeoda R-Akademie 2015_Kursprogramm
eoda R-Akademie 2015_Kursprogramm
 
OPAL - Open Data Portal Germany
OPAL - Open Data Portal GermanyOPAL - Open Data Portal Germany
OPAL - Open Data Portal Germany
 

Mehr von Leipziger Semantic Web Tag

GeniusTex - a Smart Textiles innovation platform with semantic technologies i...
GeniusTex - a Smart Textiles innovation platform with semantic technologies i...GeniusTex - a Smart Textiles innovation platform with semantic technologies i...
GeniusTex - a Smart Textiles innovation platform with semantic technologies i...
Leipziger Semantic Web Tag
 
Präsentation der Semantic Web Lehrkonzepte an der TH Brandenburg
Präsentation der Semantic Web Lehrkonzepte an der TH Brandenburg Präsentation der Semantic Web Lehrkonzepte an der TH Brandenburg
Präsentation der Semantic Web Lehrkonzepte an der TH Brandenburg
Leipziger Semantic Web Tag
 
Semantic Web in the Digital Humanities
Semantic Web in the Digital HumanitiesSemantic Web in the Digital Humanities
Semantic Web in the Digital Humanities
Leipziger Semantic Web Tag
 
Knowledge Graphs for Scholarly Communication
Knowledge Graphs for Scholarly CommunicationKnowledge Graphs for Scholarly Communication
Knowledge Graphs for Scholarly Communication
Leipziger Semantic Web Tag
 
Das QROWD-Projekt - Because Big Data Integration is Humanly Possible
Das QROWD-Projekt - Because Big Data Integration is Humanly PossibleDas QROWD-Projekt - Because Big Data Integration is Humanly Possible
Das QROWD-Projekt - Because Big Data Integration is Humanly Possible
Leipziger Semantic Web Tag
 
An Ontology Engineering Approach to Support Personalized Gamification of CSCL
An Ontology Engineering Approach to Support Personalized Gamification of CSCLAn Ontology Engineering Approach to Support Personalized Gamification of CSCL
An Ontology Engineering Approach to Support Personalized Gamification of CSCL
Leipziger Semantic Web Tag
 
The DBpedia databus
The DBpedia databusThe DBpedia databus
The DBpedia databus
Leipziger Semantic Web Tag
 
PlatonaM - Plattform-Ökosystem for innovative maintenance management through ...
PlatonaM - Plattform-Ökosystem for innovative maintenance management through ...PlatonaM - Plattform-Ökosystem for innovative maintenance management through ...
PlatonaM - Plattform-Ökosystem for innovative maintenance management through ...
Leipziger Semantic Web Tag
 
Jekyll RDF
Jekyll RDFJekyll RDF
Mushroom Effect or Why You Need Knowledge Graphs for Dialogue Systems
Mushroom Effect or Why You Need Knowledge Graphs for Dialogue SystemsMushroom Effect or Why You Need Knowledge Graphs for Dialogue Systems
Mushroom Effect or Why You Need Knowledge Graphs for Dialogue Systems
Leipziger Semantic Web Tag
 
xCOR - a Value Chain Framework Ontology
xCOR - a Value Chain Framework OntologyxCOR - a Value Chain Framework Ontology
xCOR - a Value Chain Framework Ontology
Leipziger Semantic Web Tag
 
Linked Data Publication Pipelines for Agri-Related use cases
Linked Data Publication Pipelines for Agri-Related use casesLinked Data Publication Pipelines for Agri-Related use cases
Linked Data Publication Pipelines for Agri-Related use cases
Leipziger Semantic Web Tag
 
Das LIMBO Projekt – Linked Data Enterprise Use-Cases unter Verwendung der Dat...
Das LIMBO Projekt – Linked Data Enterprise Use-Cases unter Verwendung der Dat...Das LIMBO Projekt – Linked Data Enterprise Use-Cases unter Verwendung der Dat...
Das LIMBO Projekt – Linked Data Enterprise Use-Cases unter Verwendung der Dat...
Leipziger Semantic Web Tag
 
SNIK: An Ontology of Information Management in Hospitals
SNIK: An Ontology of Information Management in HospitalsSNIK: An Ontology of Information Management in Hospitals
SNIK: An Ontology of Information Management in Hospitals
Leipziger Semantic Web Tag
 
The WUMM Project Semantic Data and Innovation Management
The WUMM Project Semantic Data and Innovation ManagementThe WUMM Project Semantic Data and Innovation Management
The WUMM Project Semantic Data and Innovation Management
Leipziger Semantic Web Tag
 
BEXIS 2 - Semantic Web Techniques in Research Data Management
BEXIS 2 - Semantic Web Techniques in Research Data ManagementBEXIS 2 - Semantic Web Techniques in Research Data Management
BEXIS 2 - Semantic Web Techniques in Research Data Management
Leipziger Semantic Web Tag
 
Towards a productive Linked Data environment within Enterprises
Towards a productive Linked Data environment within EnterprisesTowards a productive Linked Data environment within Enterprises
Towards a productive Linked Data environment within Enterprises
Leipziger Semantic Web Tag
 

Mehr von Leipziger Semantic Web Tag (17)

GeniusTex - a Smart Textiles innovation platform with semantic technologies i...
GeniusTex - a Smart Textiles innovation platform with semantic technologies i...GeniusTex - a Smart Textiles innovation platform with semantic technologies i...
GeniusTex - a Smart Textiles innovation platform with semantic technologies i...
 
Präsentation der Semantic Web Lehrkonzepte an der TH Brandenburg
Präsentation der Semantic Web Lehrkonzepte an der TH Brandenburg Präsentation der Semantic Web Lehrkonzepte an der TH Brandenburg
Präsentation der Semantic Web Lehrkonzepte an der TH Brandenburg
 
Semantic Web in the Digital Humanities
Semantic Web in the Digital HumanitiesSemantic Web in the Digital Humanities
Semantic Web in the Digital Humanities
 
Knowledge Graphs for Scholarly Communication
Knowledge Graphs for Scholarly CommunicationKnowledge Graphs for Scholarly Communication
Knowledge Graphs for Scholarly Communication
 
Das QROWD-Projekt - Because Big Data Integration is Humanly Possible
Das QROWD-Projekt - Because Big Data Integration is Humanly PossibleDas QROWD-Projekt - Because Big Data Integration is Humanly Possible
Das QROWD-Projekt - Because Big Data Integration is Humanly Possible
 
An Ontology Engineering Approach to Support Personalized Gamification of CSCL
An Ontology Engineering Approach to Support Personalized Gamification of CSCLAn Ontology Engineering Approach to Support Personalized Gamification of CSCL
An Ontology Engineering Approach to Support Personalized Gamification of CSCL
 
The DBpedia databus
The DBpedia databusThe DBpedia databus
The DBpedia databus
 
PlatonaM - Plattform-Ökosystem for innovative maintenance management through ...
PlatonaM - Plattform-Ökosystem for innovative maintenance management through ...PlatonaM - Plattform-Ökosystem for innovative maintenance management through ...
PlatonaM - Plattform-Ökosystem for innovative maintenance management through ...
 
Jekyll RDF
Jekyll RDFJekyll RDF
Jekyll RDF
 
Mushroom Effect or Why You Need Knowledge Graphs for Dialogue Systems
Mushroom Effect or Why You Need Knowledge Graphs for Dialogue SystemsMushroom Effect or Why You Need Knowledge Graphs for Dialogue Systems
Mushroom Effect or Why You Need Knowledge Graphs for Dialogue Systems
 
xCOR - a Value Chain Framework Ontology
xCOR - a Value Chain Framework OntologyxCOR - a Value Chain Framework Ontology
xCOR - a Value Chain Framework Ontology
 
Linked Data Publication Pipelines for Agri-Related use cases
Linked Data Publication Pipelines for Agri-Related use casesLinked Data Publication Pipelines for Agri-Related use cases
Linked Data Publication Pipelines for Agri-Related use cases
 
Das LIMBO Projekt – Linked Data Enterprise Use-Cases unter Verwendung der Dat...
Das LIMBO Projekt – Linked Data Enterprise Use-Cases unter Verwendung der Dat...Das LIMBO Projekt – Linked Data Enterprise Use-Cases unter Verwendung der Dat...
Das LIMBO Projekt – Linked Data Enterprise Use-Cases unter Verwendung der Dat...
 
SNIK: An Ontology of Information Management in Hospitals
SNIK: An Ontology of Information Management in HospitalsSNIK: An Ontology of Information Management in Hospitals
SNIK: An Ontology of Information Management in Hospitals
 
The WUMM Project Semantic Data and Innovation Management
The WUMM Project Semantic Data and Innovation ManagementThe WUMM Project Semantic Data and Innovation Management
The WUMM Project Semantic Data and Innovation Management
 
BEXIS 2 - Semantic Web Techniques in Research Data Management
BEXIS 2 - Semantic Web Techniques in Research Data ManagementBEXIS 2 - Semantic Web Techniques in Research Data Management
BEXIS 2 - Semantic Web Techniques in Research Data Management
 
Towards a productive Linked Data environment within Enterprises
Towards a productive Linked Data environment within EnterprisesTowards a productive Linked Data environment within Enterprises
Towards a productive Linked Data environment within Enterprises
 

tech4comp - Kompetenzmessung durch Datenanalyse für E-Assessment

  • 1. Kompetenzmessung durch Datenanalyse für E-Assessment Prof. Dr. Andreas Thor & Roy Meissner Hochschule für Telekommunikation Leipzig & Universität Leipzig thor@hft-leipzig.de, roy.meissner@uni-leipzig.de Im Rahmen des tech4comp Projektes
  • 2. 2@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Projekt tech4comp ● BMBF-Projekt, 7,3 Mio. €, 3 ½ Jahre bis 2022, 34 Mitwirkende ● Thematik: Personalisierte Kompetenzentwicklung durch skalierbare (E-)Mentoringprozesse ● Teilgebiet Uni-Leipzig (DB): ● E-Assessment (Modulbegleitend & Prüfung) ● Kompetenzermittlung durch Assessment-Analyse
  • 3. 3@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner E-Assessment-Item (Single-Choice-Beispiel)
  • 4. 4@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Datenanalyse für E-Assessment • Item-basierte Analyse, u.a. • Schwierigkeitsgrad • Trennschärfe • … • Nutzer-basierte Analyse • Durchschnitts- / Gesamtpunktzahl • Rankings / Perzentilen • … • Kompetenzprofile? • Ausnutzen falscher Antworten? Item Nr. Nutzer A B 1 2 3 4 5 6 7 8 9 10
  • 5. 5@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Annotation von Items mit Metadaten Anforderungsstufe Thema
  • 6. 6@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Item Nutzer Nr. Thema Anford. St. A B 1 RM Erinnern 3 SQL Erinnern 4 RM Erinnern 7 SQL Erinnern 10 SQL Erinnern 2 RM Verstehen 5 SQL Verstehen 9 RM Verstehen 6 RM Anwenden 8 SQL Anwenden Datenanalyse für E-Assessment mit Metadaten Item Nutzer Nr. Thema Anford. St. A B 1 RM Erinnern 2 RM Verstehen 3 SQL Erinnern 4 RM Erinnern 5 SQL Verstehen 6 RM Anwenden 7 SQL Erinnern 8 SQL Anwenden 9 RM Verstehen 10 SQL Erinnern
  • 7. 7@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Identifikation von Kompetenzen bei falschen Antworten 5 + 3 = 8 – 1 = 4 2 5 + 3 = 8 – 1 = 2 9 A B Erinnern Verstehen Anwenden Analysieren Evaluieren Erschaffen Berechnung Summe & Differenz Zuordnung Symbol & Operation
  • 8. 8@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Kompetenzanalyse durch E-Assessment • Automatische Annotation von Items mit Metadaten (u.a. Anforderungsstufe) als Grundlage zur Identifikation von Kompetenzprofilen durch Datenanalyse / Data Mining • Automatische Generierung und Strukturierung von Items zur Identifikation von Teilkompetenzen, z.B. auf niedrigerer Anforderungsstufe, bei (teilweise) falschen Antworten Das E-Assessment-Literacy Tool www.easlit.de
  • 9. 9@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Vokabular & Shapes für E-Assessment ● Auf Basis von RDF(S) und SHACL (explizit nicht OWL) – Aufspannen eines Konzept- und Eigenschafts-Raums – Intendierte Nutzung auf Basis von SHACL Shapes eal:Item a rdfs:Class ; rdfs:comment "Super Class ..."@en ; rdfs:label "Question Item"@en . eal:FreeTextItem a rdfs:Class ; rdfs:comment "A free text item"@en ; rdfs:label "Free Text Item"@en ; rdfs:subClassOf eal:Item . eal:ItemShape a sh:NodeShape ; sh:targetClass eal:Item, eal:FreeTextItem ; sh:property [ a sh:PropertyShape ; sh:path dct:title ; sh:dataType xsd:string ; sh:minCount 1 ; sh:maxCount 1 . ] ; … . https://gitlab.com/Tech4Comp/eal-vocabulary-and-shapes
  • 10. 10@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Herausforderungen Vokabular & Shapes ● Aus Vokabular und Shapes visuelle Graphen generieren ● Tool-Unterstützung für Passung von Vokabular, Shapes und Standarddaten ● Shacl-Shapes vglw. neu – Wenig Tool-Unterstützung – Existierende Tools unterstützen nicht die volle Shacl Spezifikation – Shape Nutzung für „on the fly“ Schema Validierung
  • 11. 11@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Automatisierte thematische Einordnung ● „Gegeben seien die Relationenschemata R (a,b) und S (c,d). Attribut b ist ein Fremdschlüssel auf S mit der Löschregel ON DELETE CASCADE. Bei welchem der folgenden Ereignisse kommt die Löschregel zur Anwendung?“ Begriffe: ● Löschregel (Regel) ● Anwendung ● Attribut ● Fremdschlüssel (Schlüssel) ● Ereignis ● Relationenschemata (Schemata)● http://de.dbpedia.org/resource/Eigenschaft ● http://de.dbpedia.org/resource/ Schlüssel_(Datenbank) Text- Analyse DBpedia- Spotlight
  • 12. 12@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Automatisierte thematische Einordnung Schlüssel label: unique key Wikidata: primary key subject:Data Modeling subClassOf: unique key also known as: ... Beste Abbildung part of: relational database Ergibt: ● Datenmodellierung ● Primärschlüssel (Schlüssel) ● Relational ● Datenbank ● … Begriffe: ● Löschregel (Regel) ● Anwendung ● Attribut ● Fremdschlüssel (Schlüssel) ● Ereignis ● Relationenschemata (Schemata) Domänenmodell Datenbank Löschregel Tabelle Schlüssel Relational Primärschlüssel Spalte Cluster Relationale Datenbanken
  • 13. 13@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Datenaustausch per QUIT-Store Quit Service A Service B Service C Web Uni-Leipzig Git-Upstreams (Push/Pull) Sparql Quit Service A Service E Service C Uni-Halle Sparql Service D
  • 14. 14@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Quit { } Concepts-Graph { } Data-Graph https://eal.uni-leipzig.de/data - https://eal.uni-leipzig.de/item/1 - ... https://eal.uni-leipzig.de/concepts - https://tech4comp.org/Item - ...
  • 15. 15@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Herausforderungen ● Datentausch erzeugt neue Graphen in Ziel-Store – Transfer problemlos (Graphen sind isomorph) – Custom/Selektiver-Merge zw. (Daten-)Graphen nötig – Ohne Custom-Merge keine Synchronizität der Daten – Weicht von Git-Flow ab – Store muss Blank-Node Management unterstützen ● (Teil-)Lösung: Aufgabe von Linked-Data Prinzipien – Graph-Bezeichner und URI-Prefixes in jedem Store gleich ● Bspw. http://tech4comp.org/… – URIs werden wie herkömmliche IDs genutzt (nicht wie Verweise) – Probleme: ● Keine Linked-Data Vorteile mehr ● Software muss herkömmlich implementiert werden