Maandag 10 november 2014
Sessieronde 2
Titel: Meer dan meerkeuze: Sneller en beter feedback geven met digitale tools
Spreker: Sanne Gratama van Andel (Universiteit Utrecht)
Zaal: Rotterdam Hall
Meer dan meerkeuze - Sanne Gratama van Andel - OWD14
1. Sneller en beter feedback
geven met digitale tools
SCALA-project
Programma toetsing en toetsgestuurd leren
www.surf.nl/scala
De projectgroep:
Patris van Boxel
Janneke van der Hulst
Ineke van den Berg
Sumit Mehra
José Beijer
Annelies Riteco
Sanne Meeder
Sanne Gratama van Andel
5. SCALA hergebruik feedback
Voorgestructureerde feedback in een set: Quickmarks
Via drag en drop
Plaatjes 3,4 en 5
6. SCALA
• Gebruik van Quickmark sets door groep docenten
• Standaardisering van feedback
Plaatje 6
7. SCALA: rubric
• Transparante criteria voor docenten
– Verhoogt consistentie / betrouwbaarheid van
beoordelingen
• Transparantie criteria voor studenten
– Geeft inzicht in aspecten waarop beoordeeld wordt
– Geeft niveau aan dat verwacht wordt / waar naar
gestreefd dient te worden
– Bevordert zelfreflectie / zelfsturing
9. SCALA
• 28 pilots (21 Turnitin, 7 Winvision)
Grote variatie van pilots:
• Rubric vs geen rubric
• Docenten feedback
• Peer feedback
• Gebruik van Quickmarks
• Gebruik van beoordelingscriteria
• Één of meer docenten
• Grote en kleine groepen
10. SCALA deliverables
• Onderzoeksrapportage
• Good practice beschrijving
• Voorbeelden van rubrics en quickmarksets
• Voorbeelden van trainingsmateriaal
Allemaal vindbaar op: www.surf.nl/scala
11. SCALA: De Resultaten
Tijdsbesparing
Docenten (n=67)
• Bijna 40% geeft aan minder tijd te hebben besteed,
gemiddeld 25% tijdswinst
• Bij herhaald gebruik ervaren meer docenten tijdswinst
Let wel:
• Het ontwikkelen van rubrics, quickmarks en
beoordelingscriteria vraagt eerst een tijdsinvestering
12. SCALA: De resultaten
Waarin zit de tijdswinst
• Bij gebruik van rubrics
• Hergebruik van feedback dmv quickmarks leidt tot
tijdswinst
• Bij gebruik van vaste sets beoordelingscriteria
• Minder administratieve rompslomp
• Peerfeedback, met name faciliteren
13. SCALA: De Resultaten
Kwaliteitsverbetering
Docenten (n=67):
• 40% van de docenten geeft aan dat de kwaliteit van de
feedback is toegenomen
• Beoordeling is uniformer
• Beoordeling transparanter voor studenten en
mededocenten
Studenten (n=552):
• Beoordelen feedback met een 7,1
• 71% vindt de hoeveelheid feedback voldoende
14. SCALA samenvatting en conclusie
• 40% heeft tijd bespaard
• 40% van de docenten geeft aan dat er kwaliteitsverbetering
is
• Tijdsbesparing is niet ten koste gegaan van de kwaliteit
• 65% vond het systeem een handig middel
• 85% van de docenten wil vaker deze systemen gebruiken
15. DEMO
• Mocht je na vandaag nog eens terug willen kijken, dan kan
dat op www.turnitin.com staan diverse filmpjes:
21. Bronnen
• Plaatje 1: gevonden op 8 oktober 2013 op
:http://euangelizomai.blogspot.nl/2006/06/grading-papers.
html
• Plaatje 2:gemaakt door Patris van Boxel, oktober 2012 via
http://www.wordle.net/createv
• Plaatjes 3, 4 en 5, gevonden op 8 oktober 2013 op:
http://www.turnitin.com/en_us/features/grademark
• Plaatje 6: gevonden op 8 oktober 2013 op:
http://www.infrasec.nl/?PageID=18&menu=84
Hinweis der Redaktion
Scala staat voor scaffolding assessment for learning. Het project wordt uitgevoerd door de hogeschool van amsterdam, de hogeschool Utrecht, de vrije universiteit en universiteit utrecht. Het project liep van 2012 tot 2014.
In dit project hebben we onderzocht of digitale middelen het nakijken en beoordelen efficienter kunnen maken en tijdswinst kunnen opleveren. En gingen we na of de kwaliteit van feedback op geschreven producten als essays, papers, onderzoeksverslagen kan worden verbeterd. VU, UU, en HVA werken met Turnitin. Hogeschool Utrecht werkt met Winvision.
Het idee is dat een derde van de feedback die een docent geeft kan worden hergebruikt en dat je dus door het hergebruik tijd kunt besparen. Ik zal zo vertellen hoe dat werkt. De kwaliteit van de feedabck willen we verbeteren door gebruik te maken van rubrics, ook daar kom ik zo op terug.
In Turnitin is het mogelijk om feedback op te slaan. Er wordt dan een soort feedback knop of ballonnetje gemaakt zoals de blauwe knoppen op het plaatje. Deze worden quickmarks genoemd. De volgende keer dat je die zelfde feedback wilt geven sleep je met je muis het ballonnetje in de tekst op de goede plek. Dat scheelt tijd.
Ook is het mogelijk om van te voren een feedback set te ontwikkelen die door een groep docenten kan worden gebruikt. Op die manier wordt de feedback meer gestandaardiseerd. Het blijft mogelijk naast de quickmarks persoonlijke feedback te geven.
Door het gebruik van een rubric bij de beoordeling wordt het voor studenten duidelijker waar de beoordeling van hun werk op is gebaseerd. In de rubric kunnen studenten zien wat ze moeten doen om hun werk te verbeteren. Daarnaast zullen docenten die met dezelfde rubric werken eenduidiger gaan beoordelen.
Dit is een rubric zoals die er uit ziet in Turnitin. Op de verticale as staan de criteria met weging. Op de horizontale as staan de verschillende niveaus beschreven. Dit is een voorbeeld van een kwantitatieve rubric, er komt een cijfer uit. Je kunt ook voor een kwalitatieve rubric kiezen.
In het scala project hebben we 28 pilots uitgevoerd. Er is een grote variatie aan pilots. Veel pilots hebben gewerkt met een rubric, anderen met beoordelingscriteria. We hebben grote pilots van 300 studenten en 10 docenten en kleine pilots met een enkele docent en een paar studenten.
Die grote variatie maakt het onderzoek een beetje lastig. 1 maart 2014 verschijnt onze onderzoeksrapportage. Deze zullen we publiceren op de website. Verder presenteren we op de website 5 good practices en zijn er voorbeelden van rubrics, quickmarksets, handleidingen en trainingen te vinden.
Alle pilotdocenten zijn bevraagd of zij minder, evenveel of meer tijd hebben besteed aan nakijken dan in vorige jaren. Bijna 40% gaf aan minder tijd te hebben besteed, 45% evenveel en slechts 15% gaf aan meer tijd te hebben besteed. En dit terwijl het voor de meeste docenten de eerste keer was dat ze op deze manier werkten. Bij cursussen waarin al eerder op deze manier was nagekeken werd door meer docenten tijdswinat ervaren.
De verschillen in antwoorden zijn deels te verklaren door de mate van betrokkenheid bij het ontwikkelen van de rubrics, beoordelingscriteria en quickmarks.
Turnitin en Winvision bieden een handig overzicht van de ingeleverde opdrachten. Ook archiveren gaat makkelijker dan voorheen.