Deze presentatie geeft een overzicht hoe er in het AMC grote groepen studenten (n=360) getoetst worden op de PC.
Masterclass Digitaal Toetsen SURF, Saxxion Hogescholen, Deventer. 2009.
Didactic issues on using Audience Response Systems in education
Summatief digitaal toetsen van grote groepen studenten
1. Summatief toetsenvan grote groepen Drs. Nynke Bos Drs. Roel Sijstermans Onderwijs & Studentenzaken – ICT & Onderwijs Academisch Medisch Centrum – Universiteit van Amsterdam
2. Opbouw Meerwaarde digitaal toetsen Situatie in het AMC - Organisatie - Voorbeelden Digitaal toetsen vs. papieren toetsen Conclusies
3. Waarom digitaal toetsen? Waarom niet digitaal toetsen? “Ik ga digitaal toetsen omdat ik niet achter wil blijven” “Snel klaar met nakijken” “Geen papier” “Ik hoef alleen maar vragen te maken, de rest wordt voor me geregeld” “Ik hoef geen handschriften meer te ontcijferen” “Ik wil studenten de toetsresultaten kunnen mailen” “Verbetering logistiek” Kwaliteit toetsing staat centraal
4. Hoe wil je toetsen? SUMMATIEF: Gericht op de som van het geleerde Selecteren Certificeren Beveiligde omgeving Beperkt aantal kansen FORMATIEF: Gericht op de ontwikkeling van het leren Zelfstudie Plaats & tijdonafhankelijk Directe feedback Inzicht in niveau Ingangstoetsen Eindtoets Bonuspuntentoets Zelftoets (E-learning)
5. Wat levert digitaal toetsen op? Flexibele toetsing (plaats, tijd & vorm) Gebruik van multimedia Gebruik van verschillende vraagtypen (Directe) feedback Gestructureerde vragenbank Automatische analyse & verwerking
11. Half cohort - eindtoets Blok 3D Mens 200 studenten in 1 zaal Multimediaal Ook essay vragen Item- en toetsanalyse Uitslag binnen 3 weken
12.
13. Shifts - bonuspuntentoets 2x per blok 0,5 punt extra 350 studenten in 6 shifts 15 MC vragen in 15 minuten Gevalideerde vragenbank Uitslag binnen 24 uur Feedback op onderwerp Nabespreking tijdens WC
20. Toetsen van grote groepen TOETSAFNAME: Voldoende servercapaciteit (testen!) Toets starten in groepen (piekbelasting) 5% meer PC’s dan deelnemers 5% papieren tentamens als reserve Duidelijke afspraken bij problemen Pas op met multimedia
21. Meerwaarde in het AMC Multimediale toetsing Korte nakijk termijn Betere feedback naar studenten en docent -> Grote zaal niet per se noodzakelijk!(maar wel heel makkelijk)
22. Problemen digitaal toetsen AMC Gebrek centrale toetsruimte Toetsen in shifts is tijdrovend Verplicht gebruik van open vragen OER Geen beleid Dyslexie/RSI? Computervaardigheden student?
23. Problemen digitaal toetsen AMC Gebrek centrale toetsruimte Toetsen in shifts is tijdrovend Verplicht gebruik van open vragen OER Geen beleid Dyslexie/RSI? Computervaardigheden student?
24. Toetsen met stemkastjes? Formatief zeker! Responsiecollege Voor- en nameting Grootschalig adaptief toetsen Summatief is gevaarlijk… Wie bedient welk kastje? Ik ben mijn stemkastje kwijt/vergeten! Ik heb echt gedrukt! Handhaven van orde in de zaal Lekker gluren bij de buren
25. Proeve: KlETs Effect toetsing computer Scoren studenten beter/ slechter? Gebruiken studenten meer/ minder woorden? Zijn er andere effecten meetbaar?
26. KlETs – de uitvoering Helft digitaal – helft op papier (n=360) Digitale toets: deel A papier, deel B digitaal en v.v. Conclusies: Meer woorden bij een digitale toets (36.2±15.5 vs 22.3±4.9) Geen significante verschillen m.b.t. moeilijkheidsgraad Studenten willen vaker digitale toetsen Getik is irritant
27. Meer onderzoek In 2004: behoorlijke verschillen (Bennett, 2004) Maar in 2002: onderzoek bij 13 jarigen: geen verschil (NAEP, 2004) Presentatie lijkt leeftijdsgebonden en variaties in schrijfvaardigheden zullen verdwijnen Frequent computergebruik heeft positieve invloed op toetsprestatie Online scoring heeft geen invloed op de beoordeling (zhang, powers, wright & morgan, 2003)
28. Conclusies Meerwaarde vaststellen Beleid over inzet digitaal toetsen Grote groepen heeft impact op afname Opschaling: ruimte Toetsen in shifts bewerkelijk Goede ICTO ondersteuning