Donderdag 16 juni 2016 Parallelsessieronde 1 & 2 Titel: TU Delft Pilot project online proctoring Spreker: Kasja de Jong (TU Delft) Zaal: Boston 9

2. Pilot: online (remote)
proctored exams
Collegejaar 2015-2016

3. 1. Aanleiding
2. Wat is online proctoring?
3. Hoe werkt het?
4. Online studenten > ervaringen
5. Decentrale toets L&R > ervaringen
6. Tussenstand pilot
7. Vragen?
Inhoud
Kasja de Jong – Functioneel Applicatiebeheerder
Meta Keijzer-de Ruijter – Adviseur ICTO > digitaal toetsen

4. Aanleiding Pilot
• Vraag vanuit Extension
School > online courses
• Onderzoek naar meest
geschikte online proctor
software
• Voorbereiding:
• Instellingen met leverancier
• Testen technisch/functioneel
• Documentatie ontwikkelen
• Overleg met examen-
commissies
• Q1 gestart

5. Wat is Online Proctoring?
• SURF Whitepaper Online Proctoring:
Vorm van digitale toetsafname waarmee een examen
plaatsonafhankelijk, veilig en betrouwbaar kan worden
afgenomen. Via controle software, videobeeld en meekijken
op het scherm van de student wordt voorkomen dat hij/zij
fraudeert.
• 3 soorten van online proctoring:
1. Live proctoring
surveillant kijkt op afstand mee, kan ingrijpen
2. Opslag en controle achteraf
surveillant bekijkt de beelden achteraf, kan niet ingrijpen
3. Geautomatiseerde proctoring
software signaleert momenten van mogelijke fraude ipv
surveillant

6. Ervaring?

7. Hoe werkt het?
Proces van (Software Secure) RPnow in combinatie met
MapleTA
1. Tentamen aanmelden bij Rpnow door TU
Delft:http://tudelft.remoteproctor.com/adminsite/
2. Student doet de verschillende system en identificatie
checks:http://www.softwaresecure.com/
3. Student logt in MapleTA: zie manual
4. Student maakt toets
5. Student sluit MapleTA af en sluit RPnow af > einde examen
6. Reviews van RPnow worden gemaild na 5 dagen:
suspicious behavior of niet? Altijd zelf checken: zie mail

8. Online studenten - Ervaringen
• Vakken en deelnemers
• Q1: 3 vakken > 28 deelnemers
• Q2: 7 vakken > 21 deelnemers
• Q3: 4 vakken > 17 deelnemers (+1 vak 1 deelnemer)
• Q4: 2 vakken > 18 deelnemers (+3 vakken 6 deelnemers)
• Q5: ?
• Tijdzones
• Van Mexico UTC-6 tot Australie UTC+9
• Tijd van het campustentamen = uitgangspunt
• Tijdslot tentamen langer open of aan/uit zetten
• Digitaal toetsen vs schriftelijk
• Digitaal toetsen past niet altijd bij het vak

9. Online studenten – Ervaringen - vervolg
• Problemen waar deelenemers tegen aanlopen
• Veel ondervangen door Practice Test
• Instabiel internet; verkeerde inlog; niet op tijd beginnen
• Support
• Deels door RPnow en deels door TU Delft
• Support TU Delft opzetten: mail en telefoon
• Functioneel/technisch en inhoudelijk > tijdzones
• Fraudegevallen
• Geen

10. Decentrale toets L&R - Ervaringen
• Opzet voor aankomende studenten:
• 1e jaars materiaal voor zelfstudie via MapleTA beschikbaar
• Motivatie
• 3 toetsen maken in 1 maand
• 1x op TU Delft campus
• Toetsen via MapleTA:
• Motivatie 631 > handmatig nagekeken
• Wiskunde 541 > review via RPnow
• Natuurkunde 534 > review via RPnow
• Materiaal 516 > review via RPnow
• Problemen waar studenten tegenaan liepen:
• Systeem voorwaarden voldoen niet: camera, pc, microphone
• Verkeerde platform, verkeerde inlog, verkeerde toets ….

11. Decentrale toets L&R- Ervaringen - vervolg
• Fraudegevallen:
• 1591 reviews: ca. 50 fraudegevallen
• Overleg met de selectie-commissie > 15 serieus
1. Headset + praten
2. Websites browsen
• Google translate wel akkoord
• Vraag opzoeken niet akkoord
3. Kamer verlaten
4. Met iemand anders praten
• Support
• Via mail en telefoon, E-learning support ingeschakeld
• Weekenddienst!

12. Decentrale toets L&R- Ervaringen - vervolg
• Voorlopige evaluatie
• Pilot was succesvol - 240 studenten geplaatst: volgend jaar weer
• Planning aanpassen – kleine 1600 reviews kost wat tijd
• Betere instructie voor studenten
• Duidelijkere communicatie naar studenten
• Inhoudelijke aanpassingen in vragen/toetsen

13. Tussenstand pilot
• Schaalbaar
• Grote aantallen maar ook 1 student
• Betrouwbaar
• Reviewers flaggen eerder te veel dan te weinig
• Nieuw proces met vele stappen
• Reductie in stappen is wenselijk
• Investering voor alle betrokken partijen om tot efficient proces te
komen = ongoing, telkens aanpassen
• Trend?
• Groeiende interesse van campusstudenten die in het buitenland
verblijven.

14. Vragen?