Presentation om Morgondagens digitala examinationer - Digitala examinationer - utvecklingsmöjlighet för flertalet examinationsformer. Projekt Digital tentamen II - SUNET Inkubator. Mats Brenner, projektledn.

1. Digitala examinationer -
utvecklingsmöjligheter för flertalet
examinationsformer
Mats Brenner, IKT-pedagog vid Högskolan i Gävle – Learning Center
2018-06-12
SAMHÄLLSVETENSKAPLIGA FAKULTETEN | LUNDS UNIVERSITET
Morgondagens digitala examinationer

2. Digital tentamen är…
Digital transformation & verksamhetsutveckling
• Ta position - börja pilottesta
• Välj rätt vågor - omvärldsanalys (bevaka, agera eller ignorera)
• Gör det mesta av vågorna (vad som ändå kommer) – ha engagemang, nyttja andras
erfarenheter och gör investeringar
1. Mobilisering – skapa pilottester och skapa projektgrupp med IT-avdelning,
tentabokning, IKT-stödorganisationen och sprid erfarenheter från andra lärosäten
2. Koordination – samverka med alla nödvändiga intressenter för rutiner och
kompetensutveckling samt upphandla robust systemlösning
3. Acceleration – skala upp, integrera och ständiga förbättringar med datastöd

3. Digitaliseringen på lärosätena
1. Lärplattformar, LMS
2. Webb- och videokonferenssystem
3. Mediaportaler och appar
4. Pågång: Systemlösningar för digital tentamen
5. Få använder: Integreringar mellan beroendesystem (LIS, LTI etc)
6. Diskuteras/Få använder: E-portföljer
7. Påbörjat: AR och VR samt spelbaserat lärande
• REF: Erfarenheter är från distansutbildning och nätbaserade utbildning sedan slutet av 1990-talet
med aktuell omvärldsanalys. Nätbaserat lärande, s k blended learning, digital examination ökar i
omfattning vid lärosätena.

4. Kritiska designprinciper – digitalisering
• Underhållsmässighet: Om lösningen kan anpassas eller återanvändas för att möta mer än
ett behov/möta flera behov.
• Kompatibilitet: Om lösningen kan dela information med andra lösningar så att användare
kan dra fördel.
• Effektivitet: Om lösningen driver kostnads- och tidsbesparingar.
• Maintainability: Whether the solution can be adapted or reused to meet more than one
need.
• Compatibility: Whether the solution can share information with other solutions such that
users can benefit.
• Efficiency: Whether the solution drives cost and time savings.
REF: When.. ”decide that the fundamental design principles for supporting educational technology are agility and
interoperability – all technology must enable adaptation to changing environments.” URL:
https://encoura.org/helping-institution-realize-vision-five-edtech-companies-watch/ och
http://pubs.opengroup.org/architecture/togaf8-doc/arch/chap29.html

5. Nationellt projekt – Digital tentamen II
Projekt Digital tentamen
genomfördes under år 2015. Under
hösten 2017 och 2018 så fortsätter
projektet Digital tentamen II.
Rapporten Datoriserad tentamen
(170 sidor) – som ger en översikt hur
digitalisering av arbetsprocesserna
kan genomföras från ax till limpa av
den traditionella papperstentamen
med salsskrivning.
Webbplats: http://bit.ly/2zmN4y6
https://wiki.sunet.se/display/Inkubator/Digital+Tentamen+II

6. Viktiga faktorer vid införandet
Ledarskap från toppen
Institutionellt engagemang och investeringar
Robust och tillförlitlig infrastruktur
Effektivt och tillgängligt stöd & utveckling för akademisk personal
Förmåga att demonstrera fördelarna av upplevelse för student, lärare
och administrativ personal
Evidensbaserat beslutsfattande och en kontinuerlig förbättringscykel

7. Projekt Digital tentamen II – vi ökar takten!
Uppdrag
Huvudmålet med projektet Digital Tentamen II är att skapa en fortsatt
grund för lösningar runt digital tentamen för samt vidareutveckla
samarbetet och erfarenhetsutbytet mellan lärosäten.

8. Status hos lärosätena?
• Förvaltningsläge: Sophiahemmet högskola, GU, KAU, ORU, LU (juridiska),
SU, HiG, UU (BMC) etc.
• På väg: Flera universitet har pilotprojekt,förstudier, projektgrupper eller
upphandling t ex MDH, LU, UMU, UU, etc.
• Flera universitet har test licenser med leverantörer – har pilottestning.
• Universitet som inte startat: Linnéuniversitetet, Linköpings universitet,
Södertörns högskola, Mittuniversitetet.
Se projektet webbplats > Frågor och svar

9. Vanliga och
mindre vanliga
examinations-
former

10. Salstentan – en av flera examinationsformer
Studenter och elever i Sverige är inte så vana
med summativa (High Stake) testsituationer.
Kortkortprovet, ja. Här finns en erfarenhet av
digitalt test/certifiering.
Men vi har inga inträdesprov (endast vid
konstnärliga utbildningar) eller t ex examensprov
som i Finland.
Test och provsituationer känns förstås ovant då
en inte gör de så ofta eller lärt sig studieteknik
för att fokusera på en större prestation under
längre tid, med tidspress. Högskoleprov är inte
avgörande för att söka till högre studier.
Lärarutbildningar har få eller inga salsskrivningar
som tentamen – mestadels används hemtentor
och gruppuppgifter.
REF: http://www.provainfact.se/publish/examination/9127-
Examinationsformer___vanliga_och_mindre_vanliga/index.html#/9291

11. Sista pappersbastionen…
Högskolan i Gävle har 47%
distansstudenter och 17000 studenter -
därför endast ca 8000 papperstentor.
Örebro universitet 66000
papperstentor, med 17000 studenter.
Jmf med Högskolan i Skövde, ca 8000
studenter med 22000 papperstentor.
Göteborgs universitet (GU) med
Chalmers ca 1250000 papperstentor, ca
10000 digitala tentor 2017 enligt GU.
Linköping har minst 130000-140000
studenter som gör papperstentor (5000
tentor)
Större lärosäten som Uppsala och Lund
har över 100000 papperstentor vardera.
Totalt kan vi nog räkna med över
500000- 700000 papperstentor/år.
En del digitalisera!
Lärosätena ha alltför många papperstentor
fortfarande…

12. Salstentamen – fördelar och nackdelar
Fördelar
• Salsskrivningar är rättssäkra då det exempelvis minskar riskerna för
olika former av fusk.
• Formen är välbekant för de flesta studenter.
• Med genomtänkta strategier, uppgifter och bedömningsgrunder
kan djupinlärning stimuleras.
Nackdelar
• Salsskrivning kan vid ovarsamhet uppmuntra ytinlärning.
• Studenterna kan vara pressade av tidsbegränsningar och att vara i
form vid tillfället för salsskrivning
• Uppgifter som stimulerar djupinlärning kan ge hög rättningsbörda
för läraren.

13. Lärosäten inför nu datoriserad tentamen
• Införs nu på bred front datoriserad tentamen, både med studenternas
egna datorer (BYOD) och med lärosätes datorutrustning.
• Testverktyget i sina lärplattformar används, andra har upphandlat
speciellt anpassade systemlösningar för e-exam/digitala tentamen.
• Studenter positiva
• Lärare, IKT-ped och pedagogiska utvecklare testar, kompetens-
utveckling kring frågetyper, lära sig systemlösning och arbeta in
rutiner med tentabokning. Tentavärdar behöver utbildas.

14. Varför digital examination? Ett axplock.
• Studenter skriver stora mängder för hand – svårtydd textmassa. Studenten kan inte redigera. Efter 70 min skrivkramp. Möjlighet
förkorta examinationstiden.
• Studenten kan använda verktyg som de är vana vid – sin egen dator, ordbehandlare eller webbläsare.
• Rättningen för lärare eller grupp av lärare underlättas.
• Automatisk överföring till Ladok möjlig.
• Möjliggör nya former av examinationer, studenter kan kommentera filmklipp, kommentera direkt i pdf-dokument.
• Ytterligare stärka anonymiteten. Ökar rättsäkerheten.
• Eliminera transport av papper, risk för borttappad tenta minskar – ökar rättssäkerheten
• Utlämnings av olika former av examinationer kan elimineras d v s utlämnandet av tentamina

15. Använda fler representationsformer – fler frågetyper
Digital media (multimodal):
bilder,
video,
videoquiz,
podcast,
animeringar, simuleringar,
interaktiva element VR, AR eller 3:dje part programvara
Fördelar:
Ökade representationsformar för tentand visa sina kunskaper, förmågor och färdigheter
Fler frågetyper och frågebanker för lärare att nyttja för test/prov, versionshantering
Möjligheter till automatisk rättning & feedback
Ger data/användarstatistik för att förbättra mätningsinstrumenten, spårbarhet

16. Frågetyper

17. Fördelarna med datoriserad tentamen
Fördelarna (Brenner & Sandström, 2015) med datoriserad tentamen
är bl a att bedömning/rättning kan ske snabbare (30-70%) och bättre
med högre kvalitet utförd, då det blir enklare när studenternas svar
är digitala – då framförallt genom:
• Att använda digitala bedömningsmallar
• Att fler lärare är med och granskar/gör bedömning med
rättningsprotokoll (Moderation)
• Att studenternas svar är och lärarnas bedömning är anonym
• Att lärarna kan sitta var som helst för att göra sin
rättning/bedömning
• Att lärarna enklare och flexiblare kan kommentera i dokument,
markera på bilder m m som feedback till studenter

18. Fördelar lärare/examinator
• Översiktligt och enkelt med fler representationsformer
• Tidsbesparande, mindre arbetstid behövs emot manuellt för rätta/bedöma
• Enklare bedöma, hitta de som gjort samma fel och därmed få en bättre och mer likvärdig
bedömning
• Sparar tid i utformning och poängsättning
• Kan ha flera examinatorer
• Kan ha negativa poäng, ge extra poäng
• Använda plausibla svar och goda distraktorer
• Kan ha mallar för tenta (antal frågor, typ av frågor, begränsar/standardiserar)
• Kan använda 3:djeparts applikationer – streaming av programvara för autentisk tenta
• Spara och återanvända frågor i frågebank
• Enklare utvärdera frågor och frågetyper
• Plagiatkontroll går genomföra
• Prestationerna bättre – läsbart, omdisponerad text, kan infoga bilder/skisser
• Anpassning för studenter med funktionsvariationer förbättras

19. Funktionshinder och funktionsvariationer
Krav på testsituation och programvara som används:
• Lokalen (tillgång till mindre rum - lugn och ro, ståbord, belysning, rullstolsanpassning etc)
• Publicering för extra skrivtid
• Använda egen dator med speciell programvara t ex för talsyntes, rättstavningsprogram för
svenskspråkiga som skriver engelska eller som rättar stavfel och grammatikfel på svenska
• Intuitiv och tydlig navigation
• Storlek och färg på text och bakgrund kan justeras
• Talsyntes kan användas
• Snabbtangenter användas
• Texteditor stödjer skrivarbetet i olika representationsformer
• Rita med digital penna, mus med scanner, musplatta med extra funktioner (interoperabilitet)
• Format ska stödjas, text (Ascii), matematiska symboler, bildformat, ljud/video-filer, interaktiva
objekt

20. Flera färdiga systemlösningar finns

22. Arbetsprocessen digitaliseras
Förberedelse Tentamen Bedömning Efterarbete

23. Arbetsprocessen digitaliseras – rutiner och regler
Förberedelse Tentamen Bedömning Efterarbete
Stödsystem – bokning/anmälan, planering, tentamensspecifika, IT-standarder
(krav på IT-arkitektur, interoperabilitet)
Lokalanpassningar - ström, nät/WiFi och möblering
Anpassning funktionshindrade
Datorer - studenternas egna (BYOD), surfplattor/portabla eller i datasalar
ID-hantering (anonymisering) och övervakning - monitoring/proctoring (GDPR)
Överföring av data och arkivering – säker datalagring, rättssäker (GDPR)

24. Arbetsprocessen digitaliseras – management/kvalitet
Förberedelse Tentamen Bedömning Efterarbete
Roller och behörighet i system och systemförvaltning - access, säkerhet, kvalitetsarbete, versionshantering -
spårbarhet i hela arbetsprocessen
Provkonstruktion - frågetyper, frågebanker, Learning Analytic, förbättringsarbete, immateriella rättigheter
(frågebanker), metadata för söka/beskriva frågorna i kategori, kunskapsnivå, sökord
Testsituationen - autentisering, funktionshinder, säker webbläsare/låsa skärm, ej kommunicera via internet,
övervakning/säkerhet, incidenthantering, intern IT-kompetens
Bedömning- och betygsättning via digitala bedömningsmallar – Kriterier, bedömningsmallar (Rubrics) och
referensramar för kvalifikationer – kopplingen till lärandemål (Learning Outcomes)
Resultathantering – feedback/besked till tentand, Objektanalys (Learning Analytic) förbättringsarbete.
Arkivering (notera: GDPR)

25. Learning Analytics (Objektanalys) – för kvalitetssäkring

26. Nya examinationsformer - snabbare analyser

27. Hur hanteras fusk?

28. Säkerhet/Risk: examinationformer (high stake)

29. Minska möjligheterna till fusk
Randomisera frågor med frågebank
En fråga åt gången
Låsa skärm –
ingen internet
Övervaka
dataskärm
Ej kunna backa
Avskärma

30. Säkerhet – Level of Assurance (LoA)

31. Har våra papperstentor validitet & reliabilitet?
• Standard error of measurement (SEM),
Analyzing individual questions (items).
Discriminator (incorrect options)
discrimination, Difficulty index,
Cronbach-alpha, Writing Good Multiple
Choice Test Questions,
• Multifactor evaluation (Learning
Analytic) - With Exam overview (i
realtid, faktabaserat
beslutsunderlagstyrka valet av
examinationsfrågorna)
• Pass marks, pass/fail, Grade, pass mark,
pass rate, discrimination
• Question preformance (Pearson’s %
item discrimination)
• Candidate performance, score
discrimination Avarage SD
• Difficulty vs Discrimination
• Excluded items
Reliability consistency,
reproducibility - a reliable test
(repeat the test with the same
results). Cronbach-alpha, measure
over 0.0 considered good
.90 and up excellent
.80-.89 good
.70-79 adequate
Below .70 lower or acceptable
Item discrimination is measured
in two different ways. 20% low
and 20% highest.
The range are +1 to -1.
Above 0.4 very good
Above 0.2 OK
Below 0.1 Little or no value
Below 0.0 Negative impact on
test, should be removed
Discriminator (incorrect options) discrimination
Measure how well the incorrect answers distract from the correct answer
If distractor is never or seldom chosen, then why have them
Rewriting distractor can improve a question
Difficulty index
Easy or difficult
Different from item discrimination
Q close to 100% correct don’t add not any value
Incorrect most are also poor question
20% (in 1 out of 5) means 80-40% is good, an indicator that the question has a problem

32. Kompetensutveckling ecdea.org
E-assessment & E-exams
Frågor och Frågetyper – skapa, skriva och utvärdera
samt kvalitetssäkra
Examinationsformer
Representationsformer
3:dje parts programvara
Autentiska
VR/AR

33. Varför har vissa inte kommit igång ännu?
Ledarskap från toppen
Institutionellt engagemang och investeringar
Robust och tillförlitlig infrastruktur
Effektivt och tillgängligt stöd & utveckling för akademisk personal
Förmåga att demonstrera fördelarna av upplevelse för student, lärare
och administrativ personal
Evidensbaserade beslutsfattande och en kontinuerlig förbättrings-
cykel

34. Digital tentamen är…
Digital transformation & verksamhetsutveckling
• Ta position - börja pilottesta
• Välj rätt vågor - omvärldsanalys (bevaka, agera eller ignorera)
• Gör det mesta av vågorna (vad som ändå kommer) – ha engagemang, nyttja andras
erfarenheter och gör investeringar
1. Mobilisering – skapa pilottester och skapa projektgrupp med IT-avdelning,
tentabokning, IKT-stödorganisationen och sprid erfarenheter från andra lärosäten
2. Koordination – samverka med alla nödvändiga intressenter för rutiner och
kompetensutveckling samt upphandla robust systemlösning
3. Acceleration – skala upp, integrera och ständiga förbättringar med datastöd

35. Rekommendationer
• Skapa inte egna systemlösningar – för kostsamt
• Börja med pilottester med intresserade lärare/examinatorer – vinn
tid och erfarenhet
• Samla alla intressenter – förankra
• Ledningsbeslut och dokument – bra, men får inte bli hyllvärmare
• Nyttja projektets resurser – besök andra lärosäten

36. FRÅGOR OCH TACK!
Mats Brenner, projektledning Projekt Digital tentamen II- SUNET
Inkubator
Kontakt: mats.brenner@hig.se , tfn: 026-64 82 18, 070-350 02 33
Webbsidan/kontaktadresser: http://bit.ly/2zmN4y6
https://wiki.sunet.se/display/Inkubator/Digital+Tentamen+II