Presentatie op de Handicap + Studie bijeenkomst op 18 oktober 2018 over inclusief toetsen in het kader van de werkgroep VN proof hoger onderwijs. Ervaringen met het vorm geven van assessments bij de Career Academy van de HR Business School worden gedeeld.

1. H+S themabijeenkomst inclusief toetsen
En wat nou als we de student eigenaar
zouden maken van het toetsen?
enkele ervaringen met de praktijk van assessments
bij de Career Academy van de HR Business School
werkgroep
16 oktober 2018
Robert Bouwhuis (r.bouwhuis@hr.nl)

2. Illustratie: Martin Reekers (2015)
• “Your job as an educator is figure
out how to move them from
point A to point B not just about
pouring knowledge into their
heads. To move them to point B,
you will first have to find out
where A is for them.” - Alma
Clayton-Pedersen
Inspiratie

3. Introductie onderwijsconcept Career Academy
• 8 halfjaarlijkse modules die worden afgesloten met een
assessment.
• thema’s uit de beroepspraktijk (leeruitkomsten).
• Niet meer werken vanuit ‘weten’ (de body of knowledge &
skills), maar vanuit ‘niet weten’ (vragen die relevant zijn voor
de beroepspraktijk)
• oplossen relevante praktijkvraagstukken (business outcome).
Wat relevant is bepaal je in overleg met jouw organisatie
• 8 certificaten = bachelor diploma
• onderbreken is mogelijk
Generieke modules Opleidingsspecifieke modules
Creating added value 1 associate degree niveau
Performance en proces management 2 associate degree niveau
Strategisch management 3 bachelor niveau
Vrije keuze student 4 bachelor niveau

4. Uitgangspunt voor onderwijsontwerp: praktijkvragen vormen de
basis van het leren, zoals..
• Welke relevante ontwikkelingen signaleer ik in de omgeving en welke (mogelijke) gevolgen hebben deze
ontwikkelingen voor mijn organisatie?
• Voor wie willen wij als organisatie/afdeling betekenis hebben?
• Hoe zorgen wij voor gemotiveerde, betrokken en deskundige medewerkers die kunnen leveren wat de
klant wil?
• Hoe zorgen we dat we doen wat we beloven?
• Hoe weten we dat we doen wat we hebben afgesproken?
• Hoe kunnen we slimmer samenwerken met onze omgeving? (partnerships met leveranciers, capacity
sharing, resource sharing, cocreatie met klanten, etc.). Denk bijvoorbeeld ook aan circulaire economie:
voor wie is ons afval grondstof? (Next Economy)

5. Leeruitkomsten in plaats van leerdoelen of competenties
• Leeruitkomsten beschrijven beroepsbekwaamheid binnen
een bepaalde beroepscontext. Het gaat hier om
beroepshandelingen (welke werkzaamheden voer je
uit?), bewijzen (in welke beroepsproducten worden de
beroepshandelingen zichtbaar?) en in dialoog met
assessoren blijk geven van reflectie op het eigen
handelen (verantwoorden werkwijze en lessons learned
voor eigen ontwikkeling en voor de ontwikkeling van de
beroepspraktijk) - Naar: Lucie te Lintelo – HVA, 11
december 2014 op congres vereniging hogescholen.
• Leeruitkomsten zullen de vorm hebben van "de student is
in staat om na te denken over dit vraagstuk, om relevante
methoden te kiezen die helpen bij het werken aan een
oplossing voor dit vraagstuk en om met behulp van
deze methoden en op een verantwoorde wijze tot
onderbouwde antwoorden te komen." (Tuning methodiek)
• Leeruitkomsten maken leerwegonafhankelijke toetsing
mogelijk: “er zijn meer wegen die naar Rome leiden”.

6. Gevolgen van het werken met leeruitkomsten
• Door een vraagstuk centraal te stellen en niet een bepaalde theorie hopen we dat de houdbaarheid van
ons onderwijs sterk zal verbeteren.
• Bevordert High impact learning omdat de lerende meer vorm en richting kan geven aan het eigen leren.
• Vergroten arbeidsmarktrelevantie/betekenisvolheid van het onderwijs omdat gewerkt wordt vanuit ‘niet
weten’ (toetsing: oplossend vermogen van praktijkvragen) in plaats van ‘weten’ (toetsing: kennis van de
theorie vanuit een discipline)
• Verlagen toetsdruk (minder toetsen, meer feedback, feed up en feedforward organiseren)
• Verhoogde validiteit van toetsing (meet je wat je wilt meten) en dus een betere voorspeller van
arbeidsmarktsucces omdat geslaagden het beoordeelde gedrag ook daadwerkelijk hebben laten zien in
de beroepspraktijk.
• Wij toetsen geen specifieke kennis uit een "body of knowledge“, tenzij dit expliciet als einddoel in het
landelijk opleidingsprofiel is opgenomen.

7. Principes en richtlijnen Universal Design for Learning

8. High impact learning (Philip Dochy)

9. Consequentie: summatief toetsen op een hoger abstractieniveau
(Categorie 4 of 5 – Philip Dochy)

10. Nog een consequentie: toetsen op een hoger competentieniveau volgens
de SOLO taxonomie (Structure of the Observed Learning Outcome)
Bron afbeelding: https://www.futurelearn.com/courses/learning-teaching-university/0/steps/26410

11. Bron afbeelding: presentatie Over zorgvuldig beoordelen in de praktijk op Symposium hbo-v van de toekomst: Binden, begeleiden, beoordelen.
9 maart 2016. Dominique Sluysmans, Zuyd Hogeschool, Lectoraat Professioneel Beoordelen E: dominique.sluijsmans@zuyd.nl
“Beoordeel geen competenties maar beoordeel professioneel gedrag dat
competent handelen demonstreert.” – Dominique Sluysmans
We toetsen of de student in staat is om in de
complexe beroepspraktijk aan te tonen dat zij of hij in
staat is om een voor de organisatie relevant en
bruikbaar resultaat (business outcome) te bereiken
door:
• na te denken over de ‘juiste’ vragen,
• bij het nadenken over deze vragen gebruik te
maken van actuele professionele en
wetenschappelijk inzichten,
• te verantwoorden op welke wijze een keuze is
gemaakt uit de beschikbare methoden en
modellen
• de gekozen methoden correct toe te passen.
De toetsing op beroepsbekwaamheid (=
professioneel gedrag dat competent handelen
demonstreert) is leidend voor de
onderwijsontwikkeling.

12. consequenties van toetsen op een hoger abstractieniveau
• Een voorbeeld:
• De student moet wel laten zien dat hij
‘ontwikkelingen in de omgeving heeft gesignaleerd
die betekenisvol zijn voor de eigen organisatie’,
maar of hij dat nou met een DESTEP-model of met
een context canvas of met een scenario-analyse
doet mag de student zelf weten.
• Dus wij kunnen niet garanderen dat de student
met een DESTEP-model kan werken omdat wij dat
niet expliciet toetsen.
• Wij toetsen wel of de student in de eigen
beroepspraktijk heeft laten zien dat zij of hij
antwoord kan geven op de vraag: ‘welke relevante
ontwikkelingen signaleer ik in de omgeving en
welke (mogelijke) gevolgen hebben deze
ontwikkelingen voor mijn organisatie?’
• Voordeel voor de student: meer flexibiliteit
• de student geeft zelf vorm aan het eigen
onderzoek (formuleren eigen onderzoeksvraag
in overleg met opdrachtgever, vrije keuze
methoden)
• De student kan eerder verworven ervaringen
meenemen in het portfolio en laten toetsen. Dit
maakt leerwegonafhankelijk toetsen mogelijk.

13. Een voorbeeld van het beoordelen van een leeruitkomst
• Binnen de module Creating Added Value
wordt gewerkt aan de volgende
leeruitkomst:
• Initiëren, creëren en realiseren van
innovaties in producten, processen en
diensten voor ‘betalers’ en/of ‘gebruikers’
van de ‘uitkomsten’ die een organisatie
produceert.
• Deze leeruitkomst wordt beoordeeld op
basis van de volgende criteria:
1. Is de betekenis van het onderzoek voor
de opdrachtgever onderbouwd? (20 %)
2. Is het onderzoek praktisch bruikbaar?
(10 %)
3. Is er methodisch gewerkt? (20 %)
4. Heeft de examenkandidaat
professioneel vakmanschap laten zien?
(20 %)
5. Is er verantwoord gehandeld? (10 %)
6. Komt de boodschap over? (20 %)
• Per criterium zijn rubrics ontwikkeld die helpen
om de drie niveaus (expert, competent, nog niet
competent) vast te stellen.

14. We geven geen cijfers meer, maar het oordeel expert, competent of
nog niet competent
Alfanumerieke resultaten met numeriek equivalent:
• XP: expert (numeriek equivalent: 9). Engelse vertaling (t.b.v. diplomasupplement):
sophisticated
• CO: competent (numeriek equivalent: 7). Engelse vertaling (t.b.v. diplomasupplement):
competent
• NC: nog niet competent (numeriek equivalent: 5). Engelse vertaling: not yet competent
(Geïnspireerd door de Carnegie Mellon University, zie http://www.cmu.edu/teaching/designteach/teach/rubrics.html).
Wetenschappelijk achtergrondartikel:
• Sue Bloxham, Birgit den-Outer, Jane Hudson & Margaret Price (2016) Let’s stop the pretence
of consistent marking: exploring the multiple limitations of assessment criteria, Assessment &
Evaluation in Higher Education, 41:3, 466-481.
www.tandfonline.com/doi/full/10.1080/02602938.2015.1024607

15. Wat zegt een diploma eigenlijk over beroepsbekwaamheid?
• Wat wil je toetsen: toets je een vak
(disciplinair) of toets je
beroepsbekwaam handelen?
• Komen mensen om kennis te
halen (= leren welk antwoord ze
moeten geven op een vraag) of
komen mensen om kennis te
verwerven (= leren om zelf
antwoorden te formuleren op
vragen)?
• Onze keuze: van kennisinstituut
naar hub voor ontwikkeling

16. We doen een paar dingen anders..
• Geen vakken van enkele studiepunten, maar van 30 EC
• Minder toetsen: geen tentamens voor vakken, maar 1
summatief assessment per blok.
• Toetsen op een hoger abstractieniveau (leeruitkomsten).
• We toetsen niet reproductief op specifieke kennis(‘BOKS’)
maar productief op het correct toepassen van relevante
kennis binnen de eigen beroepscontext van de student.
• Geen cijfers maar beoordeling op aspecten: ‘expert’,
‘competent’, ‘nog niet competent’
• Zo min mogelijk onzekerheden over wat er getoetst wordt
(welk type vragen kan je verwachten? waarop word je
beoordeeld? hoe kun je dat laten zien?)

17. Dat anders doen levert ons ook uitdagingen op
• Hoe hoger het abstractieniveau, hoe lastiger de beoordeling (minder
houvast, geen vinklijstjes)
• Hoe hoger het abstractieniveau, hoe onzekerder het voor een beoordelaar
wordt om een oordeel te verwoorden.
• Hoe meer diversiteit in bewijslast (en studenten mogen zelf aantonen op
welke wijze zij aan de leeruitkomsten hebben voldaan) hoe lastiger het is
om consistentie in de beoordeling te krijgen, die nodig is voor de
accreditatie:
• Studenten verschillen in achtergrond, motivatie, snelheid, affiniteit, etc.
• Studenten werken binnen 1 leeruitkomst aan totaal verschillende ‘business
outcomes’.

18. Afsluitende opmerkingen:
• Mensen en hun omstandigheden verschillen.
• Geef studenten de ruimte om op hun eigen wijze en vanuit hun
eigen specifieke beroepscontext te voldoen aan de gestelde eisen.
• Denk na over de lat die je hanteert om resultaat te meten
(vakbekwaamheid of beroepsbekwaamheid).
• Denk na over de manier waarop studenten over de lat mogen
gaan: zijn hulpmiddelen toegestaan? Welke wel, welke niet? En
waarom dan niet?
• Qua wetgeving en accreditatienormen kan en mag er veel.

19. Bedankt voor jullie aandacht. Zijn er nog vragen?

20. Ontwerpen van onderwijs: begin bij het eind
Bron afbeeldingen: https://score.hva.nl/docent/toetscyclus/Paginas/Ontwerpen.aspx

21. Werken met assessments
• Bij assessments worden minimaal twee assessoren betrokken (‘vier ogen’ principe).
• Het assessment kent een vaste procedure: 10 minuten presenteren, 30 minuten vraag en antwoord, 20
minuten overleg assessoren, 15 minuten feedback.
• Het assessment wordt afgenomen door een andere docent dan de eigen docent die al tussentijds
feedback heeft gegeven (bij de generieke modules lukt dit i.v.m. schaalgrootte, bij opleidingsspecifieke
modules mogelijk niet)
• Assessoren worden getraind en op termijn gecertificeerd (profiel examinator-assessor)
• Beoordelingsformulieren worden leesbaar ingevuld en vooraf met elkaar gedeeld.
• Er worden periodiek kalibratiebijeenkomsten georganiseerd.

22. Verantwoorden van het niveau en de toetsing bij accreditaties:
conceptueel model voor het ontwerp van beoordelen in het hbo (gebaseerd op
Andriessen, Sluijsmans, Snel & Jacobs, 2017)
1. Wat is de visie van de opleiding op de beroepsbekwame
student?
2. Aan de hand van welke prestaties kan de
beroepsbekwaamheid worden vastgesteld?
3. Welke beroepsopdrachten leiden tot de gewenste prestaties?
4. Wat moeten examinatoren kennen en kunnen om de prestaties
te kunnen beoordelen?
5. In hoeverre komen examinatoren tot één oordeel?
6. In hoeverre is het beoordelingsmodel logisch afgeleid vanuit
de vereisten aan de beroepsbekwaamheid en de gevraagde
prestaties?
7. In hoeverre is het beoordelingsmodel ondersteunend bij het
komen tot een valide, betrouwbaar, transparant integraal
oordeel?
8. In hoeverre zijn de randvoorwaarden aanwezig voor een goed
functioneren van het afstudeerprogramma?
Bron: Andriessen, D., Sluijsmans, D.MJ.A., Snel, M. & Jacobs,
A.(2017). Protocol Verbeteren en Verantwoorden van Afstuderen in
het hbo 2.0. Den Haag: Vereniging Hogescholen.

23. Valide en betrouwbaar en transparant beoordelen
Toetsen zijn valide als zij ook werkelijk meten wat zij beogen te meten.
Aandachtspunten:
• Relevantie: mate waarin de toets de student vraagt juist die gedragingen te tonen die beoordeeld moeten
worden.
• Acceptatie: alle betrokkenen bij een toetsprogramma kunnen zich vinden in de taken of opdrachten, de
criteria en de uitvoering.
Betrouwbaarheid van toetsing is de mate waarin scores consistent, nauwkeurig en
reproduceerbaar zijn.
Aandachtspunten:
• Objectiviteit: de beoordeling is zoveel mogelijk onafhankelijk van de beoordelaar.
• Specificiteit: de student mag slechts getoetst worden op de beheersing van stof (onderwerpen) en
vaardigheden (niveaus), die hij zich heeft kunnen verwerven in of in verband met het bijbehorende of
voorafgaande onderwijs.
• Differentiatie: de toets en toetsvragen maken onderscheid tussen studenten die de stof goed en minder
goed beheersen.
Transparantie wil zeggen dat alle informatie voorhanden is die de best denkbare voorbereidings-
en antwoordstrategie van studenten mogelijk maakt. Het is betrokkenen duidelijk:
• welke doelen de toets beoogt te meten (leeruitkomst),
• op welke wijze getoetst wordt (toetsvorm, tijdsduur) en
• hoe de prestaties worden beoordeeld (beoordelingscriteria, mogelijk ondersteund door rubrics).

24. Validiteit bevorderen
Meer meetpunten maken waarop je dezelfde criteria meet:
• Binnen een module: plan van aanpak, eindrapport/beroepsproduct, mondelinge presentatie,
bevraging, feedbackformulier bedrijven.
• Binnen een opleidingsprogramma: dezelfde beoordelingscriteria laten terugkomen in verschillende
modules. (programmatisch toetsen, longitudinaal toetsen)
Discussiepunt: is een student competent wanneer hij of zij op 1 meetpunt competent gedrag
heeft laten zien?
Continu valideren:
• bespreken van de rubrics en het beoordelingsformulier met de docenten die er mee gewerkt
hebben: wat werkt, wat moet anders?
• Bespreken van het beoordelingsformulier en de rubrics met het beroepenveld: beoordelen we de
juiste aspecten op de juiste wijze?
• Bespreken van het beoordelingsformulier en de rubrics met mensen vanuit een andere (culturele)
achtergrond: zijn de criteria helder of leiden de criteria tot interpretatieverschillen?

25. Betrouwbaarheid bevorderen
• Bij assessments worden minimaal twee assessoren betrokken (4-ogen principe). Assessoren hebben in dat semester geen
feedback gegeven aan de betreffende student.
• Het assessment kent een vaste procedure: 10 minuten presenteren, 30 minuten vraag en antwoord, 20 minuten overleg
assessoren, 15 minuten feedback.
• Het assessment wordt opgenomen (op video of geluidsopname), zodat bij eventuele onduidelijkheden de
examencommissie een oordeel kan vellen.
• Het assessment wordt afgenomen door een andere docent dan de eigen docent die al tussentijds feedback heeft gegeven
(bij de generieke modules lukt dit i.v.m. schaalgrootte, bij opleidingsspecifieke modules mogelijk niet)
• Assessoren worden getraind (en op termijn: gecertificeerd. Eigen profiel in overleg met examencommissie).
• Per assessment wordt een kalibratiebijeenkomst georganiseerd.
• Leerpunt: Aanscherpen protocol beoordeling (door individuele assessoren leesbaar ingevulde formulieren vooraf met
elkaar delen)

26. Transparantie bevorderen
• De rubrics zijn voorafgaand aan het assessment aan de studenten bekend gemaakt.
• De beoordelingscriteria zijn voor 30 % specifiek (toont de student beroepsbekwaam gedrag op de
specifieke leeruitkomst?) en voor 70 % steeds dezelfde (wel op twee niveaus uitgewerkt: NLQF5 en
NLQF6):
• Heb je methodisch gewerkt?
• Heb je professioneel vakmanschap laten zien?
• Heb je verantwoord gehandeld?
• Komt de boodschap over?
• De intentie is uitgesproken dat docenten graag het oordeel ‘competent’ en ‘expert’ willen geven
maar dat de student ons daarvoor wel in de gelegenheid moet stellen. Bewijs dat je aan de criteria
voldoet.

27. Enkele bronnen met achtergrondinformatie ter inspiratie
• Inspiratie over inclusief onderwijs:
• https://www.handicap-studie.nl/home.aspx
• http://www.siho.be/udl/ : Het Steunpunt Inclusief Hoger onderwijs (SIHO) ondersteunt de Vlaamse hogescholen en
universiteiten bij het verbeteren van de participatie van studenten met functiebeperkingen.
• http://inclusive.tki.org.nz/: This site provides New Zealand educators with practical strategies, suggestions and resources to
support the diverse needs of all learners.
• OECD (2018), The Resilience of Students with an Immigrant Background: Factors that Shape Well-being, OECD Publishing, Paris.
http://dx.doi.org/10.1787/9789264292093-en
• Inspiratie over activerend leren:
• https://activatelearningpgce.wordpress.com/
• Philip Dochy over High Impact Learning that Lasts: https://www.han.nl/hanovatie/artikelen/hill-
dochy/_attachments/hanovatie_nieuwsbrief_conferentie_hill.pdf.
• Het essay van Dochy waarnaar wordt verwezen is nog te vinden via:
https://www.researchgate.net/publication/281459661_De_echte_dingen_Essays_over_de_kwaliteit_van_onderwijs_Gopher_
Amsterdam_2015
• Tip: zoek ook eens op ‘collaborative learning’ of ‘cooperative learning’.
• Ook zwaar aanbevolen: http://toetsrevolutie.nl/ en https://lerenvantoetsen.nl/