1. Samen aan het werk in sessie 6
Focus op Evaluatie (kwaliteit
leeromgeving)
Ilya Zitter
Versie 17 februari 2014

2. Opening
Programma: beroepsproces en beroepsproduct

3. Programma
9:30 – 10:00
Kort dag doornemen
Eindproduct en beoordeling
10:00 – 12:00
Peer-reviewen: 4 rondes voor de lunch
20 minuten per peer-review: 5 minuten presentatie en 15 minuten
interactief peer-reviewen
Kies een kader:
Kwaliteitscriteria (Van den Akker & Thijs, 2009)
Kwadranten van het model voor ontwerpen beroepsgerichte
leeromgevingen (Zitter, 2010)
12:00 – 13:00
Samen lunchen
13:00 – 13:30
Kennisintermezzo: Praktijkgericht onderzoek

4. Programma
13:30 – 15:30
Peer-reviewen: 4 rondes na de lunch
20 minuten per peer-review: 5 minuten presentatie en 15 minuten
interactief peer-reviewen
Kies een kader (wel alle drie bij iedere peer-review):
Kwaliteitscriteria (Van den Akker & Thijs, 2009)
Kwadranten van het model voor ontwerpen beroepsgerichte
leeromgevingen (Zitter, 2010)
15:30 – 16:00
In duo’s: Maak een plan voor het afronden van (her)ontwerpproces
en opleveren van de eindopdracht
16:00 – 16:30
Laatste keer terug en vooruitblikken

5. Hele module in vogelvlucht
Iteratief (her)ontwerpen van een leeromgeving (5 ECTS of
veelvoud) voor eigen onderwijspraktijk centraal
In sessies 1, 3, 5 en 7 middels Leren op de werkplek/Zelfstudie
ondersteund met HUbl
In sessies 2, 4 en 6 face-to-face
Sessie 2 - kennismaken met ontwerpproces + focus op
analyse: simulatie hele ontwerpproces; analyseren van een
goed voorbeeld, competentiegericht onderwijs in het hbo,
gelaagdheid van een leeromgeving
Sessie 4 - focus ontwerp/ontwikkeling: uiteenrafelen van een
leeromgeving, concept ‘blended learning’
Sessie 6 - focus evaluatie (kwaliteit leeromgeving):
praktijkgericht onderzoek inbouwen en formatief evalueren in
vorm van peer-reviewen met 2 kaders

6. Eindopdracht
Ontwerp leeromgeving, inclusief de keuzes voor het te
ontwikkelen papieren/digitale materiaal: ontwerp van
leeromgeving met een omvang van 5 ECTS (of een veelvoud
hiervan), in vorm van een ‘Blokboek’ of ‘Studentenhandleiding’ of
‘Modulewijzer’, ofwel: het onderwijsmateriaal zoals dat voor
studenten wordt gemaakt bij de betreffende opleiding  ca. 50%
Flankerende rapportage bij het ontwerp  ca. 50%:
Analyse: rapportage uitgevoerde analyse
Onderbouwing van ontwerp/ontwikkeling
Evaluatie: rapportage uitgevoerde formatieve evaluaties
Ontwerpproces: logboek van uitgevoerde ontwerpactiviteiten

7. Ontwerp/ontwikkelde leeromgeving
moet voldoen aan kwaliteitscriteria
Generieke kwaliteitscriteria
Wettelijke criteria
HU-specifiek
Opleidingsspecifiek

8. Analyse compleet?
Probleemanalyse/Contextanalyse/Behoefteanalyse/
Analyse kennisbasis. Bijvoorbeeld volgende bronnen:
Onderwijsbeleid: landelijk, HU, opleiding
Beroepsprofiel: landelijk, opleiding
Body of Knowledge (BoK’s): landelijk, opleiding
Beroepenveld: beroepenveldcommissie; interviews
Doelgroep/Student: beschrijven, studentevaluaties, interviews
Curriculumontwerpen, Casco, formats, collega’s
Ervaringskennis: ‘Best practices’, collega’s
Accreditatieproces: interne audit-rapport; externe NVAO-rapport
Toekomst: toekomstvisie, scenario’s, trendrapporten

9. Onderbouwing
ontwerp/ontwikkeling compleet?
Ontwerpeisen vanuit analyse
Vergelijking tussen oude en nieuwe ontwerp
Hoofdmoot wordt gevormd door: onderwijskundige
c.q. theoretische onderbouwing met literatuur
literatuurlijst of eigen literatuur (met vergelijkbaar
niveau), in elk geval aandacht voor:
Competentiegericht onderwijs (in brede zin)
Strategisch: leerprocessen, onderwijsvisie,
onderwijsmodel, onderwijsconcept
Tactisch: didactisch model/didactisch concept
Operationeel: toelichten gemaakte keuzes voor de
leer/werkvormen

10. Evaluatie compleet?
Beschrijving van uitgevoerde vormen van
formatieve evaluatie
Toelichting gehanteerde kwaliteitscriteria
Gestructureerde en overzichtelijke resultaten
Kritische blik op ontwerp: identificeren van de
sterke en de zwakke kanten/compromissen
Ideeën en plannen voor doorontwikkeling van
de leeromgeving

11. Ontwerpproces: logboek
compleet?
Overzicht van uitgevoerde ontwerpactiviteiten
Breng hier structuur in aan, bijvoorbeeld m.b.v. STAR, beschrijf
helder en scherp:
Situatie: o.a. aanleiding, wat gebeurde er, wie waren erbij)
Taak waar je mee bezig was: m.n. Wat wilde je bereiken?
Wat vond je dat er moest gebeuren?
Acties die je hebt ondernomen: o.a. hoe pakte je het aan
Resultaat ervan: m.n. wat kwam eruit, hoe liep het af.
Reflecteer hierop: m.n. Was je tevreden met de resultaten?
Wat is de essentie van wat je geleerd hebt? Wat zou je de
volgende keer eventueel anders doen?
Het gaat hierbij om inhoudelijke en feitelijke informatie (niet om
een diepgravend reflecteren op je gevoelens)

12. Rode draad ontwerpproces in
flankerende rapportage
Scherpe analyse van de context, inclusief de
uitgangssituatie en de beoogde/gewenste situatie
Uit de analyse komen de ontwerpeisen of
ontwerpspecificaties op een logische manier voort
waarmee het ontwerp is gemaakt
De onderbouwing van ontwerp/ontwikkeling is
antwoord op de vraag: waarom is leeromgeving op
deze manier ontworpen/ontwikkeld?
Evaluatie biedt een kritische blik op het gemaakte
ontwerp en ideeën/plannen voor de doorontwikkeling
Logboek biedt zicht op welke ontwerpactiviteiten er
zijn ondernomen om te komen tot bovenstaande

13. Kaders evaluatie
Bepalen van kwaliteit van een leeromgeving kan vanuit
verschillende perspectieven

14. Generieke kwaliteitscriteria
Relevantie Het leerplan voorziet in behoeften en berust op
valide inzichten
Consistentie Het leerplan zit logisch en samenhangend in
elkaar
Bruikbaarheid
Verwachte: De inschatting is dat het leerplan praktisch
uitvoerbaar is in de situatie waarvoor het is bedoeld
Werkelijke: Het leerplan blijkt praktisch uitvoerbaar in de
situatie waarvoor het is bedoeld
Effectiviteit
Verwachte: De inschatting is dat werken met het leerplan
leidt tot de gewenste resultaten
Werkelijke: Werken met het leerplan blijkt te leiden tot de
gewenste resultaten
(Thijs & Van den Akker, 2009)

15. Model ontwerpen beroepsgerichte
leeromgevingen
(Zitter, Kinkhorst, Simons & Ten Cate, 2009; Zitter, 2010; Zitter,
De Bruijn, Simons & Ten Cate, 2010; Zitter e.a., 2011; Zitter e.a.,
2012;. Zitter & Hoeve, 2012; Zitter & Hoeve, 2013).

16. Samen lunchen
12:00 – 13:00

17. Praktijkgericht
onderzoek
Kennisintermezzo: Hoe kan ik praktijkgericht onderzoek
inbouwen in een leeromgeving?

18. Kennisstroom en
Praktijkstroom
Andriessen, D. (2011). Kennisstroom en Praktijkstroom. In
J.E. van Aken en D. Andriessen (red) Handboek
ontwerpgericht wetenschappelijk onderzoek: wetenschap met
effect. Boom Lemma uitgevers: Den Haag

19. Kennisstroom en praktijkstroom
Andriessen, A. (2011). Kennisstroom en Praktijkstroom. In J.E. van Aken en
D. Andriessen (eds) Handboek ontwerpgericht wetenschappelijk onderzoek:
wetenschap met effect. Boom Lemma uitgevers: Den Haag

20. Praktijkonderzoek door
studenten
Opdrachten of projecten van studenten beschouwen
als cases
Studenten als onderdeel van opdracht/project
gedurende de uitvoering systematisch data laten
verzamelen  manier waarop inclusief ondersteuning
goed ontwerpen
Studenten als onderdeel van opdracht/project achteraf
systematisch data laten verzamelen  manier waarop
inclusief ondersteuning goed ontwerpen
Tijd inbouwen voor analyse
Creatieve vorm zoeken voor delen van resultaten:
mini-conferentie, website, presentatie aan werkveld,
publicatie voor opdrachtgever
Samenwerking zoeken met Lectoraat

21. Praktijkonderzoek als docent
Onderwijskundige onderzoeksvraag formuleren rond probleem
dat speelt in onderwijspraktijk
Leeromgeving of een deel hiervan beschouwen als casus
Systematisch formatief evalueren met peers, experts of
studenten  vorm van data verzamelen
Achteraf systematisch evalueren met peers, experts of studenten
 vorm van data verzamelen
Data analyseren en delen in vorm van presentatie, workshop,
conferentiebijdrage of praktijkpublicatie
Samenwerking zoeken met collega/expert/lector
Vorm van professionaliseren door docent (LLL)

22. Practice as you preach: in
deze module ook onderzoek
Beschrijvend onderzoek naar leeromgevingen in het
hbo vanuit een ontwerpperspectief
Leeromgeving wordt beschouwd als case
Data die wordt verzameld:
Ontwerp leeromgeving (‘Blokboek’ of
‘Studentenhandleiding’ of ‘Modulewijzer’, ofwel:
het onderwijsmateriaal zoals dat voor studenten
wordt gemaakt bij de betreffende opleiding)
Flankerende rapportage
Eventueel een aanvullend interview
Data analyse met model voor ontwerpen van
beroepsgerichte leeromgevingen

23. Participeren aan pilotonderzoek?
Indien je eindproduct met voldoende/goed is beoordeeld, dan is het
idee om die te analyseren voor (pilot) onderzoek over
leeromgevingen vanuit een ontwerpperspectief. De focus is op het
ontwerp van de leeromgeving en wordt daarom anoniem
gerapporteerd.
Indien je bezwaar hebt dat jouw eindproduct voor dit praktijkgerichte
onderzoek wordt ingezet (indien nodig na overleg met je direct
leidinggevende), dan ontvang ik graag hierover een e-mail en haal
ik jouw eindproduct uit de dataverzameling. De eindproducten van
de mensen waarvan ik geen bezwaar krijg per e-mail neem ik mee
in het onderzoek en bedank ik nu alvast voor hun medewerking
hieraan!
Vragen over het (pilot) onderzoek zijn uiteraard welkom.

24. Meer weten?
Lectoraat Methodologie van Praktijkgericht
Onderzoek
http://www.onderzoek.hu.nl/Lectoraten/Daan%20A
Hoofdstuk Handboek Ontwerpgericht
Wetenschappelijk Onderzoek
http://www.dsrg.nl/docs/Hoofdstuk%2005%20Hand

25. Aan het werk
In duo’s of klein groepje plan opstellen voor afronden
van (her)ontwerp en opleveren eindopdracht

26. Practice as you
preach
deze module langs lat Manifest HU 2021

27. Principes Manifest HU 2021 hebben we
in BDB en deze module Onderwijs
Ontwerpen nagestreefd:
1.
2.
3.
4.
5.
6.
7.
8.
9.
...is het contact tussen docent en student intensief en op maat
...is het onderwijs een combi van face-to-face leren, online
leren en leren op de werkplek
...is de HU een verzameling van communities
...maakt onderzoek deel van de dagelijkse (onderwijs)praktijk
...hebben communities een eigen, herkenbare thuisbasis
...telt de HU veertigduizend verschillende leerwegen
...gebeurt toetsing goed geborgd en leerwegonafhankelijk
...is elke student een professional en elke professional een
potentiële student
...stuurt elke docententeam zelf op kwaliteit.

28. Terug & vooruit
De dag afsluiten – samen terugblikken naar de sessies
die zijn afgelopen en vooruit kijken naar toekomst

29. Terugblikken en vooruit kijken
Blik terug:
Hoe verliep het met leren op de
werkplek/zelfstudie met HUbl?
Hoe verliep deze laatste face-to-face sessie?
Kijk vooruit:
Hoe ga je afronden eindopdracht aanpakken?
Welke datum ga je inleveren?
Welke verwachtingen heb je over de rol van
onderwijs ontwerpen in je dagelijkse
onderwijspraktijk na afronden van module ?

30. Succes met afronden!