1. Samen aan het werk in sessie 6
Focus op Evaluatie (kwaliteit
leeromgeving)
Ilya Zitter
Versie 6 februari 2014

2. Programma
9:30 – 10:00
Kort dag doornemen
Eindproduct en beoordeling
10:00 – 12:00
Peer-reviewen: 4 rondes voor de lunch
20 minuten per peer-review: 5 minuten presentatie en 15 minuten
interactief peer-reviewen
Kies een kader:
Kwaliteitscriteria (Van den Akker & Thijs, 2009)
Kwadranten van het model voor ontwerpen beroepsgerichte
leeromgevingen (Zitter, 2010)
12:00 – 13:00
Samen lunchen
13:00 – 13:30
Kennisintermezzo: Praktijkgericht onderzoek

3. Programma
13:30 – 15:30
Peer-reviewen: 4 rondes na de lunch
20 minuten per peer-review: 5 minuten presentatie en 15 minuten
interactief peer-reviewen
Kies een kader (wel alle drie bij iedere peer-review):
Kwaliteitscriteria (Van den Akker & Thijs, 2009)
Kwadranten van het model voor ontwerpen beroepsgerichte
leeromgevingen (Zitter, 2010)
15:30 – 16:00
In duo’s: Maak een plan voor het afronden van (her)ontwerpproces
en opleveren van de eindopdracht
16:00 – 16:30
Laatste keer terug en vooruitblikken

4. Module Onderwijs Ontwerpen
Iteratief (her)ontwerpen van een leeromgeving (5 ECTS of
veelvoud) voor eigen onderwijspraktijk centraal
In sessies 1, 3, 5 en 7 middels Leren op de werkplek/Zelfstudie
ondersteund met HUbl
In sessies 2, 4 en 6 face-to-face
Sessie 2 - kennismaken met ontwerpproces + focus op
analyse: simulatie hele ontwerpproces; analyseren van een
goed voorbeeld, competentiegericht onderwijs in het hbo,
gelaagdheid van een leeromgeving
Sessie 4 - focus ontwerp/ontwikkeling: uiteenrafelen van een
leeromgeving, concept ‘blended learning’
Sessie 6 - focus evaluatie (kwaliteit leeromgeving):
praktijkgericht onderzoek inbouwen en formatief evalueren in
vorm van peer-reviewen met 2 kaders

5. Eindopdracht
Ontwerp leeromgeving, inclusief de keuzes voor het te
ontwikkelen papieren/digitale materiaal: ontwerp van
leeromgeving, in vorm van een Blokboek, Studentenhandleiding,
Modulewijzer, ofwel: het onderwijsmateriaal zoals dat voor
studenten wordt gemaakt  ca. 50%
Flankerende rapportage bij het ontwerp  ca. 50%:
Analyse: analyserapport
Onderbouwing ontwerp/ontwikkeling: onderwijskundig
Evaluatie: evaluatierapport
Ontwerpproces: logboek

6. Beoordeling
Foutje geslopen bij knippen en plakken in deelnemershandleiding
Deel
Analyse (analysedocument)
Onvoldoende
De analyse is niet passend en
ook niet systematisch uitgevoerd.
Niet alle relevante bronnen
(documenten en personen) zijn
betrokken in de analyse.
Voldoende
De analyse is deels passend en
systematisch uitgevoerd. Een
deel van de relevante bronnen
(documenten en personen) zijn
betrokken in de analyse.
Goed
De analyse is passend en
systematisch uitgevoerd. Alle
relevante bronnen (documenten
en personen) zijn betrokken in de
analyse.
Ontwerp, incl.
b
keuzes voor te
c
ontwikkelen
materiaal
(ontwerp-document)
Het ontwerp, incl. keuzes te
ontwikkelen materiaal:
Voorziet niet in behoeften en
berust niet op valide inzichten (in
brede zin: gezien de relevante
grenzen, de interactie met
betrokkenen uit de omgeving en
de relevante theorie/praktijk).
Zit niet logisch en
samenhangend in elkaar.
De inschatting is dat het niet
praktisch uitvoerbaar is in de
situatie waarvoor het is bedoeld.
De inschatting is dat ermee
werken niet leidt tot de gewenste
resultaten.
Het ontwerp, incl. keuzes te
ontwikkelen materiaal:
Voorziet deels in behoeften en
berust deels op valide inzichten
(in brede zin: gezien de relevante
grenzen, de interactie met
betrokkenen uit de omgeving en
de relevante theorie/praktijk).
Zit deels logisch en
samenhangend in elkaar.
De inschatting is dat het deels
praktisch uitvoerbaar is in de
situatie waarvoor het is bedoeld.
De inschatting is dat ermee
werken deels leidt tot de
gewenste resultaten.
Het ontwerp, incl. keuzes te
ontwikkelen materiaal:
Voorziet in behoeften en berust
op valide inzichten (in brede zin:
gezien de relevante grenzen, de
interactie met betrokkenen uit de
omgeving en de relevante
theorie/praktijk).
Zit logisch en samenhangend in
elkaar.
De inschatting is dat het
praktisch uitvoerbaar is in de
situatie waarvoor het is bedoeld.
De inschatting is dat ermee
werken leidt tot de gewenste
resultaten.
Evaluatie (evaluatie- d
rapport)
De evaluatie is niet passend en
ook niet systematisch uitgevoerd.
De rapportage van resultaten zijn
niet goed te volgen.
Het ontwerpproces is niet
transparant en niet goed te
volgen. Er is niet inhoudelijk
gereflecteerd op overwegingen
en ontwerpbesluiten.
De evaluatie is deels passend en
systematisch uitgevoerd en de
resultaten zijn deels navolgbaar
gerapporteerd.
Het ontwerpproces is deels
transparant en navolgbaar
doordat inhoudelijk is
gereflecteerd op overwegingen
en ontwerpbesluiten.
De evaluatie is passend en
systematisch uitgevoerd en de
resultaten zijn navolgbaar
gerapporteerd.
Het ontwerpproces is transparant
en navolgbaar doordat
inhoudelijk is gereflecteerd op
overwegingen en
ontwerpbesluiten.
Ontwerpproces
(logboek)
Nr
a
e

7. Analyse compleet?
Probleemanalyse/Contextanalyse/Behoefteanalyse/
Analyse kennisbasis. Bijvoorbeeld volgende bronnen:
Onderwijsbeleid: landelijk, HU, opleiding
Beroepsprofiel: landelijk, opleiding
Body of Knowledge (BoK’s): landelijk, opleiding
Beroepenveld: beroepenveldcommissie; interviews
Doelgroep/Student: beschrijven, studentevaluaties, interviews
Curriculumontwerpen, Casco, formats, collega’s
Ervaringskennis: ‘Best practices’, collega’s
Accreditatieproces: interne audit-rapport; externe NVAO-rapport
Toekomst: toekomstvisie, scenario’s, trendrapporten

8. Rode draad ontwerpproces
Scherpe analyse van de context, inclusief de
uitgangssituatie en de beoogde/gewenste situatie
Uit de analyse komen de ontwerpeisen of
ontwerpspecificaties op een logische manier voort
waarmee het ontwerp is gemaakt
Ontwerp zelf moet voldoen aan kwaliteitscriteria
De onderbouwing van het ontwerp is antwoord op de
vraag: waarom zo ontworpen?
Onderwijskundig gezien + ontwerpeisen uit analyse
Evaluatie biedt kritische blik op het gemaakte ontwerp
Logboek biedt zicht op welke ontwerpactiviteiten er
zijn ondernomen om te komen tot het ontwerp

9. Kaders evaluatie
Bepalen van kwaliteit van een leeromgeving kan vanuit
verschillende perspectieven

10. Kwaliteitscriteria
Relevantie Het leerplan voorziet in behoeften en berust op
valide inzichten
Consistentie Het leerplan zit logisch en samenhangend in
elkaar
Bruikbaarheid
Verwachte: De inschatting is dat het leerplan praktisch
uitvoerbaar is in de situatie waarvoor het is bedoeld
Werkelijke: Het leerplan blijkt praktisch uitvoerbaar in de
situatie waarvoor het is bedoeld
Effectiviteit
Verwachte: De inschatting is dat werken met het leerplan
leidt tot de gewenste resultaten
Werkelijke: Werken met het leerplan blijkt te leiden tot de
gewenste resultaten
(Thijs & Van den Akker, 2009)

11. Model ontwerpen beroepsgerichte
leeromgevingen
(Zitter, Kinkhorst, Simons & Ten Cate, 2009; Zitter, 2010; Zitter,
De Bruijn, Simons & Ten Cate, 2010; Zitter e.a., 2011; Zitter e.a.,
2012;. Zitter & Hoeve, 2012; Zitter & Hoeve, 2013).

12. Samen lunchen
12:00 – 13:00

13. Praktijkgericht
onderzoek
Kennisintermezzo: Hoe kan ik praktijkgericht onderzoek
inbouwen in een leeromgeving?

14. Kennisstroom en
Praktijkstroom
Andriessen, A. (2011). Kennisstroom en Praktijkstroom.
In J.E. van Aken en D. Andriessen (eds) Handboek
ontwerpgericht wetenschappelijk onderzoek:
wetenschap met effect. Boom Lemma uitgevers: Den
Haag

15. Kennisstroom en praktijkstroom
Andriessen, A. (2011). Kennisstroom en Praktijkstroom. In J.E. van Aken en
D. Andriessen (eds) Handboek ontwerpgericht wetenschappelijk onderzoek:
wetenschap met effect. Boom Lemma uitgevers: Den Haag

16. Praktijkonderzoek door
studenten
Opdrachten of projecten van studenten beschouwen
als cases
Studenten als onderdeel van opdracht/project
gedurende de uitvoering systematisch data laten
verzamelen  manier waarop inclusief ondersteuning
goed ontwerpen
Studenten als onderdeel van opdracht/project achteraf
systematisch data laten verzamelen  manier waarop
inclusief ondersteuning goed ontwerpen
Tijd inbouwen voor analyse
Creatieve vorm zoeken voor delen van resultaten:
mini-conferentie, website, presentatie aan werkveld,
publicatie voor opdrachtgever
Samenwerking zoeken met Lectoraat

17. Praktijkonderzoek als docent
Onderwijskundige onderzoeksvraag formuleren rond probleem
dat speelt in onderwijspraktijk
Leeromgeving of een deel hiervan beschouwen als casus
Systematisch formatief evalueren met peers, experts of
studenten  vorm van data verzamelen
Achteraf systematisch evalueren met peers, experts of studenten
 vorm van data verzamelen
Data analyseren en delen in vorm van presentatie, workshop,
conferentiebijdrage of praktijkpublicatie
Samenwerking zoeken met collega/expert/lector
Vorm van professionaliseren (LLL)

18. Participeren aan pilotonderzoek?
Indien je eindproduct met voldoende/goed is beoordeeld, dan is het
idee om die te analyseren voor (pilot) onderzoek over
leeromgevingen vanuit een ontwerpperspectief. De focus is op het
ontwerp van de leeromgeving en wordt daarom anoniem
gerapporteerd.
Indien je bezwaar hebt dat jouw eindproduct voor dit praktijkgerichte
onderzoek wordt ingezet (indien nodig na overleg met je direct
leidinggevende), dan ontvang ik graag hierover een e-mail en haal
ik jouw eindproduct uit de dataverzameling. De eindproducten van
de mensen waarvan ik geen bezwaar krijg per e-mail neem ik mee
in het onderzoek en bedank ik nu alvast voor hun medewerking
hieraan!
Vragen over het (pilot) onderzoek zijn uiteraard welkom.

19. Meer weten?
Lectoraat Methodologie van Praktijkgericht
Onderzoek
http://www.onderzoek.hu.nl/Lectoraten/Daan%20A
Hoofdstuk Handboek Ontwerpgericht
Wetenschappelijk Onderzoek
http://www.dsrg.nl/docs/Hoofdstuk%2005%20Hand

20. Aan het werk
In duo’s of klein groepje plan opstellen voor afronden
van (her)ontwerp en opleveren eindopdracht

21. Terug & vooruit
De dag afsluiten – samen terugblikken naar de sessies
die zijn afgelopen en vooruit kijken naar toekomst

22. Principes Manifest HU 2012 hebben we
in BDB en deze module Onderwijs
Ontwerpen nagestreefd:
1.
2.
3.
4.
5.
6.
7.
8.
9.
...is het contact tussen docent en student intensief en op maat
...is het onderwijs een combi van face-to-face leren, online
leren en leren op de werkplek
...is de HU een verzameling van communities
...maakt onderzoek deel van de dagelijkse (onderwijs)praktijk
...hebben communities een eigen, herkenbare thuisbasis
...telt de HU veertigduizend verschillende leerwegen
...gebeurt toetsing goed geborgd en leerwegonafhankelijk
...is elke student een professional en elke professional een
potentiële student
...stuurt elke docententeam zelf op kwaliteit.

23. Terugblikken en vooruit kijken
Blik terug:
Hoe verliep het met leren op de
werkplek/zelfstudie met HUbl?
Hoe verliep deze laatste face-to-face sessie?
Kijk vooruit:
Hoe ga je afronden eindopdracht aanpakken?
Welke datum ga je inleveren?
Welke verwachtingen heb je over de rol van
onderwijs ontwerpen in je dagelijkse
onderwijspraktijk na afronden van module ?

24. Succes!
Tot ziens op HUbl (sessie 7) en face-to-face!