1. Peer Review versie 3:
Teamprestaties meten, volgen, toetsen
Dr. Ir. Gillian Saunders-Smits i.s.m. Parantion
Delft
University of
Technology
Challenge the future
2. Context
Faculteit Luchtvaart- en
Ruimtevaarttechniek
• 2000+ studenten in BSc en MSc
• In BSc wordt veel gebruikt gemaakt van
Projectonderwijs (ca. 35 ECTS)
• Studenten werken in groepen van 8 – 10
studenten aan zeer diverse
projecten
2
3. Probleem: Beoordeling
• Onder docenten grote behoefte aan assistentie
bij beoordelen
• Grootste problematiek:
• Wie heeft wat gedaan?
• Hoe groot is de individuele bijdrage geweest?
• Wat is de kwaliteit van de bijdrage?
• Hoe heeft een persoon bijgedragen aan het
groepsproces?
3
4. Werken in een project
Formulering Project
Project doel resultaat
Evaluatie
Tijd
4
5. Werken in project onderwijs projecten
Formulatie Project
Project doel resultaat
Leer
resultaat
Tijd
5
6. Oplossing: Peer & Zelf
evaluaties
Peer evaluatie:
Het beoordelen van leden van het eigen project
team op hun bijdrage tot het project en de manier
waarop die bijdrage tot stand is gekomen.
Zelfevaluatie:
Het beoordelen van de eigen bijdrage tot het
project en de manier waarop die bijdrage tot
stand is gekomen.
6
7. Type peer evaluaties
Drie types peer evaluatie:
1. Ranking (van beste tot slechtste)
2. Pot verdelen (een pot punten of geld door het
team onderling laten verdelen)
3. Rubrics (aan de hand van opgestelde criteria
studenten elkaar laten beoordelen)
Voor projectonderwijs in het HO is op LR ervaren
dat optie 3 het beste werkt.
7
8. Uitvoering
• Gekozen voor een bestaande set rubrics zoals
gebruikt op de United States Air Force
Academy in their project
• Een Rubric is een scoringsvorm waarbij je
iemand punten geeft gebaseerd op van te
voren opgestelde criteria
8
9. Criteria
Op L&R aan de TU Delft worden 5 criteria
gebruikt:
• Job performance
• Attitude
• Initiative
• Communication
• Management of Resources
9
10. Job Performance Attitude Leadership/Initiative Management of Communication
Resources
Consistently does more than Positive and professional Takes initiative to seek out Uses time effectively in and out Oral and written skills
required. Work is of attitude which favorably work, concerned with getting of group and works to get excellent. Very effective
exceptional quality. influences other company the job done. Very involved in others to do the same. All tasks within the group and to
members. the technical project. completed on or ahead of reviewers.
schedule.
Sometimes does more than Positive attitude toward Readily accepts tasks, Uses time effectively in and of Usually effective.
required. Work is of high project and the team. sometimes seeks more work. group. Completes all tasks on
quality. A producer. Gets involved in the project. time.
Performs all assigned tasks. Neutral attitude. Gets involved enough to Wastes some time in group, but Generally gets the point
Quality of work is acceptable. complete tasks. Does his/her works hard when a deadline is across. Tries to improve in
share. near. Most tasks completed on weak areas.
time.
Performs all assigned tasks. Negative attitude toward Tends to watch others work. Wastes most of group time. Skills ineffective. Makes an
Work must be redone or project and/or project. Gets involved only when Seldom seen doing productive effort to improve.
repaired to meet standards. necessary. Volunteers to help work. Some tasks completed
when it will look good. late.
Performs some assigned Negative attitude which Lets others do the work; does Does little useful work in group Skills ineffective. Makes
tasks. Work must be redone adversely affects other the minimum he/she thinks is or out; wastes his/her time and little or no effort to
by others to meet standards. company members or project. needed to get by. others. Work is constantly late. improve.
10
11. Criteria: Job Performance
++ + 0 - --
Consistently Sometimes Performs all Performs all Performs
does more does more assigned assigned some
than than tasks. tasks. Work assigned
required. required. Quality of must be tasks. Work
Work is of Work is of work is redone or must be
exceptional high quality. acceptable. repaired to redone by
quality A producer meet others to
standards meet
standards.
11
12. Criteria: Attitude
++ + 0 - --
Positive and Positive Neutral Negative Negative
professional attitude attitude. attitude attitude
attitude, toward toward team which
which project and and/or adversely
favourably the team project. affects other
influences team
other team members or
members. project.
12
13. Criteria: Initiative
++ + 0 - --
Takes Readily Gets involved Tends to Lets others
initiative to accepts enough to watch others do the work;
seek out tasks, complete work. Gets does the
work, sometimes tasks. Does involved only minimum
concerned seeks more his/her when he/she thinks
with getting work. Gets share. necessary. is needed to
the job done. involved in Volunteers to get by.
Very involved the project. help when it
in the will look
technical good.
project.
13
14. Criteria: Management of Resources
++ + 0 - --
Uses time Uses time Wastes some Wastes most Does little
effectively in effectively in time in of group useful work
and out of and of group. group, but time. Seldom in group or
group and Completes all works hard seen doing out; wastes
works to get tasks on when a productive his/her time
others to do time. deadline is work. Some and others.
the same. All near. Most tasks Work is
tasks tasks completed constantly
completed on completed on late. late.
or ahead of time.
schedule.
14
15. Criteria: Communication
++ + 0 - --
Oral and Usually Generally Skills Skills
written skills effective. gets the ineffective. ineffective.
excellent. point across. Makes an Makes little
Very effective Tries to effort to or no effort
within the improve in improve. to improve.
group and to weak areas.
reviewers.
15
16. IT systeem implementatie eisen
• Web based, systeem onafhankelijk
• Exporteerbare files
• Batch enroll functie
• Neutrale interface
• Criteria kunnen aangepast en aangevuld worden
• Ratings zijn niet terug te voeren op individuen
• Docent is regisseur en beslist wat er met de data gebeurt
16
17. Hoe in te vullen?
• Per teamlid en voor zichzelf het meest van toepassing zijnde
hokje invullen voor iedere categorie
• Mogelijkheid tot het geven van een toelichting via commentaar
box
• Commentaar kan “private” of “public” worden gegeven
17
18. Data beheer
• Zodra een student zijn scores doorgeeft, worden deze toegevoegd
aan het gemiddelde van de groep. Op deze manier is het systeem
volledig anoniem.
• Alle studenten loggen in met NetID
• Studenten kunnen hun oordelen toelichten. Hier wordt veelvuldig
gebruik van gemaakt. Studenten kunnen kiezen voor 2 niveaus
voor publicatie:
• de hele groep
• de staf
18
19. Ervaringen met Peer evaluaties
• Om optimaal gebruik te kunnen maken van peer
evaluaties moeten ze min. twee keer per
project worden uitgevoerd (halverwege en
aan het eind)
• Commentaar functie wordt als zeer nuttig ervaren
• Omdat de resultaten niet in een cijfer wordt
omgezet wordt het systeem door studenten
geaccepteerd als eerlijk
• Een goede IT infrastructuur is onontbeerlijk om de
administratieve lasten voor docenten te
beperken
19
20. Gebruik tot nu toe
• Vanaf 2000 met eigen systeem gewerkt
gemaakt door student assistenten
• Aantal gebruikers van systeem groeide hard
• Steeds moeilijker systeem in eigen beheer te
houden en te updaten: continuïteit kwam in
gevaar
• Eind 2009 is besloten om met externe partner
in zee te gaan: Parantion
• Vanaf september 2011: Zeer succesvolle TU
brede implementatie
20
38. Conclusies
• Peer evaluaties zijn een hele nuttige tool bij het beoordelen van
individuele bijdrages in projectonderwijs
• IT-infrastructuur voor dit type projecten moet professioneel
worden opgezet om vertrouwelijkheid, stabiliteit en continuïteit te
garanderen
• Met hulp van het Scorion systeem van Parantion hebben we dit
bereikt
38
