Atelier pédagogique sur l'évaluation des acquis des étudiants à l'aide de questions à choix multiples (QCM) en ajoutant des degrés de certitude. Exploration de 3 méthodes de recueil d'information et d'analyses de ces informations en retour d'information (feedback) pour l'étudiant et pour l'enseignant.
Conférence Sommet de la formation 2024 : Développer des compétences pour la m...
Aller plus loin avec les QCM grâce aux degrés de certitude
1. Aller plus loin avec les
QCM grâce aux
degrés de certitude
S Abry — B Bailly — JL Castaigne — E Sylvestre
dimanche 13 décembre 2015
2. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Abraham Maslow
2
1943
dimanche 13 décembre 2015
3. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Objectifs de l’atelier
À la fin de cet atelier, vous serez capable
de construire un argumentaire pour
l'utilisation des QCM avec Degrés de Certitude
de différencier différentes méthodes
d'utilisation des QCM avec Degrés de
Certitude
de choisir la méthode la plus adaptée aux
objectifs que vous vous fixez
3
À la fin de cet atelier, vous serez capable
dimanche 13 décembre 2015
4. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Introduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion
Plan
4
dimanche 13 décembre 2015
5. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Plan
Introduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion
5
dimanche 13 décembre 2015
6. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Question à Choix Multiple
L’unité de mesure de la force
d’un piment est le
1. scoville.
2.thermoptim.
3.cherit.
4.hauy.
6
Amorce
Propositions
Réponse correcte
Distracteurs
L’unité de mesure de la force d’un piment est le scoville.
L’unité de mesure de la force d’un piment est le thermoptim.
dimanche 13 décembre 2015
7. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
2 étudiants ont 16 / 20
Sont-ils égaux ?
À ce degré de finesse de mesure oui,
mais…
si nous ajoutons la notion de certitude
des réponses choisies, nous augmentons
la finesse et dès lors, nous pouvons
imaginer…
7
Castaigne, 2006
dimanche 13 décembre 2015
8. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
2 étudiants ont 16 / 20
étudiant A
4 erreurs mais
chaque erreur avec
une certitude >60%
16 réponses
correctes mais
chaque fois avec
une certitude <40%
étudiant B
4 erreurs mais
chaque erreur avec
une certitude <40%
16 réponses
correctes mais
chaque fois avec
une certitude >60%
8
Castaigne, 2006
dimanche 13 décembre 2015
9. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Ce qu’il ne faut pas faire
Ne jamais utiliser des expressions
verbales pour exprimer sa certitude
comme sûr, très sûr, sûr et certain, peu
sûr, pas sûr du tout, moyennement sûr...
9
dimanche 13 décembre 2015
10. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
2 stagiaires
Sur pour 10 questions
Pas sur pour 6 questions
0
2
4
6
0 % 20 % 40 % 60 % 80 % 100 %
Sur
Pas sur
10Castaigne, 2005
dimanche 13 décembre 2015
11. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Shuford, Albert & Massengill
Ne pas utiliser d’expressions verbales (pas sûr, peu sûr,
moyennement sûr, très sûr, sûr et certain,...)
Utiliser des expressions numériques (probabilités
subjectives) comme
certitude de
0%, 20%, 40%, 60%, 80% ou à 100%
certitude entre
0 et 25%, 25-50, 50-70, 70-85, 85-95 et
entre 95 et 100%
11
Admissible Probability Measurement Procedures
Emir H. Shuford, Arthur Albert and H. Edward Massengill
1966, PSYCHOMETRIKA, Volume 31, Number 2, 125-145
dimanche 13 décembre 2015
12. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Plan
Introduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion
12
Auguste Rodin, 1880
Le Penseur, Bronze, Paris : Musée Rodin
dimanche 13 décembre 2015
13. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Lorsque l’on cote les réponses de
l’étudiant, il reçoit plus de points pour
une réponse correcte donnée avec une
certitude plus élevée qu’une réponse
correcte donnée avec une certitude plus
basse.
Barème lié à chaque question
13
Certitude 0-25% 25-50% 50-70% 70-85% 85-95% 95-100%
RC +13 +16 +17 +18 +19 +20
RI +4 +3 +2 +0 -6 -20
Leclercq, 1975
dimanche 13 décembre 2015
14. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Barème par test
14
Sur base d’un tarif pour les réponses
correctes, les réponses incorrectes et
les omissions, on calcule le score
d’exactitude de l’étudiant.
Score
d’exactitude
RI:-0,25
RC:+1
Omis:-0,50
dimanche 13 décembre 2015
15. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Barème par test
15
Sur base d’un tarif pour les réponses
correctes, les réponses incorrectes et
les omissions, on calcule le score
d’exactitude de l’étudiant. Ensuite, sur
base de calcul d’indices à partir des DC
portant sur l’ensemble des questions, on
ajoute des points (pas de perte).
indices
Score
d’exactitude
Score de
réalisme+ Leclercq, 2003
RI:-0,25
RC:+1
Omis:-0,50
dimanche 13 décembre 2015
16. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Pas de barème
16
Tarif
Réponse Correcte (RC) = +1
Réponse Incorrecte (RI) = - 0,25
Omission = - 0,5
Les degrés de certitude n’influencent
pas le score (certitude de 0%, 20%,
40%, 60%, 80% ou à 100%)
Castaigne, 2005
dimanche 13 décembre 2015
17. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Plan
Introduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion
17
Escher M.C., 1935 Mains avec sphère
dimanche 13 décembre 2015
18. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
4 règles d’utilisation DC
1. Une consigne probabiliste
18
dimanche 13 décembre 2015
19. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Probabilités de certitude
Admissible Probability Measurement Procedures
Emir H. Shuford, Arthur Albert and H. Edward Massengill
1966, PSYCHOMETRIKA, Volume 31, Number 2, 125-145
Ne pas utiliser
d’expressions
verbales
Utilisez des
pourcentages
0% 20% 40% 60% 80% 100%
0-25% 25-50% 50-70%
70-85% 85-95% 95-100%
19
dimanche 13 décembre 2015
20. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
4 règles d’utilisation DC
1. Une consigne probabiliste
2. Un barème respectant la théorie des
décisions
20
Certitude 0-25% 25-50% 50-70% 70-85% 85-95% 95-100%
RC +13 +16 +17 +18 +19 +20
RI +4 +3 +2 +0 -6 -20
dimanche 13 décembre 2015
21. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Plan
Introduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion
21
http://angiemcgovern.files.wordpress.com/2010/01/bigstockphoto_we_all_make_mistakes__131640.jpg
dimanche 13 décembre 2015
22. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
4 règles d’utilisation DC
1. Une consigne probabiliste
2. Un barème respectant la théorie des
décisions
3. un feedback métacognitif (graphes,
indices,…)
22
dimanche 13 décembre 2015
23. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Score avec les DC
Nombre de Réponses Correctes (RC)
23
Note et indices
Certitude 0-25% 25-50% 50-70% 70-85% 85-95% 95-100%
RC +13 +16 +17 +18 +19 +20
RI +4 +3 +2 +0 -6 -20
Leclercq, 1975
dimanche 13 décembre 2015
24. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 24
Note et indices
Leclercq, 1975
+18
+4
Total = 22 / 40
= 11 / 20
Pourcentage de RC = 1 / 2
= 10 / 2O
FAUX
OK
0-25% 25-50% 50-70% 70-85% 85-95% 95-100%
+13 +16 +17 +18 +19 +20
+4 +3 +2 +0 -6 -20
dimanche 13 décembre 2015
25. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 25
Note et indices
Brown et Shuford (1973)
Leclercq et Gilles (1994)
Droite de réalisme idéal
Certitude choisie
Réalisme idéal
PourcentagedeRC
dimanche 13 décembre 2015
26. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Réalisme par classe de certitude
26
Note et indices
Brown et Shuford (1973)
Leclercq et Gilles (1994)Certitude choisie
PourcentagedeRC
Pour toutes les QCM
où vous avez choisi une
certitude de 20%
Vous avez pour ces
QCM 38% de
réponses correctes
Vous avez réussi
plus (38%)
qu’annoncé (20%)
dimanche 13 décembre 2015
27. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Droite de réalisme idéal et sur- ou
sous-estimation
27
Note et indices
Brown et Shuford (1973)
Leclercq et Gilles (1994)Certitude choisie
PourcentagedeRC
Vous avez réussi
moins qu’annoncé
SUR estimation
Vous avez réussi
plus qu’annoncé
SOUS estimation
dimanche 13 décembre 2015
28. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Note et indices
Sur base d’un tarif pour les réponses
correctes, les réponses incorrectes et les
omissions, on calcule le score d’exactitude
de l’étudiant. Ensuite, sur base du calcul
à partir des DC portant sur l’ensemble
des questions, on ajoute des points (pas
de perte de points).
Score
d’exactitude
Score de
réalisme+ Leclercq, 2003
indices
RI:-0,25
RC:+1
Omis:-0,50
dimanche 13 décembre 2015
29. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Note et indices
Score de “réalisme” = bien utiliser les DC
DC élevés avec les RC
DC bas avec les RI
Indices : degré de certitude moyen
des Réponses Correctes (RC)
des Réponses Incorrectes (RI)
dimanche 13 décembre 2015
30. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Note et indices
11
FAUX
OK
dimanche 13 décembre 2015
33. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 33
Note et indices
Tarif
Réponse Correcte (RC) = +1
Réponse Incorrecte (RI) = - 0,25
Omission = - 0,5
Les degrés de certitude n’influencent pas
le score
Castaigne, 2004
dimanche 13 décembre 2015
34. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
RI:-0,25
RC:+1
Omis:-0,5
Note et indices
FAUX
OK
7 0 0 1 0 3 3132 2 3 1 4 1
-3,25 +7
3,75
dimanche 13 décembre 2015
35. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Note et indices
0 0 1 0 3 32 2 3 1 4 1
3,75
dʼaprès Hunt & Furustig (1989); Hunt (2003); Jans & Leclercq (1999); Leclercq (2003)
dimanche 13 décembre 2015
36. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Plan
Introduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion
36
"Escheresque Metacognition"
1998, Timothy R. Haldane
dimanche 13 décembre 2015
37. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
4 règles d’utilisation DC
1. Une consigne probabiliste
2. Un barème respectant la théorie des
décisions
3. Un feedback métacognitif (graphes,
indices,…)
4. un entraînement des étudiants
37
dimanche 13 décembre 2015
38. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Entraînement
38
Test-Wiseness
Examen “blanc”
Banque de questions en ligne
0 5 10 20 30 40 50
Samson, 1985
Berliner, 1986
dimanche 13 décembre 2015
39. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Entraînement
39
Castaigne et Gilles, 2001
dimanche 13 décembre 2015
40. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Plan
Introduction
Activité
Mise en commun
Pause
Activité
Mise en commun
Conclusion
40
"L'Angélus" 1858, Jean-François Millet
Courant Réaliste
Huile sur toile, 55 × 66 cm
Musée d'Orsay, Paris
dimanche 13 décembre 2015
41. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 41
Métacognitionrégulatrice(Noël1991)
Castaigne, 2005
dimanche 13 décembre 2015
42. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Bruno De Finetti
42
“It is only subjective
probability that can give
an objective meaning to
every response and
scoring method.” (p. 111)
« Methods of discriminating levels of partial knowledge concerning a test item »
Brit. Journ. of Math. & Statist. Psychol., 1965, 18, 87-123.
(1906-1985)
dimanche 13 décembre 2015
43. Maslow, A. H. (1943). A theory of human motivation. Psychological review, 50(4), 370.
Castaigne, J.-L. (2006). Excel spreadsheet to support veterinary student’s metacognition. Presented at the Second bi-annual Conference of EARLI SIG
Metacognition, Cambridge, United Kingdom. Retrieved from http://orbi.ulg.ac.be/handle/2268/23434
Castaigne, J.-L. (2005). Recherches récentes sur l’utilisation des Degrés de Certitude Recherches récentes sur l’utilisation des Degrés de Certitude :
Directions de recherches dans le calcul des notes liant exactitude et réalisme. In Actes du 18ème colloque international de l’ADMEE : Comment
évaluer ? Outils, dispositifs et acteurs. Reims, France. Retrieved from http://orbi.ulg.ac.be/handle/2268/23416
Shuford, E., Albert, A., & Massengill, H. (1966). Admissible probability measurement procedures. Psychometrika, 31(2), 125–145.
Leclercq, D. (1975). L’évaluation subjective de la probabilité d’exactitude des réponses en situation pédagogique (Doctorat en Sciences de l’Education).
Université de Liège. Retrieved from http://orbi.ulg.ac.be/handle/2268/10119
Leclercq, D., & Poumay, M. (2003). Trois nouveaux indices de réalisme dans l’auto-évaluation des performances. Cahiers du Service de Pédagogie
Expérimentale (SPE), 15-16. Retrieved from http://orbi.ulg.ac.be/handle/2268/27518
Castaigne, J.-L. (2005). Un outil d’autoréflexion cognitive et métacognitive pour l’amélioration des performance. Presented at the Journée d’étude AIPU-
CFB -- AdAPTE : L’accompagnement pédagogique : Un outil pour favoriser la réussite dans l’enseignement supérieur., Gembloux, Belgique. Retrieved
from http://orbi.ulg.ac.be/handle/2268/23418
Brown, T. A., & Shuford, E. H. (1973). Quantifying uncertainty into numerical probabilities for the reporting of intelligence. DTIC Document. Retrieved
from http://oai.dtic.mil/oai/oai?verb=getRecord&metadataPrefix=html&identifier=AD0777063
Leclercq, D., & Gilles, J.-L. (1994). GUESS, un logiciel pour s’entraîner à l’auto-estimation de sa compétence cognitive. In QCM et questionnaires
fermés, actes du 3ème colloque international ESIEE (pp. 137–158). Marne-la-Vallée, France: Université Paris 7 Denis Diderot, Laboratoire d’Ingénierie
Didactique. Retrieved from http://orbi.ulg.ac.be/handle/2268/8953
Hunt, D. P., & Furustig, H. (1989). Being informed, being misinformed and disinformation: A human learning and performance approach. National
Defence Research Institute, Technical Report PM, 56(238), 1–17.
Hunt, D. P. (2003). The concept of knowledge and how to measure it. Journal of Intellectual Capital, 4(1), 100–113.
Jans, V., & Leclercq, D. (1999). Mesurer l’effet de l’apprentissage à l’aide de l’analyse spectrale des performances. In L’évaluation des compétences et
des processus cognitifs: modèles, pratiques et contextes (pp. 303–317). Bruxelles, Belgique: De Boeck Université. Retrieved from http://orbi.ulg.ac.be/
handle/2268/27553
Leclercq, D. (2003). Diagnostic cognitif et métacognitif au seuil de l’Université : le projet Mohican mené par les 9 universités de la Communauté
française Wallonie-Bruxelles. Liège, Belgique: Editions de l’Université de Liège. Retrieved from http://orbi.ulg.ac.be/handle/2268/17837
Samson, G. E. (1985). Effects of Training in Test-Taking Skills on Achievement Test Performance: A Quantitative Synthesis. The Journal of Educational
Research, 78(5), 261–266. http://doi.org/10.1080/00220671.1985.10885613
Berliner, D. C. (1986). In pursuit of the expert pedagogue. Educational Researcher, 5–13.
Castaigne, J.-L., Gilles, J.-L., & Hanzen, C. (2001). Application du cycle gestion qualité SMART des tests pédagogiques au cours d’obstétrique et
pathologie de la reproduction des ruminants, équidés et porcs. In Actes du 18e congrès de l’AIPU : Les stratégies de réussite dans l’enseignement
supérieur. Dakar, Sénégal: Université Cheikh Anta Diop. Retrieved from http://orbi.ulg.ac.be/handle/2268/23014
Castaigne, J.-L. (2005). Directions de recherches dans le calcul des notes liant exactitude et réalisme: illustration à travers une démarche en formation
à distance. In Actes du 22e congrès de l’association internationale de pédagogie universitaire (AIPU) : L’enseignement supérieur du {XXIe} siècle : de
nouveaux défis à relever. Genève, Switzerland. Retrieved from http://orbi.ulg.ac.be/handle/2268/23420
Finetti, B. de. (1965). Methods for Discriminating Levels of Partial Knowledge Concerning a Test Item. British Journal of Mathematical and Statistical
Psychology, 18(1), 87–123. http://doi.org/10.1111/j.2044-8317.1965.tb00695.x
dimanche 13 décembre 2015
44. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2014
Jean-Loup Castaigne,
04 78 79 43 24
jean-loup.castaigne@lyon.archi.fr
Yvan Pigeonnat
04 76 82 82 56
yvan.pigeonnat@grenoble-inp.fr
Mis à disposition selon les termes de la licence Creative Commons
Paternité - Pas d'Utilisation Commerciale - Pas de Modification.
44
dimanche 13 décembre 2015