Florian Meyer & Sonia Proust-Androwkha & Marie-Eve Desrochers, Université de Sherbrooke, Sherbrooke, Québec, Canada
La crise sanitaire récente a bien mis en exergue l’importance du numérique dans l’enseignement et de la maitrise de la compétence numérique (Karsenti, Poellhuber, Roy et Parent, 2020). Malheureusement pour le personnel enseignant cette compétence représente un réel défi et le besoin d’accompagnement et de soutien est grand et multidimensionnel.
Dans cette optique d’actualisation de la formation au numérique des personnes enseignantes, nous avons développé une première version d’un dispositif d’autoformation dynamique pour l’innovation (DADI) (Desrochers, Meyer et Bourque, 2019). Ce dispositif a pour objectif de favoriser le développement du savoir technopédagogique disciplinaire (Bachy, 2014) des personnes enseignantes et de mieux les outiller pour faire face aux défis technopédagogiques qu’elles rencontrent dans leurs réalités pédagogiques quotidiennes. DADI leur permet d’avoir un meilleur portrait d’ensemble de leurs pratiques, de leur compétence numérique et d’être guidées vers des ressources d’autoformation personnalisées qui sont adaptées à leurs besoins individuels et à leurs contextes de formation.
Cette première version du DADI, bien que solidement fondée d’un point de vue théorique (Desrochers, Meyer et Dyan-Charles, soumis), a été développée dans une logique pragmatique de formation et n’a fait l’objet d’aucun étude scientifique à proprement parler, ni de programmation impliquant de l’intelligence artificielle. Dans la recherche que nous présentons ici, la mise en pratique du modèle STPD dans l’outil d’autopositionnement est étudiée afin de comprendre comment assurer une réelle applicabilité formative. En complément de cette validation de l’applicabilité formative du modèle STPD, nous travaillons à l’élaboration d’une structure permettant d’y associer une intelligence artificielle efficace. En d’autres termes, cette recherche vise à permettre au dispositif DADI de devenir encore plus précis et efficace et de faire appel à un robot intelligent permettant un dialogue souple pour l’autodiagnostic.
2. Fondements et structure du dispositif DADI
Démarche méthodologique
• Recherche orientée par la conception
• Étude de l’adaptation du modèle STPD (Bachy, 2014)
Premiers résultats
Prochaines étapes
• Design du dispositif et ses ressources
• Construction des interactions structurant le travail du robot intelligent
• Recherche
Déroulement
3. Fondements et structure du dispositif DADI
Démarche méthodologique
• Recherche orientée par la conception
• Étude de l’adaptation du modèle STPD (Bachy, 2014)
Premiers résultats
Prochaines étapes
• Design du dispositif et ses ressources
• Construction des interactions structurant le travail du robot intelligent
• Recherche
Déroulement
5. Répondre aux problématiques de l’enseignement en ligne ou en contexte
hybride dans le supérieur
Dispositif d’Autoformation Dynamique pour l’Innovation
2/16
Public ciblé
Public francophone de niveau collégial et universitaire.
Enseignement à distance et/ou en mode hybride.
Permettre au personnel enseignant :
de s’autopositionner par rapport à ses pratiques,
d’être guidé vers des objectifs et des ressources de
formation adaptées à ses besoins de diversification
ou d’amélioration de ses pratiques.
6. Une plateforme web libre à multiples entrées
3/16
Boussole
pédagonumérique
Banque de
ressources
Guide pédagogique
numérique
Questionnaire à 3 niveaux sur
les pratiques déclarées
Proposition de
ressources selon les
besoins identifiés
Obtention de
suggestions
d’objectifs de
formation
Une banque d'informations qui réunit
de nombreuses ressources libres (ou
non) de formats variés
Un ensemble de ressources
ciblées organisées à la
manière d’un parcours de
formation thématique
Les visiteurs peuvent
rechercher et explorer
l'information à partir de
filtres et de mots-clés
7. Recension des écrits
• Recueil des enjeux, défis et besoins des formateurs et étudiants en formation à
distance/hybride.
Enquête menée auprès de personnes-ressources des sciences de l’éducation
et de la pédagogie de l’enseignement supérieur (n=33)
• Identification des besoins de formation (Desrochers, Meyer et Dyan-Charles, 2022)
Ancrage de l’approche de FAD dans le modèle théorique du Savoir techno-
pédagogique disciplinaire (Bachy, 2014).
Cadre de référence
8. 5/16
Modélisation du Savoir TechnoPédagogique Disciplinaire (STPD)
Niveau 1 (4 dimensions)
Niveau 2 (6 relations)
Niveau 3 (4 interrelations)
Modèle inspiré des travaux du TPaCK
(Archambault et Crippen, 2009 ; Schmidt
et al., 2009) et des travaux sur le Savoir pédagogique
disciplinaire (Berthiaume, 2007).
P connaissances pédagogiques
D culture disciplinaire
T connaissances technologiques
E épistémologie personnelle
(Bachy, 2014)
PD pédagogie + discipline
TD technos + discipline
TE technos + épistémologie personnelle
personnelle
PE pédagogie + épistémologie personnelle
personnelle
DE discipline + épistémologie personnelle
personnelle
TP technos + pédagogie
PDE pédagogie + discipline + épistémologie personnelle
personnelle
TPD technos + pédagogie + discipline
TDE technos + discipline + épistémologie personnelle
9. Outil d’auto-positionnement du STPD (Bachy, 2014)
Niveau 1
4 dimensions
Niveau 2
6 relations
PD Pédagogie et Discipline
TD Technologies et Discipline
TP Technologies et Pédagogie
PE Pédagogie et Épistémologie
DE Discipline et Épistémologie
TE Technologies et
Épistémologie
T Connaissances technologiques
D Culture disciplinaire
P Connaissances pédagogiques
E Épistémologie personnelle
10. Fondements et structure du dispositif DADI
Démarche méthodologique
• Recherche orientée par la conception
• Étude de l’adaptation du modèle STPD (Bachy, 2014)
Premiers résultats
Prochaines étapes
• Design du dispositif et ses ressources
• Construction des interactions structurant le travail du robot intelligent
• Recherche
Déroulement
11. Démarche de type
• Design-Based Research (Wang et Hannafin, 2005)
• Recherche collaborative orientée par la conception (Sanchez et Monod-Ansaldi,
2015)
• Actuellement : entrée dans la 2ème itération
Une démarche itérative
https://designedforlearning.wordpress.com/2009/07/04/design-research-cycle/
13. 7/16
Modèle-outil STPD
Bachy (2014)
Questionnaire STPD
Évaluation des capacités
perçues
● Niveau 1 (10 items)
● Niveau 2 (18 items)
Limites
● Niveau 3
Items non communiqués et non
validés.
Dispositif d’autoformation
Dynamique pour l’innovation
(DADI)
→ Objectif
Permettre à l’enseignant de
porter un regard réflexif sur
les différentes dimensions du
STPD et le guider vers des
objectifs et ressources de
formation pour
développer/améliorer ses
pratiques.
Questionnaire DADI
Évaluation des pratiques
déclarées
● Niveau 1
● Niveau 2
● Niveau 3
→ Objectif
Dresser des profils
d’enseignants en ce qui
concerne l’influence de leur
culture disciplinaire, de leur
épistémologie personnelle, de
leurs connaissances
pédagogiques et de leurs
connaissances technologiques
sur leur enseignement.
14. Observation empirique des usages
• Adaptation du questionnaire
Validation qualitative interne et externe des énoncés du questionnaire
• Nouvelle adaptation du questionnaire
Pré-test quantitatif (n=46)
• Dernière adaptation du questionnaire
Validation qualitative interne de la dernière version
Validation quantitative
• En cours…
Étapes relatives à la validation du questionnaire
15. Fondements et structure du dispositif DADI
Démarche méthodologique
• Recherche orientée par la conception
• Étude de l’adaptation du modèle STPD (Bachy, 2014)
Premiers résultats
Prochaines étapes
• Design du dispositif et ses ressources
• Construction des interactions structurant le travail du robot intelligent
• Recherche
Déroulement
16. Une version préliminaire du questionnaire DADI
Modèle-outil
STPD
Bachy (2014)
Dispositif
d’autoformation
Dynamique pour
l’innovation
Transposition capacités perçues en
actions.
T (1) Ma capacité à résoudre les problèmes techniques lié au matériel (par exemple, les
connexions réseau).
37 ensembles d’items
28 items
17. Démarche de validation du questionnaire (V1)
9/16
Validation externe qualitative (n=4)
Objectif : contrôle de l’intelligibilité des consignes et des items.
Réajustements de la formulation de certains éléments du contenu/simplification du
vocabulaire.
Réduction du temps de complétion du questionnaire.
Validation interne qualitative (soumission du contenu au jugement d’experts, n=7)
Objectifs : contrôle de la cohérence des items par rapport à l’objectif initial, intelligibilité
des énoncés, non ambiguïté du vocabulaire, utilité de tous les items, choix des réponses,
nombre de réponses, …
Corrections du questionnaire en fonction des remarques recueillies.
18. Démarche de validation du questionnaire (V1)
10/1
Pré-test - Passation du questionnaire auprès d’un échantillon représentatif de la
population ciblée (validation quantitative, n=46)
Objectifs :
• identification des items problématiques (faible variabilité dans les réponses),
• mesure de la fiabilité du questionnaire,
• confrontation exploratoire du questionnaire aux résultats du STPD (Bachy, 2014).
Résultats :
• Faible niveau de cohérence interne
Prise de recul sur la qualité des items du questionnaire.
19. Démarche de validation du questionnaire (V1)
11/1
Quel statut ?
• Élaboration d’un questionnaire à visée pratique
• Validation quantitative de ce questionnaire
Les défauts relevés
• Items trop concis perdant en clarté (volonté de réduire le temps de complétion du
questionnaire).
• Énoncés/réponses trop précis pour un outil de recueil de données à réponses fermées
(volonté d’exhaustivité).
• Choix inadéquat des valeurs de réponses (Jamais –> Très souvent).
20. Démarche de validation du questionnaire (V2)
12/1
Des adaptations opérées
• Insertion d’exemples dans les énoncés pour illustrer et guider le répondant dans la
compréhension du sens des items.
• Déconstruction des items pour éviter les défauts d’exhaustivité = distinction entre les objets
de connaissance/compétence et les pistes d’amélioration des pratiques.
• Remplacement de l’échelle de mesure (valeurs de fréquence -> valeurs d’accord + valeur
« Je ne le fais pas »).
Compétence visée
Pistes d’amélioration des pratiques
V1
21. Fondements et structure du dispositif DADI
Démarche méthodologique
• Recherche orientée par la conception
• Étude de l’adaptation du modèle STPD (Bachy, 2014)
Premiers résultats
Prochaines étapes
• Design du dispositif et ses ressources
• Construction des interactions structurant le travail du robot intelligent
• Recherche
Déroulement
22. Du point de vue pédagogique :
• Revoir le design du dispositif
• Revoir les ressources offertes
• …
Du point de vue théorique :
• Terminer l’analyse des résultats afin de valider les questions, dégager des corrélations et
des profils
• Évaluation de la fiabilité interne du questionnaire (Parsian, 2009)
• Interprétation des données - Analyse de corrélations (ACP*/AFM** : synthétisation
des données, détermination des sources de variations importantes dans les
données).
Du point de vue informatique :
• Passer de la logique d’arbre décisionnel pour aller vers un nuage
de termes et de compréhension des profils d’utilisateur : identification
de pondération et d’étiquettes
• Construction des interactions structurant le travail du robot intelligent
Prochaines étapes
23. Merci de votre attention
FlorianMeyer:florian.meyer@usherbrooke.ca
SoniaProust-Androwkha:Sonia.Proust-Androwkha@USherbrooke.ca
Marie-EveDesrochers:Marie-Eve.Desrochers@USherbrooke.ca
ChristelleLison:christelle.lison@usherbrooke.ca
Hinweis der Redaktion
Eléments de contexte… projet de conception d’un dispositif de formation autoportant : DADI
Objectifs
Le public ciblé : enseignant francophone de niveau collégial et universitaire qui enseigne au moins un cours à distance et/ou en mode hybride.
8 thématiques
Mode d’enseignement
Jauge des activités individuelles et collaboratives
Manipulation des outils technologiques
Présence à distance
Alignement pédagonumérique
Stratégies pédagogiques actives
Évaluation des apprentissages (et des compétences)
Motivationet engagement
----------------------------------------
→ Objectif du modèle-outil de Bachy
Analyser les relations entre contenus, pédagogie, technologie et épistémologie personnelle.
Rendre compte des liens que les enseignants font entre leurs connaissances pédagogiques, leurs connaissances technologiques, leur épistémologie personnelle et leur discipline.
Notes persos pour la phase d’analyse quantitative
------------------------------------------------------------------------------------------------
- Possibilité de combiner une information statistique avec d’autres renseignements
Pour effectuer une ACP, il est recommandé d’avoir un échantillon relativement grand pour assurer une puissance statistique minimale. On suggère 100 sujets et plus, mais Hair et al. (1998) donnent comme règle générale d’avoir un ratio de 10 sujets par variable insérée dans l’analyse.
D:\Sauvegarde_OneDrive_2022\OneDrive - USherbrooke\DADI\Recherches_persos\Eval_dispositif\eval_questionnaire.pdf
La validité est bonne lorsqu’un instrument mesure vraiment le phénomène que l’on cherche à mesurer.
• L'effet d’instrumentation: il peut être dû à la mauvaise qualité de l’échelle psychométrique ou du questionnaire ou à l’incompétence de l’enquêteur ou du chercheur.
Pourquoi la structure originelle du questionnaire DADI n’a finalement pas été retenue ?
- Au regarde des objectifs, nécessité de développer un questionnaire moins sensible. La structure originelle du questionnaire DADI regroupe les items par sous-système.
-----------------------------------------------
Pour déterminer si un ensemble de questions définit bien un construit latent, on utilise souvent le coefficient alpha de Cronbach (1951). C’est une mesure d’homogénéité ou de cohérence interne entre les items d’un questionnaire (mesurés sur une échelle de Likert) associés au même construit (construit = une dimension de l’instrument de mesure).
Analyse Factorielle Multiple (AFM) : (MFA pour Multiple Factor Analysis en anglais) (J. Pagès 2002) est une méthode d’analyse de données multivariées permettant de résumer et de visualiser un tableau de données complexe, dans lequel les individus sont décrits par plusieurs ensembles de variables (quantitatives et / ou qualitatives) structurés en groupes. (http://www.sthda.com/french/articles/38-methodes-des-composantes-principales-dans-r-guide-pratique/77-afm-analyse-factorielle-multiple-avec-r-l-essentiel/)
Analyse par Composantes Principales (ACP) : Lorsque les données sont constituées de n individus décrits par d> 3 variables il devient impossible d’effectuer une représentation graphique, comme cela peut être le cas pour d=2 et d=3. L’ACP est une méthode exploratoire (i.e., descriptive) qui permet de décrire un jeu de données multivarié, de le résumer, d’en réduire la dimensionnalité.
Une ACP consiste donc en la transformation des « d » variables originelles, fortement liées entre elles, en nouvelles variables décorrélées les unes des autres par construction. Ces nouvelles variables sont nommées composantes principales, ou plus simplement axes.
Analyse factorielle exploratoire : Pas d’AFE dans notre cas car les dimensions étaient connues avant de construire le questionnaire (les variables à observer ont été construites à partir de construits/ les items du questionnaire sont associés à un construit latent, celui du savoir technopédagogique disciplinaire).
La variable latente générale du questionnaire STPD mesure la capacité de l’enseignant à développer une pratique pédagogique efficace dans un environnement d’apprentissage qui fait intervenir le numérique.
Les 28 items de Bachy mesurent différentes facettes des capacités perçues de l’enseignant à agir dans un contexte d’enseignement avec le numérique. Certaines facettes portent sur la dimension pédagogique ; d’autres sur …. Combien de facteurs sont nécessaires pour bien décrire ces 28 questions ?
Etant donné que nous ne cherchons pas le nombre de facteurs nécessaires pour bien décrire les corrélations calculées entre les 28 items, l’AFE n’est pas la meilleure option d’analyse.
De plus, étant donné que les relations et les interrelations du modèle sont de fait très liées (exemple : P+D), il est à craindre que les facteurs que l’on pourrait obtenir ne soient pas bien différenciés et n’apparaissent pas sur des facteurs séparés. Ceci serait dû probablement à une forte corrélation entre ces deux variables latentes que l’on retrouve dans le modèle du STPD, modèle qui a servi de base à la construction du questionnaire !!!
------------------------------------------