Présentation de Thomas Saïas, Ph. D., Chercheur, CRISE, Professeur, UQAM réalisée le 28 mai 2018 dans le cadre de l'institut d'été du CRISE. Cette présentation discute des enjeux reliés à la modélisation d'un programme à évaluer ainsi que ceux qui émanent de l'évaluation de type "implantation" et des "des effets".
Autogestion des troubles anxieux et dépressifs en milieu de travail
Évaluer nos dispositifs et nos interventions : par où commencer ?
1. Évaluer nos dispositifs et nos
interventions : par où commencer ?
Thomas Saïas
Professeur, UQAM
Membre du CRISE
2. Évaluer oui, mais bien, svp
• Nurse-Family Partnership
• Effets
• Implantation
• Réplication
Mise en évidence de « l’effet Thomas »
3. L’évaluation d’interventions
• Tout un programme
• « Est-ce que ça marche ? »
• « Que faudrait-il faire pour que ça fonctionne ? »
• « Comment atteindre nos objectifs ? »
• « Pourquoi ne parvenons-nous pas à avoir des effets alors que
d’autres en ont eu ? »
7. Différentes conception de l’évaluation
Théorie de l’intervention
Processus
Intervention
Implantation
Effets
8. Différentes conception de l’évaluation
Théorie de l’intervention
Effets positifs
Processus
Intervention
Effets à long terme + ou -
Effets négatifs
Implantation
9. Différentes conception de l’évaluation
Théorie de l’intervention
Effets positifs
(chez qui ?)
Processus
Intervention
Effets à long terme + ou -
Effets négatifs
(chez qui ?)
Implantation
10. Différentes conception de l’évaluation
Théorie de l’intervention
Effets positifs
(chez qui ?)
Processus
Intervention
Effets à long terme + ou -
Effets négatifs
(chez qui ?)
Contextes
Implantation
Contextes
Contextes
Contextes
Contextes
Contextes
Contextes
11. Différentes conception de l’évaluation
Théorie de l’intervention
Effets positifs
Processus
Intervention
Effets à long terme + ou -
Effets négatifs
Contextes
Implantation
Contextes
Contextes
Contextes
Contextes
Contextes
Contextes
Qui pense ?
Qui implante ?
Qui évalue ?
Qui paie ?
Qui promeut ?
Qui utilise ?
12. L’évaluation : multidimensionnelle
• Produire de l’information scientifique (cognitif)
• Porter des jugements (normatif)
• Améliorer une situation (instrumental)
• Provoquer des débats (démocratique)
• «L’utilité sociale d’une évaluation dépend des conditions d’appropriation des
conclusions par les acteurs sociaux auxquels elle est destinée» (Monnier 1992).
13. Ce que l’on vise
1. Savoir pour élaborer une intervention (but stratégique)
2. Savoir pour décider si on continue, si on arrête, si on change (but sommatif)
3. Savoir pour modifier (but formatif)
4. Savoir pour… savoir (but fondamental)
5. Savoir pour avoir de l’influence sur les décisions politiques (but tactique &
politique)
16. « L’évaluation »
1. N’existe pas
2. Si on vous dit le contraire (et on vous le dira), on vous ment
3. Une multiplicité de stratégies permettent d’évaluer ce que vous
avez à évaluer
4. Le choix de la stratégie dépend de votre théorie d’intervention
et de vos questions évaluatives
Commençons par là : arrêter de faire, puis réfléchir
18. L'intervention et ses composantes
• « Une intervention peut se concevoir comme un système
organisé d'action visant, dans un environnement donné, à
un moment donné, et durant une période donnée à
modifier le cours prévisible d'un phénomène pour
corriger une situation problématique »
(Contandriopoulos, 2007)
19. L'intervention et ses composantes
• Cinq composantes:
1. Une structure
2. Des acteurs et leurs pratiques
3. Des processus d'action
4. Une ou des finalités
5. Un environnement
• Une intervention peut être:
• Une technique
• Un traitement
• Une pratique
• Un programme
• Une politique
23. Modéliser les interventions
• S’éloigner du modèle de la boîte noire
=
• Bien connaître l’intervention
• Essentiel pour identifier les relations de cause à effet
• Permet de s’assurer du lien entre les résultats et le programme
• Étape pour comprendre pourquoi certains programmes fonctionnent ou ne
fonctionnent pas
• Utile pour décider quelle évaluation effectuer
27. L’objectif de la modélisation
• Mieux saisir la logique sous-jacente de l’intervention (Chen, Cato et Rainford,
1998 cité par Renger et Titcomb, 2002)
• Modéliser revient à représenter les composantes de l’intervention et leurs liens
(Frechtling 2007)
• La modélisation présente les quoi, les comment et les pourquoi de
l’intervention (Weiss 2000).
• Trois modèles:
• Le modèle causal
• Le modèle logique théorique (change model: comment nous pensons que le
changement va s’opérer)
• Le modèle logique opérationnel (program model: opérationnalisation du programme)
28. De la logique à la modélisation
On veut régler
un problème
En agissant sur une ou
plusieurs causes et en
en ignorant d’autres
En agissant sur les
déterminants des causes
Et leurs déterminants
En produisant des services
En faisant des activités
En utilisant des ressources
Objectif ultime
Objectif d’intervention
Objectifs de production
(proximaux, intermédiaires)
Processus
Structure
29. On veut régler
un problème
En agissant sur une ou
plusieurs causes et en
en ignorant d’autres
En agissant sur les
déterminants des causes
Et leurs déterminants
En produisant des services
En faisant des activités
En utilisant des ressources
Objectif ultime
Objectif d’intervention
Objectifs de production
(proximaux, intermédiaires)
Processus
Structure
Modèle causal
Modèle logique théorique
Modèle logique opérationnel
30. Exemple d’influence théorique
• Prévention du suicide des aînés
• Version santé publique (Saïas et coll., 2014)
• Quel modèles causal & théorique
• Liens avec dépression
• Isolement
• Facteurs de risque : TS parmi tous
• Quelles conséquences pour le modèle opérationnel
• Version psychologie communautaire critique
• Alternatives aux modèles causal & théorique
• Conséquences pour le modèle opérationnel
• Le théorique n’est pas très loin du politique
36. Ensuite
• On peut maintenant se demander « ce qui fonctionne »
Mais…
• Comment : pour pouvoir le faire, l’adapter et le refaire
• Quoi : les effets, positifs ET négatifs
• Pour qui : pour éviter « l’effet Matthieu »
• Sous quelles conditions : pour éviter « l’effet Thomas »
37. La suite
• Relève davantage du technique
• Sera bonne si la logique est bonne
• Doit être fait éthiquement
• En vous appuyant sur votre expérience
• En réfutant le scientisme et le totalitarisme de l’evidence-based
• En amenant néanmoins des arguments pour les décideurs
38. Bon courage !
On est là pour vous aider !
Equipe de recherche Epione : santé publique, santé communautaire
laboepione.ca
thomas.saias@uqam.ca