L’enquête, les grandes oreilles de l’évaluation ?

L’ENQUÊTE : LES GRANDES
OREILLES DE L'ÉVALUATION ?
Approches, techniques, pièges et intérêts de l'enquête pour
l'évaluation
CLUB SFE D'ILE-DE-FRANCE – 25 NOVEMBRE
Contact 2009
PLURICITÉ
1 cours Verdun
69002 Lyon
Tél. 04 78 28 15 00
Fax. 04 78 28 17 56
www.pluricite.fr
pluricite@pluricite.fr

Thibaut Desjonquères, Alix de Saint-Albin Nov. 2009

Sommaire

1- L’enquête : le futur de l’évaluation ?

2- Vigilance pour l’enquête dans l’évaluation

3 - Aspects pratiques de l’enquête dans l’évaluation

4- Conclusion

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 2

Thèmes traités lors de la présentation


Les pratiques d’enquêtes pour l’évaluation
► Une utilisation croissante des enquêtes:
 Dans l’évaluation :
une extension naturelle des outils de collecte
 En dehors de l’évaluation :
via les diagnostics, les tableaux de bord (qualité, satisfaction, etc.)
 Au-delà de l’évaluation ? :
pour l’aide directe à la décision (enquête d’image, de notoriété, sondages,
diagnostics, etc.)


L’enquête : le futur de l’évaluation ?


Une enquête suffit-elle à éclairer la décision publique ?
Champ de l’évaluation

Champ de l’enquête


Retour sur expérience
Enseignements Expériences
L’évaluation impossible de la politique « avec l’enquête, on fait de la participation des
de la ville Vs l’enquête habitants ».
Très forte appropriation de l’enquête par le
politique (Pays viennois, Thonon)
Des enquêtes à forte valeur ajoutée Estimation des effets aubaine (Fastt),
analytique Matrice importance-performance (Fastt)
Régressions multiples (écoute habitant)
Analyse du non-recours (CRAM)
Quantifier l’inquantifiable Enquête sur la récidive, le no man’s land de la
statistique judiciaire…une première base pour
penser les causalités (DIV citoyenneté)
Une enquête porte-voix Auprès des opérateurs de politique publique (PLIE)
Une enquête « grandes oreilles » Repérage de signaux faibles, opinions originales et
phénomènes émergents (CRRA)


Sommaire




4- Conclusion


Avantages et inconvénients des formes d’enquêtes
Face à face lieu
Courrier Internet Téléphone
public/domicile
Impact pour le questionnaire
Longueur possible ** *** * **
Contrôle de l’échantillon * * *** *
Taux de réponse * ** *** **
Impact sur la qualité de l’interview
Capacité à recueillir des
données sensibles *** ** * *
Contrôle de la
compréhension par le * * ** ***
sujet
Réduction du biais de
désirabilité sociale *** *** ** *
Impacts économiques
Facilité d’organisation ** **** *** **
Coût *** **** ** *
Délais de réalisation * **** *** **
D’après : S. Gnassali, « les
enquêtes par quesionnaire »

Les enquêtes dans les études marketing, media et opinion
Poids relatif des modes de collecte
2007 : Source Syntec études 30%

25%

20%

Web
Face à face
15%
Dépôt

d
e
T
a
x
r
t
Envoi postal

l
i
'
10% Appel tel

5%

► Exemple d’enquêtes en ligne : 0%
2003 2004 2005 2006

 Sollicitation par email ciblé
Source : ESOMAR
 Encart sur site Internet
 Pop-up sur site Internet
 Sollicitation sur access panels d’internautes
 Et bientôt sur les réseaus sociaux : Linkedln, viadeo, facebook ?


Principes de l’échantillonnage
► 3 modes d’échantillonnages : aléatoire, par
quotas, de convenance

► Echantillon et représentativité
 Pour un échantillon aléatoire : les
intervalles de confiance
 Pour un échantillon par quotas : comparaisons
à la population mère et redressements
 Les notions de représentativité et de
significativité


Les fichiers de contact

► Les sources de données
 Les fichiers « maison »
 Les panels
 L’annuaire et les fichiers à l’achat

► En pratique, dans l’évaluation:
 L’enquête ciblée (bénéficiaires, partenaires)
 L’enquête territorialisée (quartier, ville)
 L’enquête globale (bénéficiaires potentiels, population générale)


Articulation de l’enquête dans les outils de l’éval (quanti/quali)

Entretiens Enquête
Enquête
L’enchaînement exploratoires confirmatoire
confirmatoire
« classique »
Le quali pour préciser les
questions, l’enquête pour
quantifier les résultats

Approche Enquête de
Enquête de Etudes de cas
typologique « profilage »
« profilage » confirmatoires

Enquête pour cibler les
publics, le quali pour
approfondir certains effets

Enquête
Enquête
D’autres Enquête
Enquête confirmatoire
confirmatoire
approches… exploratoire
exploratoire Etudes de cas
confirmatoires
Pour identifier des impacts
non attendus, puis les
approfondir


Sommaire




4- Conclusion


Conditions pratiques de mise en oeuvre
► Cadrage budgétaire

Prix au questionnaire Volume « classique » Nbr jours
Enquête en ligne ~5-10 € 50-5000 2-5 j consultant + frais
techniques
Enquête par téléphone ~20-40 € 100-1000 2-5 j consultant + 5 jours
enquêteur pour 100 réponses
Enquête postale ~15 € 50-300 2-5 j consultant + saisie

► Calendrier de l’enquête en évaluation
 Lancement à l’issue de la phase de cadrage

1 à 3 semaines 1 à 2 semaines 2 à 8 semaines 1 à 2 semaines


Conclusions et hypothèses

► L’enquête d’évaluation : une fausse bonne idée ?
 Un outil « spectateur » plutôt qu’une démarche active
 Une fuite du politique par l’imposition d’un référentiel
unique…
 Et par la simplification du débat

► Mais toujours une forte pertinence de l’enquête
pour l’évaluation !
 Une formidable extension des capacités de collecte…
 …dans des conditions pratiques de plus en plus
accessibles
 Une force de persuasion inégalée (qui a déjà lu une monographie
d’étude de cas?)

► Une faisabilité technique éprouvée, avec quelques
points de vigilance: Not everything thats counts can
be counted, and not everything
 À condition de s’intéresser aussi aux non-répondants!
that can be counted counts
 Des résultats à croiser pour « faire sens », sinon,
attention à la noyade!
Albert (1879 – 1955)


Fin de la présentation

Merci de votre attention !


Population accessible selon les modes de passation

Source :
ARCEP, 2009


L’enquête, les grandes oreilles de l’évaluation ?

L’enquête, les grandes oreilles de l’évaluation ?

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (18)

Similaire à L’enquête, les grandes oreilles de l’évaluation ?

Similaire à L’enquête, les grandes oreilles de l’évaluation ? (10)

Dernier

Dernier (20)

L’enquête, les grandes oreilles de l’évaluation ?

Notes de l'éditeur