L’ENQUÊTE : LES GRANDES

OREILLES DE L'ÉVALUATION ?
Approches, techniques, pièges et intérêts de l'enquête pour
l'évaluation
CLUB SFE D'ILE-DE-FRANCE – 25 NOVEMBRE
Contact 2009
PLURICITÉ
1 cours Verdun
69002 Lyon
Tél. 04 78 28 15 00
Fax. 04 78 28 17 56
www.pluricite.fr
pluricite@pluricite.fr

Thibaut Desjonquères, Alix de Saint-Albin Nov. 2009

Sommaire

1 - L’enquête : le futur de l’évaluation ?

2 - Vigilance pour l’enquête dans l’évaluation

3 - Aspects pratiques de l’enquête dans l’évaluation

4 - Conclusion

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 2

Thèmes traités lors de la présentation

Complémentarités Exigences Exigences

Enquête- méthodologiques pratiques
évaluation • Les différents modes • Budget
• Utilisation croissante de passation • Calendrier
des enquêtes • Echantillonnage • Source de données et
• L’enquête comme outil • Les articulations panels
de l’évaluation… et au- quali/quantitatif
delà

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 3

 Les pratiques d’enquêtes pour l’évaluation
► Une utilisation croissante des enquêtes:
 Dans l’évaluation :
- une extension naturelle des outils de collecte
 En dehors de l’évaluation :
- via les diagnostics, les tableaux de bord (qualité, satisfaction, etc.)
 Au-delà de l’évaluation ? :
- pour l’aide directe à la décision (enquête d’image, de notoriété, sondages,
diagnostics, etc.)

Moins
d’évaluation
dans l’enquête

Plus d’enquête
dans
l’évaluation

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 4

L’enquête : le futur de l’évaluation ?

Evaluation Enquête

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 5

Une enquête suffit-elle à éclairer la décision publique ?
Champ de l’évaluation

Collecte et Synthèse et
Cadrage
analyse restitution

Champ de l’enquête

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 6

 Retour sur expérience
Enseignements
L’évaluation impossible de la politique
de la ville Vs l’enquête
Des enquêtes à forte valeur ajoutée
analytique
Quantifier l’inquantifiable
Une enquête porte-voix
Une enquête « grandes oreilles »
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09
Expériences
« avec l’enquête, on fait de la participation des
habitants ».
Très forte appropriation de l’enquête par le
politique (Pays viennois, Thonon)
Estimation des effets aubaine (Fastt),
Matrice importance-performance (Fastt)
Régressions multiples (écoute habitant)
Analyse du non-recours (CRAM)
Enquête sur la récidive, le no man’s land de la
statistique judiciaire…une première base pour
penser les causalités (DIV citoyenneté)
Auprès des opérateurs de politique publique (PLIE)
Repérage de signaux faibles, opinions originales et
phénomènes émergents (CRRA)
7
Sommaire

1 - L’enquête : le futur de l’évaluation ?

2 - Vigilance pour l’enquête dans l’évaluation

3 - Aspects pratiques de l’enquête dans l’évaluation

4 - Conclusion

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 8

 Avantages et inconvénients des formes d’enquêtes
Face à face lieu
Courrier Internet Téléphone
public/domicile
Impact pour le questionnaire
Longueur possible ** *** * **
Contrôle de l’échantillon * * *** *
Taux de réponse * ** *** **
Impact sur la qualité de l’interview
Capacité à recueillir des
données sensibles *** ** * *
Contrôle de la
compréhension par le * * ** ***
sujet
Réduction du biais de
désirabilité sociale *** *** ** *
Impacts économiques
Facilité d’organisation ** **** *** **
Coût *** **** ** *
Délais de réalisation * **** *** **
D’après : S. Gnassali, « les
enquêtes par questionnaire »
 Les enquêtes dans les études marketing, media et opinion
Poids relatif des modes de collecte
2007 : Source Syntec études 30%

25%

20%

Web

Titre de l'axe
Face à face
15%
Dépôt
Envoi postal
10% Appel tel

5%

► Exemple d’enquêtes en ligne : 0%

2003 2004 2005 2006

 Sollicitation par email ciblé

Source : ESOMAR
 Encart sur site Internet
 Pop-up sur site Internet
 Sollicitation sur access panels d’internautes
 Et bientôt sur les réseaus sociaux : Linkedln, viadeo, facebook ?

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 10

 Principes de l’échantillonnage

► 3 modes d’échantillonnages : aléatoire, par

quotas, de convenance

Population
mère

► Echantillon et représentativité Population

sondée
 Pour un échantillon aléatoire : les intervalles de
confiance
 Pour un échantillon par quotas : comparaisons
Population
à la population mère et redressements des
 Les notions de représentativité et de répondants
significativité

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 11

 Les fichiers de contact

► Les sources de données

 Les fichiers « maison »
 Les panels
 L’annuaire et les fichiers à l’achat

► En pratique, dans l’évaluation:

 L’enquête ciblée (bénéficiaires, partenaires)
 L’enquête territorialisée (quartier, ville)
 L’enquête globale (bénéficiaires potentiels, population générale)

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 12

Articulation de l’enquête dans les outils de l’éval (quanti/quali)

Entretiens Enquête
L’enchaînement exploratoires confirmatoire
« classique »
Le quali pour préciser les
questions, l’enquête pour
quantifier les résultats

Approche Enquête de Etudes de cas

typologique « profilage » confirmatoires

Enquête pour cibler les

publics, le quali pour
approfondir certains effets

Enquête
D’autres Enquête confirmatoire
approches… exploratoire
Etudes de cas
confirmatoires
Pour identifier des impacts
non attendus, puis les
approfondir

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 13

Sommaire

1 - L’enquête : le futur de l’évaluation ?

2 - Vigilance pour l’enquête dans l’évaluation

3 - Aspects pratiques de l’enquête dans l’évaluation

4 - Conclusion

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 14

 Conditions pratiques de mise en oeuvre
► Cadrage budgétaire

Prix au questionnaire Volume « classique » Nbr jours

Enquête en ligne ~5-10 € 50-5000 2-5 j consultant + frais techniques
Enquête par téléphone ~20-40 € 100-1000 2-5 j consultant + 5 jours
enquêteur pour 100 réponses
Enquête postale ~15 € 50-300 2-5 j consultant + saisie

► Calendrier de l’enquête en évaluation

 Lancement à l’issue de la phase de cadrage

Tests et
Définition du
protocole
reprises du Passation Analyse
questionnaire

1 à 3 semaines 1 à 2 semaines 2 à 8 semaines 1 à 2 semaines

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 15

 Conclusions et hypothèses

► L’enquête d’évaluation : une fausse bonne idée ?

 Un outil « spectateur » plutôt qu’une démarche active
 Une fuite du politique par l’imposition d’un référentiel
unique…
 Et par la simplification du débat

► Mais toujours une forte pertinence de l’enquête pour

l’évaluation !
 Une formidable extension des capacités de collecte…
 …dans des conditions pratiques de plus en plus
accessibles
 Une force de persuasion inégalée (qui a déjà lu une monographie
d’étude de cas?)

► Une faisabilité technique éprouvée, avec quelques

points de vigilance: Not everything thats counts can
be counted, and not everything
 À condition de s’intéresser aussi aux non-répondants!
that can be counted counts
 Des résultats à croiser pour « faire sens », sinon,
attention à la noyade!
Albert (1879 – 1955)

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 16

Fin de la présentation

Merci de votre attention !

L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 17