L ENQUTE : LES GRANDES OREILLES DE L'VALUATION ?

Approches, techniques, piges et intrts de l'enqute pour l'valuation

CLUB SFE D'ILE-DE-FRANCE 25 NOVEMBRE 2009

Contact
PLURICIT 1 cours Verdun 69002 Lyon Tl. 04 78 28 15 00 Fax. 04 78 28 17 56 www.pluricite.fr pluricite@pluricite.fr

Thibaut Desjonqures, Alix de Saint-Albin

Nov. 2009

Sommaire
1 - Lenqute : le futur de lvaluation ? 2 - Vigilance pour lenqute dans lvaluation 3 -Aspects pratiques de lenqute dans lvaluation 4 - Conclusion

Lenqute : les grandes oreilles de l'valuation ? SFE Ile-de-France 25/11/09

Thmes traits lors de la prsentation

Lenqute : les grandes oreilles de l'valuation ? SFE Ile-de-France 25/11/09

Les pratiques denqutes pour lvaluation

Une utilisation croissante des enqutes:
Dans lvaluation :
une extension naturelle des outils de collecte

En dehors de lvaluation :
via les diagnostics, les tableaux de bord (qualit, satisfaction, etc.)

Au-del de lvaluation ? :
pour laide directe la dcision (enqute dimage, de notorit, sondages, diagnostics, etc.)

Lenqute : les grandes oreilles de l'valuation ? SFE Ile-de-France 25/11/09

L enqute : le futur de lvaluation ?

Lenqute : les grandes oreilles de l'valuation ? SFE Ile-de-France 25/11/09

Une enqute suffit-elle clairer la dcision publique ?

Champ de lvaluation

Champ de lenqute
Lenqute : les grandes oreilles de l'valuation ? SFE Ile-de-France 25/11/09 6

Retour sur exprience

Enseignements Lvaluation impossible de la politique de la ville Vs lenqute Expriences avec lenqute, on fait de la participation des habitants. Trs forte appropriation de lenqute par le politique (Pays viennois, Thonon) Estimation des effets aubaine (Fastt), Matrice importance-performance (Fastt) Rgressions multiples (coute habitant) Analyse du non-recours (CRAM) Enqute sur la rcidive, le no mans land de la statistique judiciaireune premire base pour penser les causalits (DIV citoyennet) Auprs des oprateurs de politique publique (PLIE)

Des enqutes forte valeur ajoute analytique

Quantifier linquantifiable

Une enqute porte-voix

Une enqute grandes oreilles Reprage de signaux faibles, opinions originales et phnomnes mergents (CRRA)
Lenqute : les grandes oreilles de l'valuation ? SFE Ile-de-France 25/11/09 7

Sommaire
1 - Lenqute : le futur de lvaluation ? 2 - Vigilance pour lenqute dans lvaluation 3 -Aspects pratiques de lenqute dans lvaluation 4 - Conclusion

Lenqute : les grandes oreilles de l'valuation ? SFE Ile-de-France 25/11/09

Avantages et inconvnients des formes denqutes

Courrier Internet Tlphone Face face lieu public/domicile Impact pour le questionnaire Longueur possible Contrle de lchantillon Taux de rponse

** * * *** * *** ** *** *

*** * ** ** * ***
Impacts conomiques

* *** *** * ** ** *** ** ***

** * ** * *** * ** * **
Daprs : S. Gnassali, les enqutes par quesionnaire

Impact sur la qualit de linterview Capacit recueillir des donnes sensibles Contrle de la comprhension par le sujet Rduction du biais de dsirabilit sociale Facilit dorganisation Cot Dlais de ralisation

**** **** ****

Les enqutes dans les tudes marketing, media et opinion

2007 : Source Syntec tudes

Poidsrelatif des m odes decollecte

30%

25%

20%

15%

x a ' l e d r t i T
10%

Exemple denqutes en ligne :

5%

Sollicitation par email cibl 0% Source : ESOMAR Encart sur site Internet 2003 2004 2005 2006 Pop-up sur site Internet Sollicitation sur access panels dinternautes Et bientt sur les rseaus sociaux : Linkedln, viadeo, facebook ?
Lenqute : les grandes oreilles de l'valuation ? SFE Ile-de-France 25/11/09 10

Principes de lchantillonnage
3 modes dchantillonnages : alatoire, par quotas, de convenance

Echantillon et reprsentativit
Pour un chantillon alatoire : les intervalles de confiance Pour un chantillon par quotas : comparaisons la population mre et redressements Les notions de reprsentativit et de significativit

Lenqute : les grandes oreilles de l'valuation ? SFE Ile-de-France 25/11/09

11

Les fichiers de contact

Les sources de donnes

Les fichiers maison Les panels Lannuaire et les fichiers lachat

En pratique, dans lvaluation:

Lenqute cible (bnficiaires, partenaires) Lenqute territorialise (quartier, ville) Lenqute globale (bnficiaires potentiels, population gnrale)

Lenqute : les grandes oreilles de l'valuation ? SFE Ile-de-France 25/11/09

12

Articulation de lenqute dans les outils de lval (quanti/quali)

Entretiens exploratoires
Le quali pour prciser les questions, lenqute pour quantifier les rsultats

Lenchanement classique

Enqute confirmatoire

Approche typologique

Enqute de profilage
Enqute pour cibler les publics, le quali pour approfondir certains effets

Etudes de cas confirmatoires

Dautres approches

Enqute exploratoire
Pour identifier des impacts non attendus, puis les approfondir

Enqute confirmatoire Etudes de cas confirmatoires

Lenqute : les grandes oreilles de l'valuation ? SFE Ile-de-France 25/11/09

13

Sommaire
1 - Lenqute : le futur de lvaluation ? 2 - Vigilance pour lenqute dans lvaluation 3 -Aspects pratiques de lenqute dans lvaluation 4 - Conclusion

Lenqute : les grandes oreilles de l'valuation ? SFE Ile-de-France 25/11/09

14

Conditions pratiques de mise en oeuvre

Cadrage budgtaire
Prix au questionnaire Enqute en ligne Enqute par tlphone ~5-10 ~20-40 Volume classique 50-5000 100-1000 Nbr jours 2-5 j consultant + frais techniques 2-5 j consultant + 5 jours enquteur pour 100 rponses 2-5 j consultant + saisie

Enqute postale

Calendrier de lenqute en valuation

Lancement lissue de la phase de cadrage

~15

50-300

1 3 semaines

1 2 semaines

2 8 semaines

1 2 semaines

Lenqute : les grandes oreilles de l'valuation ? SFE Ile-de-France 25/11/09

15

Conclusions et hypothses
Lenqute dvaluation : une fausse bonne ide ?
Un outil spectateur plutt quune dmarche active Une fuite du politique par limposition dun rfrentiel unique Et par la simplification du dbat

Mais toujours une forte pertinence de lenqute pour lvaluation !

Une formidable extension des capacits de collecte dans des conditions pratiques de plus en plus accessibles Une force de persuasion ingale (qui a dj lu une monographie dtude de cas?)

Une faisabilit technique prouve, avec quelques points de vigilance:

condition de sintresser aussi aux non-rpondants! Des rsultats croiser pour faire sens, sinon, attention la noyade!

Not everything thats counts can be counted, and not everything that can be counted counts

Albert (1879 1955) Lenqute : les grandes oreilles de l'valuation ? SFE Ile-de-France 25/11/09 16

Fin de la prsentation
Merci de votre attention !

Lenqute : les grandes oreilles de l'valuation ? SFE Ile-de-France 25/11/09

17

Population accessible selon les modes de passation

Source : ARCEP, 2009

Lenqute : les grandes oreilles de l'valuation ? SFE Ile-de-France 25/11/09

18