Séance d’initiation méthodologique (1)

12 janvier 2012

Mener une enquête quantitative (1)

Julien Le Breton
 Objectifs pédagogiques

Penser le schéma global de l’enquête

Concevoir un questionnaire : les grands principes

Anticiper les écueils

• Recueil d’informations biaisées, peu fiables ou inexploitables

Assurer la « représentativité »
• Comment choisir la population ?

Prendre en compte les particularités des données de santé

et du recueil auprès des médecins et des patients
 La méthodologie d’enquête

« Science molle »
• Difficulté pour produire et disséminer de la connaissance
absolue en Méthodologie d’enquête
• Peu de choix invalides dans l’absolu et a priori

Choix méthodologiques très contextuels

• à l’objet d’étude
• à la population enquêtée
• au budget/temps disponible
Importance de la littérature et des études antérieures
pour valider un protocole d’enquête
 Concevoir son enquête en amont

Qu’est ce qu’une enquête ?

• Quelles sont ses spécificités, ses enjeux et ses modalités ?

• Comment une enquête s’intègre-t-elle dans un processus

de recherche ou d’étude ?

• Quels sont les différents temps d’une enquête ? Quel est le

protocole global d’une enquête ?
 Une enquête c’est …

Un recueil d'informations
• ayant des finalités de recueil et d'analyse précises
• articulé autour d'un questionnement structuré (questionnaires...)
• auprès d'une population bien définie et en nombre suffisant

Étude qualitative Enquête quantitative

Approche Extensive Intensive
Structuration Minimum Maximum
Questionnement Entretien ouvert Questionnaire
ou semi-dirigé standardisé
Répondant Libre expression Questions imposées
Nombre de sujets Réduit Important
 Une enquête ≠ un questionnaire

Protocole global d’enquête

1. Définir l'objet de recherche/étude
2. Cibler les hypothèses à tester / identifier les mesures à effectuer
3. Définir une population de référence à représenter
4. Choisir un mode d’administration du questionnaire
5. Construire le questionnaire
6. Constituer un échantillon
7. Effectuer la collecte des données
8. Produire une base de données (codage/recodage des données)
9. Réaliser l’analyse statistique
10. Communiquer (écriture de rapport, article… ou thèse)
 Une enquête ≠ un questionnaire

Protocole global d’enquête

1. Définir l'objet de recherche/étude
2. Cibler les hypothèses à tester / identifier les mesures à effectuer
3. Définir une population de référence à représenter
4. Choisir un mode d’administration du questionnaire
5. Construire le questionnaire
6. Constituer un échantillon
7. Effectuer la collecte des données
8. Produire une base de données (codage/recodage des données)
9. Réaliser l’analyse statistique
10. Communiquer (écriture de rapport, article… ou thèse)
 L’enjeu méthodologique principal

Objectif final d’une enquête

• Ce que je mesure représente le plus fidèlement possible la
« réalité »

Pour cela, on cherche à maximiser chez les enquêtés

• La participation (à l’enquête)
• La compréhension (des questions mais aussi des enjeux
généraux de l’enquête)
• L’exhaustivité et la fiabilité des réponses : réponses à
toutes les questions de manière cohérente, honnête et interprétable
 Assurer la fiabilité de l’enquête

Tout dans le protocole doit être guidé par la volonté d’assurer

la fiabilité de l’enquête et de maximiser cette adhésion

• La conception du questionnaire : le fond et la forme

• Le choix du mode d’administration du questionnaire
• La sélection des répondants (mais attention au pur volontariat
des enquêtés…)
• Les à-côtés du questionnaire et du recueil
• Les autres mécanismes cherchant à augmenter l’adhésion
au projet : incitations et contreparties éventuelles
 L’adhésion au protocole d'enquête

Dimension cognitive et intellectuelle

• Compréhension des questions
• Autres difficultés pour répondre : nécessité de faire appel à
des connaissances précises, à des souvenirs, etc.

Dimension comportementale et sociale

• Volonté de participer à l’enquête
• Honnêteté des réponses
– questions sensibles, questionnements sur lequel l'enquêté
peut se sentir surveillé ou jugé
– risque de réponse par « désirabilité sociale »
 Travail personnel

1. Définir l'objet de recherche / étude

2. Définir les hypothèses à tester / les mesures principales à effectuer

3. Définir une population de référence

Tour de table
Choisir un mode d’administration

Tour de table
 Mode d’administration

Différentes modalités d’administration

• Face-à-face
• Téléphone
• Questionnaire « auto-administré » (par courrier ou mail)
• + Spécificités du recueil Internet

Avantages et inconvénients respectifs ?

Comment choisir le mode d’administration le plus adapté ?

 Administration en face-à-face

Avantages
• Information plus détaillées : autorise les questions longues et
complexes, interaction visuelle (dessins, images…)
• Moins d’erreurs d’interprétation des questions
• Globalement améliore la participation, l’adhésion globale

Inconvénients
• Coût élevé + difficultés pour joindre les enquêtés
• Favorise les effets d’influence de l’enquêteur et les réponses par
« désirabilité sociale » / ne facilite pas le recueil de données
sensibles
 Administration par téléphone

Avantages
• Peu coûteux
• Effet de neutralité par rapport à l'enquêté (questions sensibles)
• Autorise questionnaires moyennement longs : effet de lassitude
mais ne connaît pas à l’avance la longueur du questionnaire !

Inconvénients
• De plus en plus de refus + difficulté de joindre l’enquêté à un
moment propice
• Ne convient qu’aux questions simples (formulation), bien
structurées et avec peu de propositions de réponses
 Questionnaire auto-administré
(courrier ou mail)

Avantages
• Faible coût (pas d'enquêteur)
• Renforce le sentiment d'anonymat de l'information transmise
• Liberté de répondre au moment le plus adéquat
• Permet le recueil d’informations plus spécifiques ou un suivi
prospectif

Inconvénients
• Les questionnaires doivent être courts et extrêmement clairs
• Risques d’incompréhension d'une question
• Augmente les risques de non réponse totale (questionnaire non
renvoyé) ou partielle (l'enquêté « saute » des questions)
 Administration par Internet
Essor des éditeurs de questionnaires sur Internet

Avantages
• Avantages du recueil auto-administré
• Faible coût, ergonomie/rapidité, possibles relances systématiques
• Facile de toucher un grand nombre de personnes
• Utilisation via des forums / sites spécifiques pour des
professionnels (voire logiciels médicaux pour les médecins)

Inconvénients
• Peu adapté aux questionnaires trop longs
• Beaucoup de non-réponses
• Biais de sélection des répondants notamment en population
générale (professionnalisation des répondants aux enquêtes)
 Mode d’administration en santé

Patients / malades
• Face-à-face préférable : captation / améliore la compréhension /
mise en empathie
• Utilisation des visites au cabinet, à l’hôpital, etc.
• Risque de stigmatisation : identité et cadre de l’enquête

Médecins
• Préférentiellement auto-administré : envoie par courrier, mail ou
via Internet
• Population peu disponible et peu adhérente : développer
l’accroche
 Construire le questionnaire
Travail personnel
Réalisez une ébauche du questionnaire
• structure globale : contenu et organisation
• informations mesurées
• taille : nombre de questions
Rédiger la première question et les questions sur mesures principales
 Construction du questionnaire

Le questionnaire = Objet central de l’enquête

• Contenu
• Organisation
• Ergonomie

Les informations mesurables

Bien différencier ce que l’on veut mesurer dans une question
• Opinions / Croyances / Satisfaction
• Descriptions
• Connaissances
• Comportements / Pratiques
• Projections / Intentions
 Conception du questionnaire

Quelques règles
1. Une question = Une idée
2. La formulation de la question : précise et concise
3. La sémantique et le vocabulaire : langage simple et adapté
4. Ne pas influencer : rester neutre dans la formulation
5. Éviter les exemples et les généralisations
6. Utiliser des questions filtres si possible
7. Et surtout limiter l’effort nécessaire pour répondre
 Structuration globale du questionnaire

Structure logique et progressive

• Par blocs / thèmes
• Ne pas passer du coq à l’âne fatigue et décrédibilise
Taille et ergonomie
• Attention à la taille (effet « bottin») et à la durée
• Arbitrage : niveau de précision / risque de non réponse
• Cas des médecins : privilégier des formes courtes
Penser à numéroter les questions (voire les items)
Soigner la première question
• Question « brise-glace » qui installe le climat
En cas de questionnaire auto-administré (courrier, internet)
• Utiliser des annotations « explicatives » si nécessaire
 S’inspirer de l’existant

Ne pas réinventer la roue

• Se référer à la littérature : études et enquêtes antérieures
• Existence de nomenclatures faisant autorité
• En santé, existence de questionnaires ou modules « validés »
ou « répandus » dans la littérature

Dans les mesures de comportements, d’opinions…

Dans les descriptions et profils socio-démographiques
(professions, CSP, zones géographiques, etc.) INSEE
Dans les pratiques médicales, contenu et organisation DREES
Dans les mesures de état de santé, santé perçue, maladie
chronique, incapacité/invalidité, addiction, risque psychosocial...
 Les différents types de questions

Questions fermées ou ouvertes

• Propositions de réponse / pas de proposition, libre expression
Questions catégorielles
• Items proposés exhaustifs et mutuellement exclusifs

Questions à réponse unique ou multiple

Questions ordinales (échelles)
• Échelles de fréquence, notations (de 1 à X) …
• Recueil de valeurs continues par tranches : âge, revenu…
• Échelle de satisfaction ou de jugement (échelle de Lickert)

Questions quantitatives (« Combien de…? »)

 Les différents écueils (1)

Privilégiez les questions fermées

• Perte de précision éventuelle MAIS
• Réponses plus faciles/rapides
• Directement comparables entre enquêtés faciles à traiter

Les questions ouvertes doivent être marginales

• En complément d’une question fermée
• Parfois utiles indépendamment de leur utilisation réelle
Expression enquêté répondre davantage, plus honnêtement

Les réponses multiples peuvent diluer l’information

• Possibilité aussi de hiérarchiser les réponses effectuées
 Les différents écueils (2)

Attention aux réponses « attractives »

• Les premières modalités dans une question avec trop d’items
• La modalité médiane dans une mesure d’échelle
• Les chiffres ronds pour les mesures quantitatives

Choisir le « bon nombre » d’items

• Trop : lassitude, complexité, attraction premières modalités
• Trop peu : on ne mesure pas avec précision le phénomène

Les items ne doivent être trop déséquilibrés

• Si 90% de réponse dans un item et 1 ou 2% dans les autres
• on ne capte pas la variance entre les répondants

Intérêt de la modalité « Autres »

• Regrouper les cas rares, complétée par question ouverte
 Les différents écueils (3)

L’« effet de liste »

Pas de comparabilité entre question fermée et ouverte sur un
même thème

Exemple des « maladies »

• Agrégation (liste) vs. atomisation des réponses (pas de liste)
• Pas d’induction des réponses si question ouverte MAIS
nécessité de recodage/reclassement a posteriori
• Problèmes terminologiques cliniques : le « mal de dos »

Échelle : nombre pair ou impair de modalités ?

ça dépend de ce qu’on cherche à mesurer :
• Pair pour « forcer » à se positionner (opinions, satisfaction)
• Modalité médiane plutôt pour comportements ou descriptions
 La formulation des questions

Claire et concise
• Éviter les concepts et les termes trop techniques
• Pas de sigles, d’abréviations
• Éviter les mots à double sens, éviter les négations

Rester neutre, ne pas influencer, ne pas juger, ne pas «induire »

Attention à la tendance à l’acquiescement
• Êtes vous en faveur de…? Êtes vous d’accord pour dire que…?
Ne pas laisser apparaître ses propres convictions

Éviter les tournures naïves et consensuelles

• Considérez-vous que la prévention du VIH est importante ?
 Utiliser des questions filtres

Une question filtre = une question préliminaire qui

conditionne les questions suivantes
• Utile si l’on veut analyser un phénomène rare ou spécifique
dans une population « plus générale »
• Aère le questionnaire
• Évite à l’enquêté de lire des questions qui ne le concernent pas

Certaines questions sont inutilisables sans filtre !

 Biais classiques

Ne pas solliciter et ne pas surestimer

Risque de non réponse ou d’approximations
Recueils de données spécifiques et lourds
• Les recueils prospectifs (Carnet de consommations)
• Précis mais génère une lassitude
Questions complexes
• Nécessitent des connaissances pointues ou de consulter des
informations par ailleurs
• Termes complexes, conceptuels, potentiellement mal maîtrisés
Limiter l’effort de mémoire
Le recueil rétrospectif sur des périodes longues
• Combien de fois avez-vous consulté durant l’année passée ?
 Risque de « désirabilité sociale »

Recueil sur des données sensibles

• Argent, santé, comportements illicites, croyances, etc.
• Utiliser des formulations empathiques, déculpabilisantes
• Accepter de perdre de la précision pour des réponses honnêtes
(tranches de revenu par ex.)
• Utiliser des questions ouvertes

Attention aux formulations stigmatisantes

• « Le malade malgré lui »

Mesure des connaissances ou des compétences

• Connaissez-vous l’amendent Bourrier de la Sécurité sociale ?
 Constituer un échantillon

Travail personnel

Comment allez-vous constituer votre échantillon ?

• Sélection de la population : critères d'inclusion et d'exclusion
• Méthode d’échantillonnage
• Taille de l'échantillon
 Sélection de la population d’enquête

Définir sa « population de référence »

Qui cible-t-on ? Qui notre enquête veut-elle représenter ?
• Les médecins ? Oui, mais lesquels ?
Installés ou remplaçants ? Secteur 1 et 2 ? Plein-temps
seulement ? « Purs » MG ou médecins à exercice particulier ?
• Les patients? Oui, mais lesquels ?
File active ? Patients « médecin traitant » ? Malades chroniques
seulement ? Patients venus consulter un jour donné ?

Détermine profondément le schéma et la finalité de l’enquête

• Conditionne les critères d’inclusion/exclusion dans l’échantillon
• Conditionne les critères de représentativité à mettre en œuvre
 La représentativité

Fait que l’échantillon représente un « modèle réduit »

• de la population de référence
• Selon certains critères (âge, sexe, zone géographique…)

La représentativité peut être visée a priori ou a posteriori

• A priori : mode de sélection de l’échantillon
• Elle peut être jugée, voire corrigée a posteriori
 Échantillonnage (1)

Pour assurer la participation il faut bien des volontaires

MAIS le volontariat exclusif a ses limites
• Sélectionner uniquement et tous les participants volontaires
danger sur la fiabilité et la représentativité de l’échantillon
• Population trop spécifique et potentiellement trop homogène
on n’observe plus la variance du phénomène
• Phénomène d’usure des « répondants volontaires systématiques »
• Moins d’attention portée aux réponses
• Lassitude et déperdition de cette source d’enquêtés potentielle

Ex. des maîtres de stage en médecine générale…

 Échantillonnage (2)

Méthodes alternatives au volontariat exclusif

• Échantillonnage aléatoire (simple ou stratifié) : nécessite base

de sondage (fichier exhaustif, fiable et actualisé de la population de
référence : ordre des médecins, ADELI, CPAM via Ameli…)

• Méthode des quotas : sélection de manière déterministe selon

certains critères (âge, sexe, zone géographique…)

• Méthode du pas systématique : On sélectionne un enquêté selon

un intervalle régulier (une consultation toutes les X fois…)
Alternative simple applicable dans les petites enquêtes
 Échantillonnage (3)

Sondage aléatoire Méthode des quotas

• Nécessite d’avoir la liste
complète des individus de la
population de référence
• Risque de non-réponse
• Permet une plus grande
souplesse de la sélection
(méthodes très diverses)
• Fiabilité des estimations • Risque de biaiser l’échantillon si
supérieure
• Plus adapté pour les gros
échantillons (> 100 indiv)
• Plus simple, moins coûteuse !
• Évite les risques de non-réponse
(on réitère jusqu’à avoir le bon
nombre d’indiv dans les quotas)
• Nécessite de connaître les
critères de représentativité
sur la population de référence
les critères sont mal choisis…
• Plus adapté pour les petits
échantillons (< 100 indiv)
 Échantillonnage (4)

Quelle est la taille minimale/optimale d’un échantillon ?

• Réponse : « Ca dépend !»
• Minimum absolu de 30 personnes (significativité statistique)

La taille optimale d’un échantillon dépend :

• de la méthode de sélection de l’échantillon (aléatoire ou quotas)
• de la fréquence du phénomène observé dans la population
• de la précision souhaitée (puissance de l’échantillon)
• de la taille de la population de référence

Peut être calculée à l’aide d’une formule (relativement) simple

 Échantillonnage (5)

Corriger son échantillon a posteriori

Souhaitable de « situer » la représentativité de son échantillon

• Comparer l’échantillon à la population de référence
• Critères usuels : âge, sexe, zone géographique, CSP
• Critères usuels médecins : spécialité, secteur (1, 2), temps
plein/partiel, volume d’activité, mode d’exercice (seul, groupe)…

Des méthodes de redressement pas compliquées à découvrir

• Consiste à pondérer les individus de l'échantillon selon qu’ils sont
sur ou sous-représentés par rapport à la population de référence
• Nécessite des données de référence (Pas impossibles à trouver)
Effectuer la collecte des données
 La collecte des données

Quand ? Quelle période ?

• Période, durée (prévoir suffisamment de temps si possible)
• Gommer les effets / biais de période : enquêter plusieurs
jours ou plusieurs saisons différent(e)s

Comment ? Quelles modalités ?

• Choix du mode d’administration des questionnaires
• Prévoir une ou des relances systématiques

Qui ? Choix de l’échantillon ?

 Mise en œuvre de l’enquête (1)

Anticiper l’analyse statistique

• Que ferai-je de mes données ? Comment vais-je les analyser ?

Les à-côtés du questionnaire

Courrier d’accompagnement : A ne pas négliger !
• Présenter l’objet d’étude et le cadre de réalisation de l’enquête
• Sensibiliser à l’intérêt de la collecte : intérêts de recherche,
enjeux de politique publique, de société, etc.
• Rassurer l’enquêté sur les aspects ergonomiques et légaux :
réponses anonymes, ce questionnaire ne prend que X minutes
• Un peu de formalisme ne nuit pas
Augmente significativement la participation
 Mise en œuvre de l’enquête (2)

Connaître son domaine

Avoir ou acquérir une expertise sur la domaine et la population
enquêtée : asseoir sa légitimité / crédibilité
Être identifié dans ses objectifs : se présenter comme neutre et ne
pas être assimilé à un organisme, un pouvoir, etc.

Pré-test du questionnaire en amont (voire enquête pilote)

• Détecter les questions mal conçues, mal rédigées
• Repérer les oublis et les incohérences : modalités de réponses
inadaptées ou oubliées, besoin de questions filtres
• Évaluer la durée de remplissage ou d’administration
• Tester plusieurs formes de questions pour une même mesure
 Référence

L'enquête et ses méthodes : le questionnaire

François de Singly, Auteur . - Nathan, 2000 . - 125 p. ; 18 cm. -
Collection 128
ISBN : 978-2-09-190567-9 : 8,1