La structuration et le test du questionnaire

Les réactions des personnes interrogées ne dépendent pas uniquement du contenu des
questions et de leur formulation. L’ordre dans lequel les questions sont présentées joue
également un rôle important. La structuration du questionnaire doit par conséquent faire
l’objet d’une réflexion approfondie. Lorsque la rédaction du questionnaire est achevée, il
subsiste souvent des imperfections et même parfois des erreurs. Le test du questionnaire a
pour but de les détecter et de les éliminer.

I La structuration du questionnaire
La structuration du questionnaire repose sur deux opérations complémentaires. La première
requiert une vision d’ensemble ; elle consiste à déterminer l’organisation générale du
questionnaire. La seconde opération est fondée sur le repérage et l’analyse des questions qui
sont liées entre elles par des interactions. Elle vise à définir l’ordre dans lequel ces questions
doivent être présentées.
1. L’organisation générale du questionnaire
La présentation de l’enquête est une composante importante du questionnaire dont elle
constitue en quelque sorte l’introduction. Elle doit motiver le répondant et instaurer une
relation de confiance entre celui-ci et l’enquêteur ou le responsable de l’étude. Il faut
également faciliter le travail du répondant. On recommande généralement pour cela d’adopter
une structure en forme de sablier. L’emplacement des questions ouvertes doit par ailleurs
faire l’objet d’une attention particulière. Enfin, il convient d’éviter les enchaînements de
questions qui pourraient révéler les présupposés sur lesquels repose l’enquête.
■ Commencer par gagner la confiance des personnes interrogées
Les consignes données aux enquêteurs indiquent comment ils doivent aborder les personnes
interrogées. Les enquêteurs professionnels habitués à respecter ces consignes procèdent de la
manière suivante. Ils commencent par se présenter, évoquent brièvement le thème de
l’enquête, puis s’efforcent de motiver la personne interrogée en soulignant qu’elle fera un
travail utile en répondant au questionnaire. Ils terminent en prenant l’engagement de ne pas
dépasser une certaine durée. Quand les réponses sont totalement anonymes, les enquêteurs le
soulignent d’emblée. Lorsque ce n’est pas le cas ils évoquent ce point après avoir administré
le questionnaire. Ils demandent alors au répondant de donner son identité, souvent réduite à
son prénom, et, s’ils sont invités à fournir des explications, ils indiquent que cela permet de
contrôler le travail des enquêteurs (les sociétés d’études utilisent ces informations pour
recontacter certaines personnes et vérifier que l’enquêteur les a bien interrogées). Quand le
questionnaire est envoyé par la Poste ou administré par Internet, c’est la lettre ou l’email
d’accompagnement qui tient lieu de présentation. Exemple : « Bonjour madame, j’appartiens
à la société X qui fait une enquête pour des fabricants d’appareils ménagers souhaitant
améliorer leurs produits. Il est important pour nous d’avoir votre avis. Pouvez-vous
m’accorder une dizaine de minutes pour répondre à un questionnaire ? Cela ne prendra pas
plus de temps. Les réponses sont totalement anonymes. (…) Je vous remercie d’avoir
accepté, je vais maintenant vous poser une première série de questions. » Bien que cela ne
soit pas indispensable, on peut également placer au début du questionnaire un petit nombre de
questions introductives destinées à mettre à l’aise la personne interrogée et à capter son
attention. On utilise pour cela des questions d’ordre général auxquelles il est facile et
agréable de répondre. Exemple : Dans une enquête sur l’achat de produits d’épicerie, on
commence par demander : « Aimez-vous la cuisine française ? », puis :« Quel est votre plat
préféré ? ».
■ Adopter une structure en sablier
Lorsque l’on ordonne les questions, il est recommandé d’adopter une structure en sablier, en
allant d’abord du général vers le particulier (de ce qui est simple vers ce qui est complexe),
puis en terminant avec un retour sur certaines questions d’ordre général, celles qui permettent
de connaître le profil de l’individu interrogé.
La première partie du questionnaire regroupe les questions qui ne créent pas de difficulté. Il
s’agit dans la plupart des cas de questions générales portant sur l’environnement dans lequel
se situe la personne interrogée et sur ses comportements de base. Les questions destinées à
recueillir des jugements simples sur des sujets qui ne suscitent pas de réticence peuvent
également être placées dans cette partie du questionnaire. Toutes ces questions visent à
collecter des informations que la personne interrogée peut donner aisément, sans faire des
efforts de mémorisation ou de réflexion. En s’apercevant qu’elle répond avec facilité, la
personne interrogée se détend et cesse d’être sur ses gardes. Les questions placées dans cette
partie du questionnaire lui permettent de s’échauffer et d’entrer progressivement dans la
problématique de l’enquête. Après avoir répondu à ces questions, elle est confiante et
concentrée ; elle peut entamer un travail plus difficile et plus délicat.
Exemple : « Avez-vous la carte de fidélité du magasin ? » (Question factuelle posée dans la
première partie du questionnaire). La seconde partie du questionnaire est composée de
questions précises et complexes. Ces questions constituent souvent la partie la plus
importante du questionnaire. Elles portent sur des phénomènes tels que les motivations ou les
opinions. Les séries de questions qui permettent d’appréhender les différentes facettes de
l’image d’une marque ou les composantes d’une attitude sont placées dans cette partie du
questionnaire. Il en va de même pour celles qui font appel à des opérations mentales
nécessitant des efforts importants (classement de produits en fonction de certains critères,
etc.). Les questions les plus impliquantes sont souvent regroupées à la fin de cette partie du
questionnaire. La personne interrogée risque en effet de ne plus répondre de manière naturelle
si elle regrette de s’être dévoilée en répondant à ces questions. Exemple : « En quoi cette
marque vous ressemble-t-elle ? » (Question personnelle posée dans la seconde partie du
questionnaire). La dernière partie du questionnaire correspond toujours à ce que l’on nomme
le signalétique. Elle regroupe une série de questions qui visent à cerner le profil de la
personne interrogée. Les données collectées portent essentiellement sur les caractéristiques
sociodémographiques de l’individu (sexe, âge, lieu d’habitation, taille du ménage, profession,
etc.). Ces questions sont d’ordre général, mais elles sont placées à la fin du questionnaire, car
elles sont quelque peu rébarbatives et paraissent parfois indiscrètes. La personne interrogée
ne serait pas mise en confiance si elles étaient posées au début. L’enquêteur aborde cette
dernière partie en signalant qu’il y a un changement dans la nature des questions.
Exemple : « Je terminerai en vous posant quelques questions sur votre situation. » En plaçant
les questions générales au début, avant les questions précises et complexes, il faut veiller à ne
pas passer du coq à l’âne. L’enchaînement des questions doit paraître clair et donner une
impression de fluidité, sans cela les personnes interrogées risquent de montrer rapidement des
signes de fatigue ou d’exaspération. Dans les questionnaires longs qui abordent des sujets
variés, il est impossible de respecter cette exigence en appliquant à la lettre la règle du sablier
: on ne peut pas regrouper toutes les questions générales au début, car elles constitueraient un
ensemble hétéroclite. Dans ces questionnaires, on adopte une structure par thème et on
s’inspire de la logique du sablier de la façon suivante. Les thèmes généraux sont abordés en
premier et ceux qui s’avèrent sensibles sont placés à la fin. A l’intérieur de chaque thème, les
questions simples sont placées avant les questions complexes. Les thèmes sont délimités par
des phrases de transition qui ménagent des pauses et rythment le travail effectué par la
personne interrogée. Quand le questionnaire est auto-administré, ce sont les titres placés au-
dessus des différents blocs de questions qui délimitent les thèmes.
Exemple : Dans une enquête en face à face, l’enquêteur annonce un changement de thème en
disant : « Nous allons maintenant aborder un autre aspect de votre comportement : la manière
dont vous utilisez le produit. »
■ Positionner judicieusement les questions ouvertes
Les questions ouvertes qui demandent un effort de réflexion ne doivent pas être placées en
tête du questionnaire. Dans les premiers instants, les répondants ne sont pas assez concentrés
pour élaborer une réponse complexe et pas suffisamment en confiance pour livrer le fond de
leur pensée.
Une question ouverte ne donne pas les mêmes résultats selon qu’elle est isolée ou regroupée
avec d’autres questions ouvertes. Quand elle est isolée, les réponses tendent à être assez
brèves et leur contenu peut s’avérer décevant. Cela vient du fait que les questions fermées qui
précèdent ont habitué les personnes interrogées à répondre très rapidement. Les questions
fermées conduisent les répondants à effectuer un travail d’analyse en les obligeant à évaluer
les différents choix qui leur sont présentés. Elles les enferment dans une certaine passivité.
Pour répondre à une question ouverte, il faut effectuer un exercice mental différent. Le
répondant doit prendre le temps de réfléchir et se montrer à la fois imaginatif et rigoureux en
élaborant une réponse. Lorsque l’on souhaite qu’une question ouverte importante fournisse
un matériau riche, il est bon de ménager une transition en ajoutant une question ouverte
préparatoire.
Il peut également être utile de regrouper certaines questions ouvertes de portée générale à la
fin du questionnaire. On termine dans ce cas en donnant la parole au répondant et on peut
l’inviter à faire des suggestions (amélioration du produit étudié, etc.).
■ Éviter les enchaînements qui pourraient révéler les présupposés sur lesquels repose
l’enquête
L’enchaînement des questions risque parfois de révéler les hypothèses de travail sur
lesquelles est fondée l’enquête. Il peut également dévoiler l’identité du commanditaire de
l’étude et ses préoccupations. Il faut éviter cela, car la personne interrogée doit fournir les
informations qu’on lui demande d’apporter sans faire des conjectures sur les problèmes que
ces informations vont permettre de résoudre. Il n’est pas bon qu’elle se dise « Je vois ce que
l’auteur du questionnaire veut démontrer… » ou bien « Cette enquête a certainement été
commandée par le parti politique X … », etc. Quand cela se produit, la signification du
questionnaire se trouve modifiée car de nouveaux enjeux apparaissent. La personne
interrogée ne se contente pas de fournir l’information qui lui est demandée, elle prend
également position par rapport aux interrogations qui lui paraissent cachées derrière les
questions ou par rapport aux actions qui risquent d’être mises en œuvre après la réalisation de
l’étude. Elle a alors tendance à sélectionner les réponses qui militent en faveur des
conclusions auxquelles elle aimerait que le commanditaire de l’étude aboutisse. Cela peut
l’amener à forcer le trait dans ses réponses ou à dissimuler son opinion. Les indications
qu’elle fournit sont alors biaisées. Pour éviter ce type de déformation, il est parfois nécessaire
de placer à des endroits différents du questionnaire certaines questions qui sont liées dans la
problématique de l’étude, mais dont l’enchaînement pourrait s’avérer gênant parce qu’il
risquerait d’amener le répondant à faire des conjectures qui le perturberaient.
2. Les interactions entre les questions et les effets de contexte
Les questions qui se rattachent à un même sujet sont souvent liées entre elles par des
interactions. L’ordre d’apparition de ces questions peut, dans certaines circonstances, influer
sur les réponses. Il est difficile d’anticiper l’apparition de ce biais, car il ne se manifeste pas
systématiquement. Le fait qu’il puisse se produire incite cependant à analyser avec soin le
contexte créé par l’ordonnancement des questions.
Les interactions entre les questions exercent principalement deux types d’effet : elles peuvent
modifier la signification de certains mots-clés ou réduire la liberté d’expression des
répondants en les obligeant à rester dans la lignée des réponses qu’ils ont déjà données.
■ Le contexte sémantique
Le sens que la personne interrogée donne au mot-clé autour duquel s’articule une question
tend, dans certaines circonstances, à être affecté par le contenu des questions auxquelles elle
vient de répondre.
Lorsque cela se produit, ce mot-clé est souvent interprété de manière restrictive car le
contexte sémantique créé par les questions précédentes lui donne une signification
particulière.
Exemple : Un chercheur a interrogé deux échantillons de même taille en intervertissant
l’ordre de présentation des deux questions suivantes : « Trouveriez-vous normal ou pas
normal que les étrangers résidants et travaillant en France depuis quelques années votent aux
élections municipales ? » et « Trouvez-vous normal ou pas normal qu’il y ait des mosquées
en France ? ». Lorsque la question sur le vote des étrangers a été posée avant celle qui
concerne les mosquées, 40 % des personnes interrogées ont indiqué qu’il leur paraissait
normal que les étrangers travaillant en France depuis plusieurs années votent aux élections
municipales. Quand la question sur le vote des étrangers a été posée après celle sur les
mosquées, ce pourcentage est tombé à 31 %. Lorsque l’on commence par poser la question
sur le droit de vote, on donne au mot étranger une signification très large (tous les étrangers,
quels qu’ils soient). Quand on commence par parler des mosquées, on attire l’attention des
personnes interrogées sur les différences de religion et on donne de ce fait au mot étranger un
sens plus restreint. (Source : d’après une recherche de M. Vincent citée par Grémy, 1992)
Quand on définit la structure du questionnaire, il faut prendre en compte le contexte
sémantique des questions et chercher à trouver un ordonnancement qui élimine ou limite les
interactions gênantes. Lorsque l’on ne parvient pas à trouver une formule satisfaisante, on
peut faire varier l’ordre d’apparition des questions. On utilise dans ce cas un ordre donné
pour la moitié des questionnaires et l’ordre inverse pour l’autre moitié. Dans les enquêtes
administrées avec l’aide d’un ordinateur, certains logiciels permettent de déterminer
aléatoirement, pour chaque personne interrogée, l’ordre de présentation des questions qui
posent problème. Quand on procède ainsi, il y a toujours des interactions, mais la qualité
globale des résultats est meilleure car les différents ordonnancements provoquent des
déformations contrastées dont les effets tendent à se compenser.

■ Le contexte logique et les effets d’ancrage

Les individus s’efforcent toujours, avec plus ou moins d’intensité, de se montrer cohérents
lorsqu’ils répondent à un questionnaire. Cela a parfois des conséquences dommageables. Le
fait d’amener la personne interrogée à prendre position sur certaines questions peut
l’empêcher de s’exprimer librement par la suite. Lorsque cela se produit, la personne
interrogée est prisonnière de la logique qui sous-tend ses premières réponses. Elle répond aux
questions qui suivent en adoptant une position différente de celle qu’elle aurait prise si ces
questions avaient été posées d’emblée. Avant de définir l’ordre de présentation des questions,
il faut analyser les engagements implicites associés aux réponses et le contexte logique qui en
découle. Il est conseillé de placer à la fin les questions qui peuvent amener les répondants à
prendre une position très contraignante dans laquelle ils risquent de s’enfermer.
Exemple : Dans une expérience célèbre, réalisée en 1939 aux Etats-Unis, deux enquêtes
parallèles ont été conduites en permutant les questions suivantes : « Pensez-vous que les
Etats-Unis doivent autoriser les citoyens américains à s’engager dans l’armée allemande ? »
et « Pensez-vous que les Etats-Unis doivent autoriser les citoyens américains à s’engager
dans l’armée britannique ou dans l’armée française ? ». Les deux échantillons possédaient des
caractéristiques similaires. Quand la question concernant l’armée allemande a été posée en
premier, 22% des répondants ont affirmé que les citoyens américains pouvaient être autorisés
à s’engager dans cette armée. Lorsque c’est la question relative aux armées britannique et
française qui a été placée en premier, les personnes interrogées se sont montrées moins
réticentes : 45 % des répondants ont déclaré qu’ils étaient favorables à un engagement dans
ces deux armées (le fait que leur pays ait été l’allié des Anglais et des Français durant la
première guerre mondiale n’est pas étranger à ce résultat). Ayant ensuite à répondre à la
question relative à l’armée allemande, certains de ces répondants se sont sentis contraints par
la réponse qu’ils venaient de donner. Ne trouvant pas de raison de refuser aux uns ce qu’ils
venaient d’accorder aux autres, ils ont déclaré qu’un citoyen américain devait être libre de
s’engager dans l’armée allemande. Le « oui » à la question concernant les Anglais et les
Français appelait pour eux un « oui » à la question relative aux Allemands. Le pourcentage de
réponses favorables à l’engagement dans l’armée allemande s’est élevé alors à 31 %, soit 9
points de plus que ce qui avait été obtenu en commençant par poser la question sur l’armée
allemande. (Source : d’après Schuman et Presser, 1996)
On observe parfois un effet d’ancrage quand on utilise une batterie de questions pour
appréhender les différentes facettes d’un objet avec des échelles telles que celles de Likert ou
d’Osgood (Pinson, 1983). Certains individus se forgent une opinion en répondant aux
premières questions et restent par la suite attachés à celle-ci. Cela favorise les réponses
positives ou négatives selon que les premières questions suscitent des réactions favorables ou
défavorables. Pour limiter l’impact de ces déformations, le procédé le plus efficace consiste
là aussi à faire varier l’ordre de présentation des questions concernées, en étant
particulièrement attentif à celles qui se trouvent placées en tête de liste.

II Le test du questionnaire
Le test du questionnaire constitue une opération extrêmement importante. Il peut être précédé
par une vérification confiée à un expert (un chargé d’études chevronné par exemple), mais il
doit toujours être effectué auprès de la population concernée par l’enquête. On sélectionne
pour cela quelques dizaines d’individus (vingt à trente environ) auxquels on soumet le
questionnaire.

1. La mise en œuvre du test

La principale technique consiste à demander aux personnes participant au test de répondre
au questionnaire en réfléchissant à voix haute, en présence d’un enquêteur qui enregistre
leurs propos. Les personnes interrogées sont invitées à commenter librement leurs
réponses en indiquant leurs hésitations, ce qui les surprend (questions ou modalités
oubliées, enchaînements étranges…) ainsi que les difficultés qu’elles rencontrent
(incompréhension, manque de connaissance, sentiment de se répéter, réticence à fournir
les informations demandées, absence d’intérêt pour le thème abordé, fatigue, etc.).
L’enquêteur est attentif aux réactions non-verbales qui fournissent des indications sur la
façon dont le questionnaire est perçu (réponse enthousiaste, rire gêner, froideur soudaine,
signe d’épuisement…).

2. L’analyse des résultats du test

L’étude des résultats comporte trois volets.
L’examen des commentaires des répondants permet de détecter les termes inappropriés et
les formulations confuses qui doivent être corrigés. Il permet également de repérer les
enchaînements de questions qui posent problème et les parties du questionnaire qui
doivent être allégées ou simplifiées parce qu’elles provoquent de la lassitude. Les
commentaires fournissent aussi des indications sur les modalités de réponse oubliées qu’il
convient d’ajouter. L’étude des réponses doit être effectuée avec prudence, car le nombre
de répondants est très faible dans un test. Elle donne cependant des indications utiles
lorsqu’elle montre qu’ils choisissent quasiment tous la même modalité de réponse. La
question apporte alors peu d’information et il faut envisager d’étendre la liste des
modalités pour obtenir plus de précisions. L’étude des réponses peut également révéler
que beaucoup d’individus ont tendance à choisir la modalité « Autre. Précisez… ». Il
convient dans ce cas de compléter la liste des modalités. Lorsque la plupart des
répondants se réfugient dans la modalité « Ne se prononce pas », cela révèle un manque
d’intérêt ou un réflexe de prudence. Il faut corriger la question en lui donnant un contenu
plus pertinent ou en diminuant la pression normative. L’utilisation des modalités neutres
doit également être analysée avec soin afin de savoir si elles peuvent être conservées. Il
est également instructif d’analyser les relations entre les réponses et les commentaires.
Lorsque les individus qui ont choisi une même modalité de réponse justifient leur choix
en invoquant des raisons très différentes, il est souvent préférable d’ajouter de nouvelles
modalités pour faire apparaître ces différences.