Traduction par le Réseau nigérien The World Bank Group

de suivi et évaluation (ReNSE) Carleton University

Western Michigan University

International Program for Development Training

Le renforcement des capacités pour

l’évaluation des actions de développement

Module 8. L’analyse des données et leur interprétation

Mai 2003
Module 8 Vue d’ensemble

 Les options – données qualitatives contre données

quantitatives
 L’analyse des données qualitatives
 L’analyse du contenu – l’extraction des thèmes
 Des diagrammes d’affinité
 Le contrôle de la subjectivité
 L’analyse des données quantitatives
 Les statistiques descriptives
 Des statistiques d’inférence
Vue d’ensemble: l’évaluation qualitative

 La description qualitative du programme, du

processus et des expériences:
 La profondeur et les détails dépendent des buts de
l’évaluation et des besoins des parties prenantes
 Afin de comprendre le contexte de la situation
 Afin de comprendre les perceptions
L’analyse des données qualitatives

 L’analyse par induction:

 Relire tout le matériel et identifier les tendances, les thèmes
et les catégories
 Les données parlent: les tendances et les thèmes ressortent
des données
 L’analyse par sémi-induction:
 Relire certaines parties du matériel et identifier les
tendances et des thèmes
 Relire le reste du matériel à la lumière des tendances et des
thèmes identifiés
Les caractéristiques de l’évaluation
qualitative
 L’évaluateur fait partie du processus d’évaluation
 Les étapes de collecte des données, d’analyse des
données et d’interprétation des données se
chevauchent et sont interdépendants
 La recherche évolue au fur et à mesure que des
nouvelles questions émergent
 Le plan de travail est flexible
 Le point de vue est très intime et personnel
La collecte des données qualitatives

 Méthode indiquée pour les données qui proviennent

des:
 Documents narratifs
 Entretiens ouverts
 Réponses aux questions ouvertes sur les questionnaires
 Groupes ciblés
 Journaux
 Observations
L’analyse des cas

 Des cas peuvent constituer des parties spécifiques

du programme, des groupes, des évènements
critiques ou des participants
 Programme: tous les dossiers, des entretiens avec le
personnel et les participants, des observations du
programme en action
 Particuliers: des entretiens, des observations, des agendas,
des documents narratifs
L’analyse des cas

 D’abord, élaborer des dossiers sur chaque cas

 Inclure tous les renseignements pour chaque cas
 Vérifier que tous les dossiers sont au complet,
synthétisés, toutes les parties doivent cadrer
 Par la suite, comparer chaque cas avec les autres
L’analyse des données qualitatives

 La triangulation:
 Des sources multiples des mêmes renseignements
 Des sources multiples des renseignements différents
 Utiliser des collecteurs de données différents
 Des enquêteurs ou des observateurs différents
 Si les mêmes résultats sont vérifiés par différentes
méthodes de collecte de données, les résultats
seront davantage crédibles
 Conjuguer une méthode caractérisée par la
profondeur de l’approche avec une autre méthode
caractérisée par la largeure de l’approche
L’analyse des données qualitatives

 La triangulation:
 Des entretiens, des groupes ciblés et des questionnaires
 Des questionnaires, des données déjà disponibles, des
groupes d’experts
 Des observations, des dossiers du programme, des
entretiens
 Des entretiens, des agendas, des données déjà disponibles
Les premiers pas

 Pendant la collecte des données

 Tenir une bonne documentation
 Documenter tous les entretiens, les impressions, les notes
de chaque groupe ciblé
 Faire la comparaison de façon continue
 Rencontrer l’équipe régulièrement afin de comparer les
notes et de faire des ajustements
Les premiers pas

 Elaborer un résumé sur les contacts

 Un résumé d’une seule page après chaque entretien ou
groupe ciblé
 Traiter les questions principales
 Noter les renseignements les plus importants
 Noter le renseignement le plus intéressant, le plus éclairant
ou le plus important
 Noter les nouvelles questions à approfondir
Les premiers pas

 Tenir un dossier d’impressions subjectives

 Des réactions pendant l’étude
 Des sentiments, des pensées et des réactions
 Tenir un dossier d’idées
 Les idées qui émergent lors du processus
 L’intitulé et les sous-titres du rapport final
 Tenir un dossier de citations
 Un document de citations digne d’être citées
L’analyse des données: les préparatifs

 Réviser les questions d’évaluation

 Les buts et les questions centrales de l’évaluation
 Les préoccupations des parties prenantes
 Réviser les perceptions développées pendant la
collecte des données
 Réviser les résumés et les dossiers
L’analyse des données: les préparatifs

 S’assurer que tous les renseignements se trouvent

en un seul lieu
 Les renseignements sont-ils au complet?
 Y a-t-il des lacunes qu’il faut combler?
 Faire des photocopies et remettre les originaux dans
les archives centrales
 Se servir des photocopies pour prendre des notes,
pour couper et coller selon les besoins
L’élaboration des catégories

 Les thèmes, des idées, des mots, des phrases

récurrents
 Est-ce qu’ils cadrent?
 Y a-t-il des différences?
 Les catégories doivent être suffisamment larges pour
permettre de capter une large diversité de points de
vue mais pas si larges qu’elles ne sont pas
significatives
 Les catégories doivent être distinctes l’une de l’autre
L’encodage des données

 Elaborer un plan d’encodage

 Former les encodeurs
 Faire un pré-test avec un petit échantillon de
données qualitatives
 Contrôler la viabilité parmi les membres de l’équipe
 Résoudre des problèmes, s’il y en a
 Répéter le pré-test
L’analyse des données

 Donner de l’ordre aux données

 Mettre les données sur des cartes
 Saisir les données sur les tableaux informatisés
 Des logiciels sont disponibles pour faire l’analyse des
données quantitatives
 Trier les données pour faire ressortir les tendances et
les thèmes
L’interprétation des données

 Rendre les données logiques, découvrir leur

signification
 Relier les thèmes et les catégories au processus du
programme et/ou aux résultats
 Certains thèmes sont-ils plus prévalents pendant les
discussions sur des questions de processus?
 Certains thèmes sont-ils plus prévalents pendant les
discussions sur les résultats?
 Chercher d’autres explications et des façons alternatives de
comprendre les données
L’interprétation des données

 Le dialogue :
 Partager les renseignements dés que possible et souvent
avec les informateurs clés
 Faire relire le premier brouillon dans le but d’obtenir des
renseignements complémentaires, des questions, d’autres
façons d’interpréter les données provenant d’autres sources
de données
 Rencontrer les parties prenantes avec des résultats
préliminaires afin de s’assurer du ciblage de l’analyse
Des diagrammes d’affinité

 Un processus en groupe pour l’analyse des données

qualitatives
 Commencer en silence
 Noter les idées et les thèmes
 Afficher sur le mur
 Trier en catégories similaires
 Discuter une fois des catégories de base identifiées:
 Pour affiner
 Ces catégories deviendront le cadre du rapport
Des diagrammes d’affinité

 Des avantages:
 Permettent à tout le monde de s’exprimer
 Toutes les idées ont une valeur égale
 Permettent de limiter la domination d’un seul
participant
 Méthode rapide de générer beaucoup d’idées
L’analyse du contenu

 Utile pour faire l’analyse des mots écrits ou parlés

ou des images
 C’est une façon de convertir des renseignements
qualitatifs en renseignements quantitatifs
L’analyse du contenu

 Utilisations possibles:
 Révision des parties narratives des applications pour le
travail ou pour l’école
 Analyse des réponses ouvertes aux questionnaires
 Analyse des transcriptions des groupes ciblés
L’analyse du contenu: des étapes

 Sélectionner le matériel à analyser

 La question clé est d’élaborer les catégories
d’encodage
 Celles-ci ressortiront des questions et des mesures de la
recherche
 Elaborer des règles de décision pour l’encodage
 Les catégories doivent être exhaustives et sans
ambiguïté
L’analyse du contenu: des étapes

 Le pré-test est essentiel

 Les données se trouvent-elles là où on pense?
 La formation est essentielle
 Les membres de l’équipe savent-ils ce qu’il doivent
faire?
 Savent-ils exactement comment classer par catégorie?
L’analyse du contenu: des étapes

 Les équipes d’au moins deux personnes doivent

réviser et classer le matériel
 Comparer leurs classements
 Vérifier s’ils sont différents
 La viabilité des membres de l’équipe est importante
L’analyse du contenu

 Les défis
 Cela prend beaucoup de temps
 Il peut avoir des problèmes pour élaborer un plan
d’encodage
 La viabilité est essentielle
L’aide apportée par les ordinateurs

 Les logiciels pour faire l’analyse des données:

 NUDIST
 Atlas-ti
 Ethnograph
 HyperQual
 QUALPRO
L’aide apportée par les ordinateurs

 Certains fonctionnent par la recherche de textes

 Certains fonctionnent avec des marqueurs
 Certains fonctionnent avec des codes
 Les logiciels ont des caractéristiques différentes
Comment écrire le rapport

 Les thèmes principaux:

 « Les données indiquent trois thèmes principaux. »
 Il ne faut pas présenter des chiffres ou des
pourcentages
 « Certains participants ont dit… »
 « D’autres ont dit… »
 Mettre l’accent sur des perspectives intéressantes
même s’il n’ y a qu’une ou deux personnes qui l’ont
dit
 Il n’y a pas de recettes pour cette étape
Comment écrire le rapport

 Maintenir le même point de vue

 Avec beaucoup de données il est facile de se
perdre
 Il faut choisir ce qu’il faut inclure par rapport à ce
qu’il faut écarter; il faut se demander:
 Ces renseignements répondent-ils aux questions de
l’évaluation?
 Ces renseignements apportent-ils quelque chose de
valeur aux parties prenantes?
 Sinon, il n’est pas nécessaire d’inclure ces
renseignements
Les analyses quantitatives souvent utilisées

 La distribution des pourcentages

 La moyenne, la médiane et le mode
 La comparaison des moyens
 Les tabulations croisées (des tableaux
d’éventualités)
 La force des liens
 Les modèles
L’analyse des données: quantitative

 L’analyse d’une seule variable:

 Fréquence/distribution de pourcentages
 Tendance centrale
 Moyenne, médiane, mode
 La dispersion
 L’écart type
La distribution des fréquences

 Combien d’hommes et combien de femmes participent

au programme?
 Répartition des participants par genre:

Hommes Femmes Total

Nombre Pct Nombre Pct Nombre
100 33% 200 67% 300
La distribution des fréquences

 Combien d’hommes et combien de femmes

participent au programme?

 Ce qu’il faut écrire:

 « Sur les 300 participants dans le programme, 67% sont
des femmes et 33% sont des hommes »
La description des distributions

 La tendance centrale:
 Quel est le niveau de similitude entre les
caractéristiques?
 Exemple: l’écart entre les âges des membres de ce groupe
est-il petit?

 La dispersion:
 Quel est le niveau de différence entre les caractéristiques?
 Exemple: quelles sont les écarts entre les âges?
Les mesures de tendance centrale

Les trois « M »: Mode, médiane, moyenne

Mode: la réponse la plus fréquente

Médiane: le point au milieu de la distribution
Moyenne: la moyenne arithmétique
Les types de données: lequel faut-il utiliser?

 Les données nominales:

 Les catégories: genre, religion, pays d’origine
 Les données ordinales:
 En ordre, mais pas en ordre numérique: un barème
d’opinion, des catégories d’âge et de revenu
 L’intervalle/ratio :
 Des nombres réels: âge, revenu, poids, hauteur
Lequel faut-il utiliser?

Cela dépend des types de données disponibles:

 Les données nominales: mode

 Les données ordinales: mode et médiane
 L’intervalle/ratio : mode, médiane et
moyenne
Lequel faut-il utiliser?

Les données d’intervalle/ratio :

 La distribution normale: la moyenne, la médiane et le mode
doivent être très similaires

 Appliquer la moyenne si la distribution est

normale
 Appliquer la médiane si la distribution n’est pas
normale
La mesure de dispersion: l’écart type

 A appliquer aux données d’intervalle/ratio

 Mesurer la dispersion des résultats – la distance
de la médiane
 Un petit écart type signifie pas beaucoup de dispersion
 Un grand écart type signifie beaucoup de dispersion
Lorsqu’on travaille avec 2 variables

Les statistiques descriptives

 La comparaison des moyennes
 Des tabulations croisées
Un concept: les variables indépendantes et
dépendantes
 Indépendante:
 Variable qui explique une modification de la variable
dépendante
 L’évaluation de programme: le programme
 Dépendant:e
 Variable qu’on veut expliquer
 L’évaluation du programme: la mesure des résultats
Les tabulations croisées

 A appliquer lorsqu’on travaille avec des données

nominales et ordinales
 Peuvent être utilisées avec des données
d’intervalle/ratio qui ont déjà été catégorisées
Les résultats des tabulations croisées

Classes Classes
« sur le tas » traditionnelles

Garçons 45% 55% 100%

Filles 35% 65% 100%

Les tabulations croisées

Interprétation:
Il est un peu plus probable que les garçons (45%)
suivent les classes « sur le tas » par rapport aux
filles (35%)

 Il semble y avoir une relation mais est-elle forte?

La comparaison des moyennes

 En Afrique du sud, le revenu des femmes est-il

moins per capita que le revenu des hommes?

Variable dépendante: revenu annuel

Variable indépendante: genre

revenu moyen*
Femmes 27 800 Rands Sud africains
Hommes 32 400 Rands Sud africains
Des mesures d’association

 Quelle est la force de l’association?

 Il y a plusieurs mesures d’association
 Certaines mesures d’association varient entre zéro et
1
 D’autres varient entre -1 et +1
– (par exemple, Pearson’s r)
L’interprétation

 En général, les mesures d’association sont

interprétées de manière similaire :

 Une relation parfaite = 1 ou -1

 Plus proche de 1 ou -1: une forte relation
 ,5 : moyenne/forte (peut-être la meilleure)

 Plus proche de 0: aucune relation

 ,2 : moindre/faible
Le sens de la relation

 Avec un plus: relation directe

 Les deux variables changent dans le même

sens
 Exemple : Au fur et à mesure que la vitesse
de la voiture augmente, le taux de mortalité
augmente aussi
Le sens de la relation

 Avec un minus: relation inverse

 Les deux variables changent mais dans le sens

inverse
 Exemple : Au fur et à mesure que l’âge avance,
l’état de santé diminue
Les statistiques d’inférence

 Bienvenue dans le monde des statistiques

d’inférence!
 Les statistiques d’inférence sont utilisées
pour l’analyse des données des échantillons
prélevés au hasard
Les statistiques d’inférence

 Mais il y a toujours le risque d’erreur parce

qu’il se peut que l’échantillon soit différent de la
population en général
 Afin de faire une inférence, il faut d’abord
estimer la probabilité de cette erreur
Le test de signification statistique

 Les statisticiens nous ont fourni des outils pour

estimer la probabilité d’erreur dans les résultats
obtenus
 Ceux-ci sont appelés les tests de signification
statistique
La signification statistique

 Elle permet d’estimer la probabilité que les

résultats de l’analyse des données des
échantillons ont été obtenus par chance
La signification statistique

 Une référence de 5%
 ,05 niveau Alpha ou valeur P

 Ceci veut dire qu’avec 95% de certitude les

résultats de l’échantillon ne peuvent pas être
attribués à la chance
ou
 Les résultats sont significatifs du point de vue
statistique au niveau de ,05
La preuve de l’hypothèse

 L’hypothèse de recherche est la meilleure

estimation sur la relation entre les variables
 Il y a un écart entre les revenus per capita des
hommes et des femmes en Afrique du sud

 L’hypothèse nulle est toujours présentée dans la

manière suivante : « il n’y a pas d’écart » ou
« il n’y avait aucun impact » sur les variables
 Il n’y a pas d’écart entre les revenus per capita des
hommes et des femmes en Afrique du sud
Le test de signification statistique

 Quelle est la probabilité d’obtenir un écart de

R 4 600 si on suppose l’homogénéité de la
population sur laquelle l’échantillon a été prélevé?
 Si la probabilité est « faible » pour obtenir un écart
de R 4 600, alors on rejette l’hypothèse nulle
 Ici, la définition de « faible » correspond à
« moins que 5% »
Ne pas oublier:

 Un test de signification statistique n’est qu’une

estimation de la probabilité d’obtenir les résultats
par chance à condition que la population soit
homogène
Quelques tests de signification statistique

Les tests les plus connus:

 Le carré chi: pour les données nominales et
ordinales
 Les T-tests: DV; données de ratio; IV; 2
catégories
 Annova: DV; données de ratio; IV; 3+
catégories
 F-Tests: des données d’intervalle
Formation scolaire = Revenu?

 Y a-t-il un écart entre les revenus correspondant

au diplômes obtenus?
 L’hypothèse de recherche?
 L’hypothèse nulle?