DEMARCHES METHODOLOGIQUES POURSUIVIES LORS DE LEVALUATION

FINALE DU PROJET PROMOTION DE LA CULTURE ET DE LA DEFENSE DES

DROITS HUMAINS A LECOLE
22 Dcembre 2010 13 janvier 2011

Evaluateur : Rakoto Yvon Namelankafatra

Sommaire

METHODOLOGIE...................................................................................................................................... 3
1.

LA COLLECTE DINFORMATIONS OU RECUEIL DES INFORMATIONS .......................................... 3

a)

Recherches des informations de sources secondaires internes ................................... 4

b)

Recherches des informations de sources secondaires externes .................................. 4

c)

Les Recherches dinformations de sources primaires .................................................... 4

d)

La technique de lobservation ............................................................................................. 5

2.

LE TRAITEMENT DES INFORMATIONS ET CONSTITUTION DES BASES DES DONNEES................. 5

3.

LINTERPRETATION ET LANALYSE ............................................................................................... 5

4.

LIMITES DE LA METHODOLOGIE .................................................................................................. 6

5.

MATRICE DEVALUATION ............................................................................................................ 7

6.

OUTILS DEVALUATION................................................................................................................ 8
QUESTIONNAIRE .............................................................................................................................. 8
FICHE RECAPITULATIVE DE LEVALUATION ................................................................................... 10

METHODOLOGIE
Les dmarches mthodologiques poursuivies se divisent en cinq (5) tapes, la collecte des
informations le traitement dinformation - la constitution des bases de donnes lanalyse
avec interprtation et enfin la rdaction du rapport.

1. LA COLLECTE DINFORMATIONS OU RECUEIL DES INFORMATIONS

Les techniques de recueil des informations utilises se divisent en (3) trois catgories,
respectivement :

Les Recherches des informations de source secondaire, c'est--dire qui ne

ncessite pas des recherches particulires, mais qui existe par sa nature, et
gnres de faon rgulire et priodique en gnral. Elles peuvent-tre internes ou
externes ;

la technique de lObservation, qui permettra lvaluateur a posteriori de dcrire

aussi fidlement que possible ltat des lieux.

Les Recherches des informations de source primaire, qui est ncessaire pour
rpondre des questions spcifiques lies la mission dvaluation, en particulier
aux Termes de rfrence.
Ces informations de source primaire ne peuvent tre obtenues que par le biais des
entretiens ou interviews (formels et structurs, semi -directifs ou entretiens libres)
Compte tenu de la dimension du projet valuer, la dure plus ou moins courte de la
mission dvaluation et le nombre de lvaluation, les entretiens semi-directifs ont t
utiliss.
Pourquoi ?
Les enqutes formelles et directives ncessitent lintervention de plusieurs
valuateurs (ou enquteurs) et surtout du temps (par exemple, le codage des
rponses dans le questionnaire, lchantillonnage, suivant des critres multivariables;
le dcodage des rponses aprs enqutes, la saisie informatique aprs triage des
questionnaires remplis, etc.). Elles sont trs rigides (des timing respecter des sens
(orientation) des questions suivre. Elles ne sont pas appropries une mission de
quinze (15) jour et effectues par un Evaluateur.
Or, les interviews semi-directifs sont trs souples et flexibles, facile manier suivant
lattitude et comportement de la personne interviewe. La forme des questions
peuvent tre reformules suivant la raction des personnes interviewes, etc.

a) Recherches des informations de sources secondaires internes

Ce sont les documents produits par le projet lui-mme (par exemple, le Document de
projet initial), souvent de faon priodique et rgulire (par exemple, les Rapports
trimestriels ou annuels, etc.)

Entre dans cette catgorie, les correspondances officielles importantes et inhrentes

au projet, permettant au Consultant de comprendre les diffrentes phases parcourues
par celui-ci.

b) Recherches des informations de sources secondaires externes

En principe, elles sont extrieures au projet, mais leur consultation est fondamentale dans la
mesure o elles ont des rapports vec le projet en question.
On peut citer ce titre : les OMD, lUNDAF et le CPAP.
Par ailleurs, figurent parmi ces sources secondaires externes les textes rglementaires et
lgislatifs

c) Les Recherches dinformations de sources primaires

Celles-ci sont la base de collecte dinformations qui se veut tre scientifique. On fait recours
aux recherches dinformations pour rpondre des questions spcifiques la mission des
Consultants et insres dans leurs TdR.
Ce sont les entretiens semi-directifs. Un questionnaire et une fiche dvaluation a t
labore en ce sens (Cf. Questionnaire et fiche rcapitulative de lvaluation)
Les questions prennent les plus souvent la forme de question ouverte.
Certaines informations sont obtenues, cependant partir des questions fermes, surtout lors
que linterviewer (le Consultant) souhaite obtenir des rponses sans ambigit ni
dquivocit.
Dautres questions, en revanche, se rpondent avec des rponses squence diffrentielle
au choix de la personne interviewe.
Aucune question tendancieuse ni suggestive na t pose pour veiller lobjectivit des
rponses donnes par la personne interviewe.

d) La technique de lobservation
Cest travers de lobservation quest possible la description plus ou moins fidle de la
situation et ou de ltat des lieux. Elle nest pas suffisante en elle-mme et pour tre plus
efficace, il faut utiliser les recherches des donnes de sources primaires.1

2. LE TRAITEMENT DES INFORMATIONS ET CONSTITUTION DES BASES

DES DONNEES
Aves les amasses dinformations collectes, trs disparates, on doit procder leur triage.
Les informations inutiles et qui ne serviront pas lvaluation sont mises ct.
Cest ainsi quon obtient les informations raffines, plus cohrentes et logiques. On les
appelle en gnral, base de donnes.
La base de donnes facilite les tches du Consultant dans les phases suivantes :
linterprtation et lanalyse.

3. LINTERPRETATION ET LANALYSE
A chaque question que suscite cette mission dvaluation, les bases de donnes sont
consultes, des vrifications sont opres (par la technique de recoupement des
informations) et une foule de questions doivent se poser : Pourquoi ? Comment ? Quand ?
Par Qui ? De quelle manire ?
Ce nest quaprs lanalyse et linterprtation des bases de donnes que la phase de
rdaction puisse dbuter.

Pour quels rsultats du projet doit on recourir aux sources secondaires ou primaires? Il ny a pas de rgle qui
dit que le Chercheur doit procder aux sources secondaires ou primaires afin de relater les informations sur tel
ou tel rsultat. Cela varie, suivant les circonstances o le projet a t excut. Si les informations de sources
secondaires (internes ou externes) sont compltes, hypothse trs rares voire inexistante, quoi servir encore
de mener une investigation dans les sources primaires ? Dans la pratique, afin que lvaluateur puisse rpondre
aux diffrentes questions spcifiques aux objectifs de lvaluation, insrs normalement dans les TdR, Le
recours des interviews simpose. Dans le cas du projet Promotion de la Culture et de la dfense des Droits
Humains lcole , les deux (2) sources de donnes secondaires (documents) ou primaires (interviews) seront
puises afin davoir des donnes quantifies sur les rsultats du projet au moment de sa clture (suivant les
cadres des rsultats dfinis dans le document de projet du FNUD).

4. LIMITES DE LA METHODOLOGIE
Etant une valuation externe, la prsente mthodologie trouve sa limite non seulement dans
le dlai accord au Consultant, mais surtout dans la possibilit de rtention dinformations
de part et dautres des parties interviewes2.
Plusieurs tudes empiriques sur les recherches dinformations ont dmontr, que plus le
temps de recherche est court, plus le volume dinformations collectes est petit do le risque
derreur de dcision serait beaucoup probable.
Quoi quil en soit, afin de combler cette lacune, la vrification des informations reues par la
technique de recoupement dinformation est systmatique.
Aussi, la participation des parties prenantes contribue sensiblement lobtention des
informations objectives qui ne risqueraient pas daffecter le rsultat des analyses.

Ce fait est une tendance universelle et ce qui diffre lvaluation externe lvaluation interne. Un
responsable interview, lors dune valuation externe, a la tendance de ne pas dlivrer que les informations qui
lui sont favorables.

5. MATRICE DEVALUATION
Critres
dvaluation

Latteinte des
rsultats
attendus

Les effets

Les impacts

Questions-cls

Quelles sont
contraintes
ayant jalonn
sa mise en
uvre, les
leons apprises
et les bonnes
pratiques ?
Quels sont les
effets et
impacts
attendus et
non attendus
en relation
avec
lutilisation des
ressources qui
lui ont t
alloues ?

Le projet a-t-il
produits ces
effets prvus aux
bnficiaires ?

Quels sont les

impacts du
projet ?

Sous-questions
spcifiques

Les produits des

rsultats noncs
dans le
document de
projet sont ils
atteints ?

Comme se
manifestent les
connaissances,
ou lapplication
des Droits de
lHomme et du
Civisme dans la
vie quotidienne ?

Quel est son

impact sur la
politique
ducationnelle
en gnral ? sur
la socit ? Sur la
culture familiale
ou sociale ?
Sur lEtat ?

Mthodes/Outils
de collecte des
donnes

Collectes des
informations sur
la ralisation du
projet (Rapports
priodique) ;
interviews semidirectifs de tous
les responsables
du projet ;
La technique
dobservation

Enquter un
chantillon des
bnficiaires
cibls par le
projet

Une enqute
pour mesurer les
impacts du projet
sur les plans
ducationnel,
culturel et social ;

Indicateurs/Normes
de russite

Remplir le cadre des

rsultats de lUNDEF
la fin du projet :
les indicateurs de
rsultats

Le changement de
comportement des
lves et lycens
aux collges et aux
lyces.

Mthodes pour
analyser les
donnes

Regroupement
des informations
en base de
donnes,
raffinage des
informations et
interprtation de
la signification de
ces bases des
donnes

Idem

Comparaison avec
les effets prvus
dans le document
initial avec ltat des
lieux

Une
mergence
dune nouvelle prise
de conscience sur
les Droits Humains ;
lpanouissement et
la libralisation des
lves, collgiens de
lancienne
vision
ancestrale ;
Promotion
de
lEducation et du
Civisme dans les
Media

Idem

6. OUTILS DEVALUATION
QUESTIONNAIRE

I.
1.
II.
2.
3.
4.
5.
6.
7.
8.

FONDEMENT HISTORIQUE DU PROJET (La raison dtre du projet ?)

Comment et dans quelle circonstance le projet tait-il n ?
PREPARATION DE PROJET
Comment le projet tait-il prpar ?
Avec qui et de quelle manire le document du projet tait-il labor ?
LAgence de mise en uvre a-t-elle particip la Planification de ce projet ?
Le projet tait-il une innovation ?
Existent-ils dautres projets similaires celui-ci auparavant ?
Qui sont les diffrents bnficiaires de ce projet ?
Donnez le volume horaire accord lenseignement de lEducation civique
lcole actuellement ?
9. Cochez, vos apprciations personnelles sur la conception du projet ? (Cf. Outils
dvaluation 10 de a) au g), Page 8 de la mthodologie)
III. LEXECUTION DU PROJET
10. Dcrire brivement votre rle et attributions dans la structure organisationnelle
du projet ?
11. Veuillez nous prciser qui est qui et qui fait quoi dans la structure
organisationnelle figure dans le PTA 2009 ?
12. Veuillez nous prciser qui est qui et qui fait quoi dans la structure
organisationnelle figure dans le PTA 2010 ?
13. Avez-vous dautres fonctions que celles attribues au projet ? Veuillez les citer ?
14. Expliquez pourquoi aucune activit na t ralise en 2007 ?
15. Expliquez pourquoi aucune activit na t ralise en 2008 ?
16. Pourquoi les activits se ralisent elles par intermittence ?
17. Pourquoi la ralisation sactive soudainement au dernier trimestre ?
18. Comment avez-vous ragi face ces diffrents retards dexcution ?
19. Pourquoi vous navez pas mis assez dimportance la dimension temporelle ?
20. Combien dcoles ont pu bnficier les biens faits du projet son achvement ?
21. Combien dlves sont viss par le projet et effectivement bnficiaires son
achvement ?
22. Combien denseignants peuvent tre forms dans le cadre de la ralisation de ce
projet ?
23. Comment sorganise le MEN pour mettre en uvre le projet ?
24. Combien demploys disposez-vous pour mettre en uvre le projet ?
25. A Combien dheures par semaine, le MEN compterait enseigner les Droits de
lHomme et lEducation Civique dans les Ecoles, Collges et Lyces Techniques
Aprs projet ?
26. Quest ce quon entend par gestion en mode NIM ou en mode DIM ?
27. Les termes NIM et NEX recouvrent-ils le mme sens ?
28. Quelle est la porte de votre responsabilit en mode de gestion NIM
29. Quels sont les effets du DIM sur la mise en uvre ?

30. Le maintien du mode de gestion DIM est-il encore justifi avec lvolution de la
situation sociopolitique actuelle?
31. Expliquez davantage les raisons du retard dans lexcution du projet ?
32. Expliquez le mcanisme du dblocage de fonds au PNUD pour raliser une
activit ?
33. Quelle est la dure moyenne du traitement dune demande de fonds lUPM
pour mettre en uvre une activit ?
34. Quelles sont les raisons qui vous ont amen imprimer les livrets ltranger,
alors quil existe plusieurs imprimeries dans la Capitale ?
35. Cochez, vos apprciations personnelles sur lexcution du projet ? (Cf. Outils
dvaluation 10, de h) o) ; P. 8)
36. Quelles sont les raisons par lesquelles vous navez pas valid les documents sur
les traits internationaux traduits en Malagasy par un Consultant ?
37. Comment fonctionne le systme de Suivi valuation au PNUD ?
38. Comment diffrencier le rle de lExpert, qui prvoir galement dans ses TdR une
attribution rattache la fonction Monitoring, avec celui du Responsable du Suivi
Evaluation du PNUD ?
39. Quelles sont vos principales difficults rencontres durant la mise en uvre ? Cf.
fiche dvaluation, 13)
40. Quelles taient les solutions apportes afin de pallier ou rsoudre ces
problmes ?
41. Veuillez cocher, selon vous les atouts et faiblesses du projet suivant les rubriques
cites dans la fiche dvaluation.
42. Les moyens matriels sont ils suffisants durant la phase de mise en uvre ?
43. Pourquoi vous navez-pas procder la rception des bicyclettes et des
motocyclettes offertes par PNUD ?
IV. RESULTATS DE LA MA MISE UVRE
44. Donner le nombre exact des produits des rsultats, suivant le format des cadres
des rsultats du FNUD.
45. Cochez, daprs vos apprciations personnelles, le rsultat escompt par le
projet sa clture ? (Cf. 15, fiche dvaluation)
46. A combien slve le cot de la ralisation du projet au 29 dcembre 2010 ?

FICHE RECAPITULATIVE DE LEVALUATION3

Titre du projet : PROMOTION DE LA CULTURE ET DE LA DEFENSE DES DROITS HUMAINS A LECOLE

Numro du projet UNDEF : UDF MAG-06-077
Agence dexcution : Bureau du PNUD de Madagascar
Agence de mise en uvre : Office de lEducation de Masse et du Civisme et du Ministre de
lEducation Nationale et de la Recherche Scientifique

I.

Contexte historique (Quelle est la raison dtre de ce projet ? Le pourquoi ?)

1 -Secteur
Sous secteurs

:
:

2- Les composantes /volets du projet :

3- Les sites du projet :
4- Documents de base (Cf. Annexe 4) :
5- Les bnficiaires du projet
Types de bnficiaires
Elves, lyces et collgiens
Enseignants
Personnel administratifs
Parents dlves
Communaut ducative

Nombre envisag (si disponible)

Nombre rel

6-Origine du Financement
Contribution UNDEF :
Gouvernement Malagasy :

7- Cots totaux du projet (au 29/31/10)

Prvus

Rels

Ecart

Taux dutilisation

En USD

Raisons de la diffrence :
8- Calendrier dexcution
Anne et date dapprobation
Anne et date de dmarrage prvu
Anne et date dachvement prvu
Anne et date de dmarrage rel
Anne et date dachvement rel

:
:
:
:
:

Les raisons de la diffrence

La fiche rcapitulative de lvaluation est un outil dvelopp par lvaluateur spcialiste en valuation ex post
(a posteriori ou rtrospective) lui permettant, aprs son remplissage, de savoir la raison dtre du projet et son
essence, les diffrents tapes parcourues, toutes les difficults rencontres durant sa mise en uvre, tous les
diffrents carts entre les effets, impacts et rsultats prvus et ceux qui ont t effectivement raliss sur
terrain. La fiche synthtise toutes les informations requises aux rsultats attendus de lvaluation. Cest un
vritable rapport dvaluation en miniature.

10

FICHE DEVALUATION 2 - INFORMATIONS SUR LES APPRECIATIONS DE LEXECUTION

9 Le projet tait-il correctement prpar ?

Oui

Non

10- Facteurs qui ont affect les rsultats

CONCEPTION DU PROJET
a- Clart des rsultats attendus, effets et
impacts
b- Stratgie de dveloppement
c- Dimension du projet
d- Qualit de la prparation
e- Ralisme du calendrier
f- Support politique
g- Facteurs sociaux
4
REALISATION DU PROJET
hijk-

Capacit de lorganisme dexcution

Communication entre les parties prenantes
Ressources Humaines
Disponibilit et suffisance des
matriels/quipements

lmno-

Environnement politique
Environnement social
Assistance technique
Lorganisation de mise en uvre

POSITIVEMENT

NEGATIVEMENT

9- Facteurs externes influant les rsultats du projet

Facteurs externes (influences extrieures)

Positif(ve)s

Ngatif(ve)s

Atouts

Faiblesses

Macro-conomique
Evnements politique
Autres ( prciser)

10 Les atouts et faiblesses internes du projet

Les facteurs cls de russite ou du succs

Qualit des Ressources Humaines

Suffisance en nombre
Comptence/Expriences
LOrganisation du projet
Communications entre les parties prenantes
Les moyens matriel, technique et technologique

Les moyens financiers

Le systme de suivi-valuation

Lapprciation demeure valable que le mode de gestion soit NIM ou DIM

11

12 Les difficults rencontres par le Gestionnaire du projet durant la phase de lexcution

12. a Difficults rencontres par lOEMC (NIM et DIM)
Difficults rencontres

Solutions apportes ou mesures entreprises

12. b Difficults rencontres par le PNUD (DIM)

Difficults rencontres

Solutions apportes ou mesures entreprises

13-Contribution du projet au changement culturel, lducation et aux droits humains lcole

Substantielle

Partielle

Ngligeable

Contribution relle
14- Durabilit des rsultats (Quelles sont les chances que les avantages du projet soient maintenus
dans lavenir ?)
Probable

Peu probable

Incertaine

Durabilit

FICHE DEVALUATION 3 - DIFFERENTS IMPACTS ET DEGRE DATTEINTE DES OBJECTIFS

ET/OU LE RESULTAT GLOBAL ESCOMPTE
15 Mesures dimpact
La plupart des cibles (comme les lves, enseignants, parents), nont pas pu tre sensibiliss durant
la mise en uvre, des tudes dvaluation dimpact dans les domaines culturel, ducationnel et social,
restent encore impossibles.

16

De quelle manire le projet peut-il tre jug efficace et efficient ?

17 - ECHELLE DES DEGRES DATTEINTE DES OBJECTIFS

RESULTAT GLOBAL

Le rsultat de lexcution du projet est SATISFAISANT

Le rsultat de lexcution du projet est ASSEZ SATISFAISANT, MAIS ENCOURAGEANT

Le rsultat de lexcution du projet est MOYENNEMENT SATISFAISANT

Le rsultat de lexcution du projet est NON SATISFAISANT

12