Vous êtes sur la page 1sur 51

YAOUND, DU 22 AU 24 JUI N 201 0

LI EU: MONASTRE DES BNDI CTI NS


Sminaire atelier sur le
renforcement des capacits
des responsables des
organes dirigeants du
CNJC
Par Mathias MPABE, Ph. D.
Consul tant en formation
Thme : lvaluation des
performances
Plan de lexpos
1. Dfinition des concepts
2. Objet de lvaluation des performances
3. Mthodologie de lvaluation des performances
4. Outils de lvaluation des performances
5. Mcanisme de mise en uvre et de suivi-valuation
I. Dfinition des concepts
Lvaluation
L'valuation est une apprciation systmatique et
objective mene dans un cadre mthodologique et
institutionnel formalis, en vue de porter un jugement
sur la valeur dun projet, dun programme, dune
politique, partir de leur conception, de leur mise en
uvre et de leurs rsultats.
Lvaluation est ainsi un processus systmatique et
objectif par lequel on dtermine la valeur et la porte
d'une action projete (ex ante), en cours (ex itinere) ou
acheve (ex post).
Lvaluation suppose la dfinition dun standard de
rfrence (normes appropries), la comparaison des
performances ralises avec ces normes, et la prise de
dcision par rapport aux rsultats obtenus.





Selon le moment on distingue :


lvaluation ex ante : cest une valuation qui est conduite
avant la mise en uvre dune action. Elle est utilise pour
dsigner ltude de faisabilit dun projet.
l'valuation mi-parcours ou valuation formative: elle
permet de suivre et, ventuellement, de rorienter l'action
pendant son droulement ;
l'valuation finale, rcapitulative ou sommative: elle
intervient en fin d'action; elle examine les rsultats et permet den
observer les effets court terme; elle vise fournir des
informations sur la validit dun projet ou dun programme;
lvaluation ex post : elle sintresse aux effets moyen ou
long terme (impacts). Elle peut tre ralise tout de suite aprs
l'achvement de l'intervention ou longtemps aprs. Le but est
didentifier les facteurs de succs ou dchec et d'apprcier la
durabilit des rsultats et des impacts;


Selon le mode de ralisation de
l'valuation on distingue


l'valuation interne : Cest une valuation conduite
par un service et/ou des personnes qui dpendent des
responsables de l'action au sein de lorganisation charge
de la mise en uvre du projet ou du programme;

l'valuation externe : Cest une valuation conduite
par des services et/ou des personnes extrieures
l'organisation responsable de la mise en uvre; ce qui
favorise un regard neutre, neuf et en principe sans
prjugs.

Autres concepts


l'audit s'assure que la mise en uvre dun projet
s'effectue dans le respect des rgles et des procdures. Il
est ralis par des auditeurs spcialiss et accrdits,
internes ou externes. L'audit ne s'intresse ni la
pertinence ni l'impact du projet
le contrle de gestion et le pilotage sont des
processus continus permettant dassurer un suivi rgulier
de lactivit. Ils sont effectus en interne, sur la base des
donnes recueillies dans les systmes dinformation
labors.
l'inspection procde un contrle de conformit par
rapport aux normes financires, aux procdures
administratives et aux orientations politiques. Effectue
par des inspecteurs internes, elle exige un suivi et ses
recommandations ont un caractre obligatoire et
contraignant.

II. Lobjet de lvaluation
Lobjet de lvaluation part dune
problmatique
Quelles sont les principales proccupations du
commanditaire ?
Sagit-il dune valuation sommative ou
rcapitulative (destine rendre compte aux
dcideurs)?
ou dune valuation formative (destine tirer des
enseignements pour les oprateurs) ?
Quelles sont les interrogations et les attentes des
parties prenantes ?
Y a-t-il une priorit ou une hirarchie dans les
questions?
L objet de lvaluation
Lvaluation peut sintresser :
Une action, un projet, un programme, une stratgie,
une politique.
Dans le but :
De vrifier la pertinence et la cohrence des objectifs
de dpart;
Dapprcier la mise en uvre des moyens ainsi que
leur adquation par rapport aux objectifs envisags;
De mesurer l'efficacit de l'action, c'est dire le
degr d'atteinte des objectifs ;
Dexaminer la durabilit des effets observs.

III. Mthodologie de lvaluation
La dmarche valuative
Il sagit de choisir un rfrentiel dvaluation, de dcrire les diffrentes tches
effectuer chaque tape. Le rfrentiel de lvaluation des performances dun projet
comporte les lments suivants :

l'objet de l'valuation (Quoi? Laction valuer);
Les objectifs de l'valuation (Pourquoi? Les justificatifs);
les acteurs de l'valuation (Avec qui?);
les critres de l'valuation;
les mthodes de recueil donnes (recherche documentaire, visites,
protocoles dobservation);
les indicateurs de l'valuation;
les outils de l'valuation;
la planification de lvaluation :
Organisation;
Temps/ chronogramme;
Ressources disponibles;
Collecte et traitement de linformation;
Rapport: prconisations/recommandations;
Prise de dcision.

Les critres de lvaluation


Les critres de lvaluation sont des caractristiques
qui permettent dapprcier les rsultats dune action,
dun projet, dun programme ou dune politique.
Exemples de critres


Les critres prsents ci-aprs doivent tre repris selon
un questionnement qui sapplique laction valuer.

Pertinence

Cohrence

Effectivit

Efficacit

Efficience






Impacts-Effets

Conformit

Satisfaction

Utilit sociale

Etc.





La pertinence
Examine le bien-fond de l'action au regard des
objectifs et enjeux dtermins au dpart. Les
lments suivants peuvent tre examins :
Correspondance avec les besoins et les demandes des
bnficiaires ;
Conformit avec les orientations gnrales du ministre
(document-cadre de partenariat, stratgies sectorielles, etc.).

La cohrence
Apprcie les rapports entre les divers lments
constitutifs de l'action. Les lments suivants
peuvent tre examins :
Concordance des divers moyens et instruments mobiliss pour
concourir la ralisation des objectifs (cohrence interne) ;
Concordance avec les actions entreprises par les partenaires :
administration, socit civile, organisations non
gouvernementales (cohrence externe).

L'effectivit
Rend compte de la ralit des actions conduites. Les
lments suivants peuvent tre examins :
Degr de ralisation des activits ;
Taux dexcution financire ;
Respect des dlais et du chronogramme ;
Qualit du suivi et de la gestion des imprvus ;
Recherche des lments de surcot ventuel et de leurs causes;
Vrification, le cas chant, de lapplication des clauses
(signature de la convention, cahier des charges, dblocage des
fonds, conditions suspensives)

L'efficacit
Apprcie le degr de ralisation des objectifs de
l'action ainsi que ses ventuels effets. Les
lments suivants peuvent tre examins :
Rsultats attendus et rsultats effectifs de
laction ;
Rsultats imprvus (ngatifs ou positifs, effets
daubaine) ;
Analyse des carts constats.

L'efficience

Etudie la relation entre les cots et les avantages. Les
lments suivants peuvent tre examins :
Mobilisation des ressources financires, techniques,
organisationnelles et humaines temps et au moindre cot ;
Comparaison des cots avec des lments de rfrence
pertinents;
Concordance entre les rsultats obtenus et les sommes
dpenses ;
Atteinte des mmes rsultats avec des moyens plus
restreints ou des instruments diffrents en comparaison
avec des actions quivalentes dautres organisations.

L'impact
Permet dapprcier les retombes de l'action en
tudiant les effets tant immdiats qu long terme
de celle-ci, dans un environnement plus large. Les
lments suivants peuvent tre examins :
Identification des bnficiaires (directs et/ou indirects) de
laction ;
Estimation du nombre de personnes concernes ;
Description quantitative de limpact de laction ;
Description qualitative de limpact de laction (ngatif,
positif, attendu, imprvu);
Visibilit de lopration.

La viabilit (ou la durabilit)
Examine si laction a engendr des structures ou
favoriser lmergence des pratiques capables de se
dvelopper et de se prenniser aprs la fin de
lintervention.
Les lments suivants peuvent tre examins :
Viabilit financire et oprationnelle des mcanismes ;
Prise en charge institutionnelle des activits par les
responsables de laction et/ou les autorits locales des activits
Possibilit de reproduire ou de gnraliser l'opration.

REPRESENTATION SCHEMATIQUE DES PRINCIPAUX
CRITERES D'EVALUATION
CONSEIL NATIONAL D'EVALUATION FRANCE 1996


BESOINS

Objet Objectifs Moyens
ACTION
ENVIRONNEMENT
(Contexte)
Impact (long terme)
EFFETS
Impact (moyen terme)
Efficacit
Rsultats
Efficience
Acteurs
Cadres de Jeunesse

Equipes dirigeantes du
CNJC

Jeunes dfavoriss

Jeunes bnficiaires dun
financement FIJ





Leaders dassociations

Membres dassociations

Membres de la Socit
civile

Animateurs
dvnements, etc.



Les indicateurs

Un indicateur est un lment qui permet de
dterminer en termes de quantit ou de qualit le
rsultat de la mesure de latteinte dun objectif ou de
toute autre variable du contexte dvaluation
(ressources, infrastructures, gestion, effets, etc.)

Lindicateur produit une information synthtique
quantifie permettant dapprcier les divers aspects
dune action, dun projet, dun programme ou dune
stratgie.
Catgories dindicateurs
On peut distinguer trois grandes catgories dindicateurs :
1. les indicateurs denvironnement ou de contexte
Les indicateurs de contexte (ou de situation) refltent les contraintes
gnrales de lintervention et fournissent des lments sur ltat des
lieux avant projet;
2. les indicateurs de moyens et dactivits
Ces indicateurs informent sur la disponibilit, laffectation des
ressources humaines, organisationnelles et financires qui
permettent la production des services (extrants ou output)
3. les indicateurs de rsultats ou de performance
Les indicateurs de performance sont directement associs aux
critres de lvaluation, notamment:
Lefficacit;
Lefficience;
Limpact
lments de dtermination des indicateurs
activits (nombre dactivits rlises)

gestion administrative (liste du
personnel, courrier, etc.)

gestion financire (documents
comptables et financiers)

animation d'quipes de travail
(nombre de runions, priodicit des
rencontres, etc.)

Capacits professionnelles et
comportementales (dossiers traits,
problmes rsolus, prsence effective)

encadrement (niveau dexcution du
programme dactions, approche
managriale)

finances(budget,ressources, dpenses,
contrle)

formation(renforcement de capacits)



infrastructures, matriels et
quipements
communication (up-down)

lieux (sites - contextualisation)

Associations (nombre,
caractristiques des adhrents)

ressources humaines

recherche de financement,

recherche de partenariat

participation (taux de participation)

cadre juridique(lois, statuts,
rglement, etc.)


IV. Outils de lvaluation
Instruments de recueil dinformations
(liste non exhaustive)

Questionnaires;
Guides dentretien;
Entrevues;
Grilles d'observation;
Fiches anecdotiques;


chelles d'apprciation;
Listes de vrification
(check-lists);
Tests de performance
(dossiers, rapports,
situation-problme, etc.)
Tableaux de bord.
V. Mise en uvre et suivi-valuation
Le suivi-valuation Monitoring and
Evaluation

Le suivi-valuation est un processus continu de collecte
systmatique d'informations, selon des indicateurs
choisis, pour fournir aux gestionnaires et aux parties
prenantes d'une action de dveloppement en cours, des
lments sur les progrs raliss, les objectifs atteints et
les difficults ventuelles pour une rtroaction;
Le suivi est assur en interne, de manire continue, par
les responsables des actions. Toutefois, le suivi-
valuation et lvaluation rtrospective se rfrent aux
mmes techniques et senrichissent mutuellement.


La mise en place dun systme de suivi

Le systme de suivi doit tre conu ds le dpart en
prcisant les mthodes, les ressources, les
responsabilits, la priodicit;
Il doit prvoir une batterie dindicateurs quantitatifs de
ralisation prsents sous forme de tableau de bord;
Il doit associer toutes les parties concernes au processus
de suivi ;
Il doit prendre en compte les donnes extrieures au
projet (environnement social, politique, conomique)
pour apprcier son impact;




Le dispositif de suivi-valuation

1. Objectif et tendue du systme de suivi
La nature du systme de suivi est fonction des objectifs, du cot estim
et des difficults envisages.
Construction dun cadre logique (activits, processus, moyens,
ralisations, rsultats et impacts);
2. les indicateurs
Prcision des indicateurs de performance attendus.
Choix dindicateurs pertinents,
3. La collecte des informations et lorganisation du dispositif
Dterminer des priorits: certaines donnes ont une utilit immdiate
dans le suivi, dautres seront ncessaires dans la phase ultrieure
dvaluation rtrospective.
4. Renforcement des capacits
intgrer une dimension renforcement des capacits des acteurs
internes.
Responsabilits et tches

Dterminer le cadre logique: hirarchie des objectifs, indicateurs
pertinents par rapport chaque composante valuer, mcanismes de
suivi;
Dfinir des questions relatives la performance du projet et des critres
dvaluation;
Fixer le cadre et les procdures dvaluation des activits du projet.
Choisir les mthodes de collecte et sassurer de leur adquation par
rapport lvaluation de limpact.
Examiner la qualit des donnes socioconomiques disponibles dans la
zone du projet;
tablir un plan de renforcement des capacits des acteurs y compris les
bnficiaires, notamment pour les aspects participatifs;
Dfinir le schma et les procdures du suivi oprationnel.
Exemple de dmarche valuative
Objet de lvaluation:
Linsertion socio conomique des jeunes

Objectifs de lvaluation:
Dterminer le niveau dacquisition de la culture
entrepreneuriale des acteurs identifis ;
Apprcier lutilisation des capacits entrepreneuriales
acquises ;
Apprcier leffet de lactivit professionnelle sur leur mode de
vie.
Exemple de dmarche valuative (suite)
Acteurs :
Jeunes non forms bnficiaires dun financement du Fonds
dInsertion des Jeunes (FIJ);
Jeunes forms ayant reu un financement du FIJ;
Jeunes forms nayant pas reu un financement du FIJ;
Leader dassociations.

Critres :
satisfaction ( autonomie sociale, autonomie de gestion,
partenariat gagnant-gagnant) ;
rentabilit (gain, profits, bnfices, ralisations, valeur
ajoute).

Exemple de dmarche valuative (suite)
Indicateurs :
sige
structures administratives de lentreprise
compte de gestion
documents administratifs (organigramme, liste du personnel, courrier, etc.)
documents comptables et financiers (registre de commerce)
Infrastructures, matriels et quipement
budget
personnel
mode de dplacement
lieu dhabitation
personnes charge
recherche de financement,
recherche de partenariat

Instruments:
Questionnaire
Guide dentretien
Visites
Grilles d'observation
Check-lists (listes de vrification)
Recherche documentaire (Textes, Contrats, Conventions, )



Les rsultats de lvaluation
La prsentation des rsultats d'une valuation
saccompagne dun expos clair de son objet, de ses
objectifs, de ses destinataires, des questions poses,
des mthodes utilises et de leurs limites, ainsi que
des arguments et critres qui conduisent ces
rsultats.

Les conclusions de lvaluation

Les conclusions de lvaluation doivent :
Rpondre aux questions poses dans les termes de
rfrence;
Indiquer les forces et les faiblesses du projet ou du
programme;
Dterminer les causes des carts par rapport aux
objectifs initiaux.
Dcrire les moyens utiliss pour valider ces
conclusions.
Les recommandations
Ce sont des propositions qui contribuent amliorer les
performances du projet. Les recommandations indiquent:
Comment les atouts (forces) du projet peuvent tre
consolids;
Dans quelle mesure les difficults (faiblesses) du projet
pourraient tre rsolues;
La hirarchie des prconisations selon leur importance;
La hirarchie des prconisations selon un calendrier
prvisionnel;
Les recommandations dordre stratgique et celles dordre
oprationnel.


EXEMPLE
Etude relative linventaire de
lexistant sur les petits mtiers et
mtiers du secteur jeunesse
Contexte et justification

Valorisation des ressources humaines pour un
dveloppement durable ;
Lutte contre la pauvret travers la cration demplois
jeunes, de petits mtiers lis aux secteurs jeunesse et sport.
Lavnement de la dcentralisation et la ncessit de mieux
structurer et former les jeunes ;
Lexistence dun nombre important de jeunes en
dperdition scolaire et ncessitant une insertion ou une
reconversion socio-conomique et professionnelle.

Objectifs

Identifier les mtiers existants et inventorier les
mtiers potentiels ;
Catgoriser les mtiers, les structurer, les stabiliser,
identifier des mcanismes ou stratgies de
promotion et former des jeunes aux activits
gnratrices de revenus.;
Constituer une base dinformations gnrales et
nationales actualisables avec lvolution des
secteurs ;

Approche mthodologique

Prparer et laborer des outils de collecte et
danalyse des donnes ;
Utiliser les relais (nationaux , rgionaux ou locaux );
Interviewer des agents existants, des acteurs du
mouvement sportif, associatif, les collectivits
territoriales dcentralises et tout autre intervenant
dans un domaine susceptible de favoriser
lmergence ou le recours des mtiers relatifs aux
secteurs jeunesse et sport ; ;
Fournir un rapport dtaill et une base de donnes
informatise.

INDICATEURS GNRAUX POUR
LA LABELLISATION D UN
ORGANISME DE FORMATION

Evaluation dune organisation
Rsultats attendus

Rdiger un rapport dtaill et une base de donnes
informatise qui donne des indications sur les
lments caractristiques de mtiers en sport et
jeunesse mais aussi qui inventorie de faon gnrale
les mtiers possibles ou existants
Identifier les bassins potentiels des petits
mtiers dans notre pays et dans la Sous-Rgion ;
Dterminer les grandes tendances des besoins en
formation des publics cibles.

Sur lorganisme lui-mme
Statut ;
Organes de gouvernance ;
Existence dune politique de
dveloppement (Plan stratgique,
projet dtablissement, plan
daffaires, etc) ;
Existence dun Systme Intgr de
Gestion ;
Degr de spcialisation de
lorganisme dans le domaine
concern ;
Rfrences de lorganisme (sur le
mme type daction) ;
Flexibilit pour construire des cas
spcifiques, pour modifier le
produit et sadapter aux besoins
du client par rapport des
rponses toutes faites ;


Capacits de recherche
Ressources documentaires ;
Adhsion un rseau
oprationnel national,
rgional ou international
dorganismes de formation, ;
Existence de partenariats
(entreprises, organisations
professionnelles) ;
Comptences
administratives et comptables
Infrastructures et
quipements ;
Sources de financement et
gestion des ressources
financires

Sur le personnel
Effectifs de lorganisme (le nombre de
formateurs permanents par apport aux
vacataires) ;

Curriculum Vitae des intervenants ;

Qualit du personnel (statut, qualification,
exprience) ;

Styles des intervenants (adquation avec le
public former).

Sur loffre elle mme
Les programmes ;
Prcision de la
construction
pdagogique ;
Cohrence de loffre, son
approche globale;
Qualit de
largumentation de
loffre ;
Qualit du dispositif
dvaluation de formation
propos;
Qualit de loffre
pdagogique (contenu,
progression, valuation) ;


Prsence, diversit et
qualit des supports ;
Nature des engagements
sur le suivi de laction ;
Communication sur
laction, auprs du public
vis ;
Cot(dont on demandera
une dcomposition pour
les actions importantes) ;
Modulation du cot en
fonction de la taille du
march.

Le tableau de bord
Le tableau de bord de gestion comporte des axes
daction assortis d'indicateurs pertinents permettant
un gestionnaire de suivre l'volution des rsultats,
les carts par rapport des valeurs de rfrence
(objectifs fixs, normes internes ou externes,
rfrences statistiques, etc.);

Vous aimerez peut-être aussi