Sminaire atelier sur le renforcement des capacits des responsables des organes dirigeants du CNJC Par Mathias MPABE, Ph. D. Consul tant en formation Thme : lvaluation des performances Plan de lexpos 1. Dfinition des concepts 2. Objet de lvaluation des performances 3. Mthodologie de lvaluation des performances 4. Outils de lvaluation des performances 5. Mcanisme de mise en uvre et de suivi-valuation I. Dfinition des concepts Lvaluation L'valuation est une apprciation systmatique et objective mene dans un cadre mthodologique et institutionnel formalis, en vue de porter un jugement sur la valeur dun projet, dun programme, dune politique, partir de leur conception, de leur mise en uvre et de leurs rsultats. Lvaluation est ainsi un processus systmatique et objectif par lequel on dtermine la valeur et la porte d'une action projete (ex ante), en cours (ex itinere) ou acheve (ex post). Lvaluation suppose la dfinition dun standard de rfrence (normes appropries), la comparaison des performances ralises avec ces normes, et la prise de dcision par rapport aux rsultats obtenus.
Selon le moment on distingue :
lvaluation ex ante : cest une valuation qui est conduite avant la mise en uvre dune action. Elle est utilise pour dsigner ltude de faisabilit dun projet. l'valuation mi-parcours ou valuation formative: elle permet de suivre et, ventuellement, de rorienter l'action pendant son droulement ; l'valuation finale, rcapitulative ou sommative: elle intervient en fin d'action; elle examine les rsultats et permet den observer les effets court terme; elle vise fournir des informations sur la validit dun projet ou dun programme; lvaluation ex post : elle sintresse aux effets moyen ou long terme (impacts). Elle peut tre ralise tout de suite aprs l'achvement de l'intervention ou longtemps aprs. Le but est didentifier les facteurs de succs ou dchec et d'apprcier la durabilit des rsultats et des impacts;
Selon le mode de ralisation de l'valuation on distingue
l'valuation interne : Cest une valuation conduite par un service et/ou des personnes qui dpendent des responsables de l'action au sein de lorganisation charge de la mise en uvre du projet ou du programme;
l'valuation externe : Cest une valuation conduite par des services et/ou des personnes extrieures l'organisation responsable de la mise en uvre; ce qui favorise un regard neutre, neuf et en principe sans prjugs.
Autres concepts
l'audit s'assure que la mise en uvre dun projet s'effectue dans le respect des rgles et des procdures. Il est ralis par des auditeurs spcialiss et accrdits, internes ou externes. L'audit ne s'intresse ni la pertinence ni l'impact du projet le contrle de gestion et le pilotage sont des processus continus permettant dassurer un suivi rgulier de lactivit. Ils sont effectus en interne, sur la base des donnes recueillies dans les systmes dinformation labors. l'inspection procde un contrle de conformit par rapport aux normes financires, aux procdures administratives et aux orientations politiques. Effectue par des inspecteurs internes, elle exige un suivi et ses recommandations ont un caractre obligatoire et contraignant.
II. Lobjet de lvaluation Lobjet de lvaluation part dune problmatique Quelles sont les principales proccupations du commanditaire ? Sagit-il dune valuation sommative ou rcapitulative (destine rendre compte aux dcideurs)? ou dune valuation formative (destine tirer des enseignements pour les oprateurs) ? Quelles sont les interrogations et les attentes des parties prenantes ? Y a-t-il une priorit ou une hirarchie dans les questions? L objet de lvaluation Lvaluation peut sintresser : Une action, un projet, un programme, une stratgie, une politique. Dans le but : De vrifier la pertinence et la cohrence des objectifs de dpart; Dapprcier la mise en uvre des moyens ainsi que leur adquation par rapport aux objectifs envisags; De mesurer l'efficacit de l'action, c'est dire le degr d'atteinte des objectifs ; Dexaminer la durabilit des effets observs.
III. Mthodologie de lvaluation La dmarche valuative Il sagit de choisir un rfrentiel dvaluation, de dcrire les diffrentes tches effectuer chaque tape. Le rfrentiel de lvaluation des performances dun projet comporte les lments suivants :
l'objet de l'valuation (Quoi? Laction valuer); Les objectifs de l'valuation (Pourquoi? Les justificatifs); les acteurs de l'valuation (Avec qui?); les critres de l'valuation; les mthodes de recueil donnes (recherche documentaire, visites, protocoles dobservation); les indicateurs de l'valuation; les outils de l'valuation; la planification de lvaluation : Organisation; Temps/ chronogramme; Ressources disponibles; Collecte et traitement de linformation; Rapport: prconisations/recommandations; Prise de dcision.
Les critres de lvaluation
Les critres de lvaluation sont des caractristiques qui permettent dapprcier les rsultats dune action, dun projet, dun programme ou dune politique. Exemples de critres
Les critres prsents ci-aprs doivent tre repris selon un questionnement qui sapplique laction valuer.
Pertinence
Cohrence
Effectivit
Efficacit
Efficience
Impacts-Effets
Conformit
Satisfaction
Utilit sociale
Etc.
La pertinence Examine le bien-fond de l'action au regard des objectifs et enjeux dtermins au dpart. Les lments suivants peuvent tre examins : Correspondance avec les besoins et les demandes des bnficiaires ; Conformit avec les orientations gnrales du ministre (document-cadre de partenariat, stratgies sectorielles, etc.).
La cohrence Apprcie les rapports entre les divers lments constitutifs de l'action. Les lments suivants peuvent tre examins : Concordance des divers moyens et instruments mobiliss pour concourir la ralisation des objectifs (cohrence interne) ; Concordance avec les actions entreprises par les partenaires : administration, socit civile, organisations non gouvernementales (cohrence externe).
L'effectivit Rend compte de la ralit des actions conduites. Les lments suivants peuvent tre examins : Degr de ralisation des activits ; Taux dexcution financire ; Respect des dlais et du chronogramme ; Qualit du suivi et de la gestion des imprvus ; Recherche des lments de surcot ventuel et de leurs causes; Vrification, le cas chant, de lapplication des clauses (signature de la convention, cahier des charges, dblocage des fonds, conditions suspensives)
L'efficacit Apprcie le degr de ralisation des objectifs de l'action ainsi que ses ventuels effets. Les lments suivants peuvent tre examins : Rsultats attendus et rsultats effectifs de laction ; Rsultats imprvus (ngatifs ou positifs, effets daubaine) ; Analyse des carts constats.
L'efficience
Etudie la relation entre les cots et les avantages. Les lments suivants peuvent tre examins : Mobilisation des ressources financires, techniques, organisationnelles et humaines temps et au moindre cot ; Comparaison des cots avec des lments de rfrence pertinents; Concordance entre les rsultats obtenus et les sommes dpenses ; Atteinte des mmes rsultats avec des moyens plus restreints ou des instruments diffrents en comparaison avec des actions quivalentes dautres organisations.
L'impact Permet dapprcier les retombes de l'action en tudiant les effets tant immdiats qu long terme de celle-ci, dans un environnement plus large. Les lments suivants peuvent tre examins : Identification des bnficiaires (directs et/ou indirects) de laction ; Estimation du nombre de personnes concernes ; Description quantitative de limpact de laction ; Description qualitative de limpact de laction (ngatif, positif, attendu, imprvu); Visibilit de lopration.
La viabilit (ou la durabilit) Examine si laction a engendr des structures ou favoriser lmergence des pratiques capables de se dvelopper et de se prenniser aprs la fin de lintervention. Les lments suivants peuvent tre examins : Viabilit financire et oprationnelle des mcanismes ; Prise en charge institutionnelle des activits par les responsables de laction et/ou les autorits locales des activits Possibilit de reproduire ou de gnraliser l'opration.
REPRESENTATION SCHEMATIQUE DES PRINCIPAUX CRITERES D'EVALUATION CONSEIL NATIONAL D'EVALUATION FRANCE 1996
Un indicateur est un lment qui permet de dterminer en termes de quantit ou de qualit le rsultat de la mesure de latteinte dun objectif ou de toute autre variable du contexte dvaluation (ressources, infrastructures, gestion, effets, etc.)
Lindicateur produit une information synthtique quantifie permettant dapprcier les divers aspects dune action, dun projet, dun programme ou dune stratgie. Catgories dindicateurs On peut distinguer trois grandes catgories dindicateurs : 1. les indicateurs denvironnement ou de contexte Les indicateurs de contexte (ou de situation) refltent les contraintes gnrales de lintervention et fournissent des lments sur ltat des lieux avant projet; 2. les indicateurs de moyens et dactivits Ces indicateurs informent sur la disponibilit, laffectation des ressources humaines, organisationnelles et financires qui permettent la production des services (extrants ou output) 3. les indicateurs de rsultats ou de performance Les indicateurs de performance sont directement associs aux critres de lvaluation, notamment: Lefficacit; Lefficience; Limpact lments de dtermination des indicateurs activits (nombre dactivits rlises)
gestion administrative (liste du personnel, courrier, etc.)
gestion financire (documents comptables et financiers)
animation d'quipes de travail (nombre de runions, priodicit des rencontres, etc.)
Capacits professionnelles et comportementales (dossiers traits, problmes rsolus, prsence effective)
encadrement (niveau dexcution du programme dactions, approche managriale)
finances(budget,ressources, dpenses, contrle)
formation(renforcement de capacits)
infrastructures, matriels et quipements communication (up-down)
lieux (sites - contextualisation)
Associations (nombre, caractristiques des adhrents)
ressources humaines
recherche de financement,
recherche de partenariat
participation (taux de participation)
cadre juridique(lois, statuts, rglement, etc.)
IV. Outils de lvaluation Instruments de recueil dinformations (liste non exhaustive)
chelles d'apprciation; Listes de vrification (check-lists); Tests de performance (dossiers, rapports, situation-problme, etc.) Tableaux de bord. V. Mise en uvre et suivi-valuation Le suivi-valuation Monitoring and Evaluation
Le suivi-valuation est un processus continu de collecte systmatique d'informations, selon des indicateurs choisis, pour fournir aux gestionnaires et aux parties prenantes d'une action de dveloppement en cours, des lments sur les progrs raliss, les objectifs atteints et les difficults ventuelles pour une rtroaction; Le suivi est assur en interne, de manire continue, par les responsables des actions. Toutefois, le suivi- valuation et lvaluation rtrospective se rfrent aux mmes techniques et senrichissent mutuellement.
La mise en place dun systme de suivi
Le systme de suivi doit tre conu ds le dpart en prcisant les mthodes, les ressources, les responsabilits, la priodicit; Il doit prvoir une batterie dindicateurs quantitatifs de ralisation prsents sous forme de tableau de bord; Il doit associer toutes les parties concernes au processus de suivi ; Il doit prendre en compte les donnes extrieures au projet (environnement social, politique, conomique) pour apprcier son impact;
Le dispositif de suivi-valuation
1. Objectif et tendue du systme de suivi La nature du systme de suivi est fonction des objectifs, du cot estim et des difficults envisages. Construction dun cadre logique (activits, processus, moyens, ralisations, rsultats et impacts); 2. les indicateurs Prcision des indicateurs de performance attendus. Choix dindicateurs pertinents, 3. La collecte des informations et lorganisation du dispositif Dterminer des priorits: certaines donnes ont une utilit immdiate dans le suivi, dautres seront ncessaires dans la phase ultrieure dvaluation rtrospective. 4. Renforcement des capacits intgrer une dimension renforcement des capacits des acteurs internes. Responsabilits et tches
Dterminer le cadre logique: hirarchie des objectifs, indicateurs pertinents par rapport chaque composante valuer, mcanismes de suivi; Dfinir des questions relatives la performance du projet et des critres dvaluation; Fixer le cadre et les procdures dvaluation des activits du projet. Choisir les mthodes de collecte et sassurer de leur adquation par rapport lvaluation de limpact. Examiner la qualit des donnes socioconomiques disponibles dans la zone du projet; tablir un plan de renforcement des capacits des acteurs y compris les bnficiaires, notamment pour les aspects participatifs; Dfinir le schma et les procdures du suivi oprationnel. Exemple de dmarche valuative Objet de lvaluation: Linsertion socio conomique des jeunes
Objectifs de lvaluation: Dterminer le niveau dacquisition de la culture entrepreneuriale des acteurs identifis ; Apprcier lutilisation des capacits entrepreneuriales acquises ; Apprcier leffet de lactivit professionnelle sur leur mode de vie. Exemple de dmarche valuative (suite) Acteurs : Jeunes non forms bnficiaires dun financement du Fonds dInsertion des Jeunes (FIJ); Jeunes forms ayant reu un financement du FIJ; Jeunes forms nayant pas reu un financement du FIJ; Leader dassociations.
Exemple de dmarche valuative (suite) Indicateurs : sige structures administratives de lentreprise compte de gestion documents administratifs (organigramme, liste du personnel, courrier, etc.) documents comptables et financiers (registre de commerce) Infrastructures, matriels et quipement budget personnel mode de dplacement lieu dhabitation personnes charge recherche de financement, recherche de partenariat
Les rsultats de lvaluation La prsentation des rsultats d'une valuation saccompagne dun expos clair de son objet, de ses objectifs, de ses destinataires, des questions poses, des mthodes utilises et de leurs limites, ainsi que des arguments et critres qui conduisent ces rsultats.
Les conclusions de lvaluation
Les conclusions de lvaluation doivent : Rpondre aux questions poses dans les termes de rfrence; Indiquer les forces et les faiblesses du projet ou du programme; Dterminer les causes des carts par rapport aux objectifs initiaux. Dcrire les moyens utiliss pour valider ces conclusions. Les recommandations Ce sont des propositions qui contribuent amliorer les performances du projet. Les recommandations indiquent: Comment les atouts (forces) du projet peuvent tre consolids; Dans quelle mesure les difficults (faiblesses) du projet pourraient tre rsolues; La hirarchie des prconisations selon leur importance; La hirarchie des prconisations selon un calendrier prvisionnel; Les recommandations dordre stratgique et celles dordre oprationnel.
EXEMPLE Etude relative linventaire de lexistant sur les petits mtiers et mtiers du secteur jeunesse Contexte et justification
Valorisation des ressources humaines pour un dveloppement durable ; Lutte contre la pauvret travers la cration demplois jeunes, de petits mtiers lis aux secteurs jeunesse et sport. Lavnement de la dcentralisation et la ncessit de mieux structurer et former les jeunes ; Lexistence dun nombre important de jeunes en dperdition scolaire et ncessitant une insertion ou une reconversion socio-conomique et professionnelle.
Objectifs
Identifier les mtiers existants et inventorier les mtiers potentiels ; Catgoriser les mtiers, les structurer, les stabiliser, identifier des mcanismes ou stratgies de promotion et former des jeunes aux activits gnratrices de revenus.; Constituer une base dinformations gnrales et nationales actualisables avec lvolution des secteurs ;
Approche mthodologique
Prparer et laborer des outils de collecte et danalyse des donnes ; Utiliser les relais (nationaux , rgionaux ou locaux ); Interviewer des agents existants, des acteurs du mouvement sportif, associatif, les collectivits territoriales dcentralises et tout autre intervenant dans un domaine susceptible de favoriser lmergence ou le recours des mtiers relatifs aux secteurs jeunesse et sport ; ; Fournir un rapport dtaill et une base de donnes informatise.
INDICATEURS GNRAUX POUR LA LABELLISATION D UN ORGANISME DE FORMATION
Evaluation dune organisation Rsultats attendus
Rdiger un rapport dtaill et une base de donnes informatise qui donne des indications sur les lments caractristiques de mtiers en sport et jeunesse mais aussi qui inventorie de faon gnrale les mtiers possibles ou existants Identifier les bassins potentiels des petits mtiers dans notre pays et dans la Sous-Rgion ; Dterminer les grandes tendances des besoins en formation des publics cibles.
Sur lorganisme lui-mme Statut ; Organes de gouvernance ; Existence dune politique de dveloppement (Plan stratgique, projet dtablissement, plan daffaires, etc) ; Existence dun Systme Intgr de Gestion ; Degr de spcialisation de lorganisme dans le domaine concern ; Rfrences de lorganisme (sur le mme type daction) ; Flexibilit pour construire des cas spcifiques, pour modifier le produit et sadapter aux besoins du client par rapport des rponses toutes faites ;
Capacits de recherche Ressources documentaires ; Adhsion un rseau oprationnel national, rgional ou international dorganismes de formation, ; Existence de partenariats (entreprises, organisations professionnelles) ; Comptences administratives et comptables Infrastructures et quipements ; Sources de financement et gestion des ressources financires
Sur le personnel Effectifs de lorganisme (le nombre de formateurs permanents par apport aux vacataires) ;
Curriculum Vitae des intervenants ;
Qualit du personnel (statut, qualification, exprience) ;
Styles des intervenants (adquation avec le public former).
Sur loffre elle mme Les programmes ; Prcision de la construction pdagogique ; Cohrence de loffre, son approche globale; Qualit de largumentation de loffre ; Qualit du dispositif dvaluation de formation propos; Qualit de loffre pdagogique (contenu, progression, valuation) ;
Prsence, diversit et qualit des supports ; Nature des engagements sur le suivi de laction ; Communication sur laction, auprs du public vis ; Cot(dont on demandera une dcomposition pour les actions importantes) ; Modulation du cot en fonction de la taille du march.
Le tableau de bord Le tableau de bord de gestion comporte des axes daction assortis d'indicateurs pertinents permettant un gestionnaire de suivre l'volution des rsultats, les carts par rapport des valeurs de rfrence (objectifs fixs, normes internes ou externes, rfrences statistiques, etc.);