AUDIT DES PROJETS SELON

L’UNION EUROPEENNE
 SOMMAIRE

A.MISE EN PLACE D'UNE METHODOLOGIE SPECIFIQUE POUR

LES MISSIONS D'AUDIT

I. L'audit financier
1.Objectifs
2. Programme de travail
II- L'audit organisationnel
1- Objectifs
2- Programmes de travail

B. EVALUATION

Définition et principes
Enseignements à tirer et limites de l'évaluation
 A- MISE EN PLACE D'UNE
MÉTHODOLOGIE SPÉCIFIQUE POUR LES
MISSIONS D'AUDIT

A partir de notre expérience dans le domaine de l'audit des aides

publiques au développement financées par les bailleurs de fonds
institutionnels, nous avons mis en place une méthodologie spécifique
pour réaliser les missions qui nous sont confiées, tant aux audits
financiers où la conception et l'utilisation d'un programme de travail
standardisé se sont avérées indispensables à des prestations d'un niveau
de qualité homogène qu'à l'audit organisationnel où l'adaptabilité prime.
I- L'AUDIT FINANCIER

Dans cette partie nous verrons les objectifs de

l’audit financier ainsi que le programme de
travail.
1. OBJECTIFS (1/8)

Les principaux objectifs à atteindre lors d'audits des

organismes responsables de la gestion et du contrôle
des programmes sont au nombre de neuf. Ils doivent
permettre au contrôleur de réunir les preuves suffisantes
pour tirer des conclusions sur l'efficacité des systèmes
de gestion et de contrôle utilisés.
1. OBJECTIFS (2/8)

Un audit financier classique analyse les structures de

gestion et de contrôle, et vérifie une ou plusieurs
déclarations de dépenses en suivant le cheminement de la
dépense à travers le système jusqu'aux responsables de la
gestion de projets sélectionnés.
De plus, les questions et les objectifs appropriés doivent
être identifiés pour chaque audit en rapport avec son objet.
 1. OBJECTIFS (3/8)
OBJECTIF CRITERE D’EVALUATION
D’AUDIT

1 Existe-t-il des procédures adéquates garantissant que les demandes d’aides et

les décisions dont elles font l’objet sont conformes aux règles définies dans le
contrat et correspondent aux besoins du domaine concerne? Que les décisions
des autorités sont parfaitement documentées?

Ex: chemin décisionnel matérialisé entre les niveaux hiérarchiques

2 Existe-t-il des dispositions adéquates garantissant que les bénéficiaires des

aides fournissent des informations appropriées sur leurs activités et que ces
informations reflètent fidèlement l’état réel d’avancement ?

Ex: les informations financières sont certifiées par un commissaire au compte

affilié à un réseau international.
 1. OBJECTIFS (4/8)

OBJECTIF CRITERE D’EVALUATION

D’AUDIT

Les systèmes comptables garantissent-ils que seuls les paiements exigibles

3 sont effectués, que les montants sont exacts et que les ressources
communautaires sont dûment protégées?

Ex: l’organisme dispose d’un système comptable double-entrée verrouillé par

des mots de passe utilisateur.
La planification, la méthodologie et le suivi du contrôle sur place des autorités
4 sont-ils conformes aux règles de la Communauté et du contrat initial?
Garantissent-ils la qualité des systèmes et l'état d'avancement des actions, à la
fois en termes de réalisation des objectifs et d'utilisation des ressources?
1. OBJECTIFS (5/8)
OBJECTIF CRITERE D’EVALUATION
D’AUDIT

5 Les autorités disposent-elles de systèmes financiers et comptables

garantissant que les dépenses sont correctement enregistrées et allouées de
manière appropriée? .

6 Existe-t-il des dispositions fiables garantissant que les demandes de

paiement adressées à la Commission reprennent les taux de conversion en
vigueur et qu'elles reflètent précisément les montants dus et payés aux
bénéficiaires.

Exemple: la déclaration de dépense a fait l'objet d'un développement

spécifique du système informatique de l'organisme.
1. OBJECTIFS (6/8)
OBJECTIF CRITERE D’EVALUATION
D’AUDIT

7 Les règles d'éligibilité ont-elles été respectées lors de la sélection des

responsables de la gestion de projets et le choix des projets soutenus par les
aides publiques au développement?

Exemple: tous les managers d'un contrat d'assistance technique ont plus de
10 ans d'expérience, et sont de nationalité d'un pays membre ou du pays
bénéficiaire.

8 Les services ou les actions financés dans le cadre des aides publiques font ils
l'objet d'un appel d'offres public en bonne et due forme selon les règles
imposées par le contrat? Existe-t-il des contrôles fiables de l'ouverture des
offres, et les soumissions sont-elles toutes évaluées complètement avant que
le marché soit passé?

Exemple: tout contrat de construction signé pour un montant supérieur à

50 000 € a fait l'objet d'une procédure d'appel d'offres au niveau régional.

1. OBJECTIFS (7/8)

OBJECTIF CRITERE D’EVALUATION

D’AUDIT

9 Le responsable de la gestion du projet s'est-il conformé aux règles

communautaires relatives à la publicité, l'information, l'égalité des chances,
l'environnement, et à toute autre disposition communautaire?

Exemple: tout recrutement externe pour les besoins du programme a fait

l'objet d'une publication dans un journal d'annonces légales à l'échelon
national.
1. Objectifs (8/8)

Globalement, la sélection des programmes opérationnels

et des autres formes d'intervention des fonds structurels
ainsi que des autorités des Etats membres à contrôler
vise à garantir que l'audit se concentre sur les domaines
dans lesquels le risque est susceptible d'être le plus
élevé, tout en couvrant également les champs de
moindre risque.
 2. PROGRAMME DE TRAVAIL(1/5)

Certains travaux sont standard à tout type de contrats

tandis que d'autres sont spécifiques à des contrats précis.
Notre expérience nous a montré que pour les diligences
standard, les principaux types de contrats peuvent être:
 des prestations de services;
 des livraisons de biens;
2. PROGRAMME DE TRAVAIL(2/5)

 de la construction;
 des conventions de subvention;
 des contrats de prêt;
 des contrats-cadres (généralement utilisés pour l‘assistance
technique).
L'un des facteurs de succès de l'exécution de notre mission
est la mise en place d'une démarche standardisée,
méthodique et uniforme des tâches à effectuer.
2. PROGRAMME DE TRAVAIL(3/5)

La mise en œuvre de programme de travail standardisé

assure ainsi une approche similaire pour tous les
programmes d'aide publique. Il offre à la Commission
européenne l'assurance d'une qualité de service toujours
identique pour toutes les missions, en tenant compte des
aspects clés et critiques spécifiques à chacune.
2. PROGRAMME DE TRAVAIL(4/5)

Pour atteindre cet objectif, le cabinet développe et met à jour

des programmes d'audit standards par type de contrat. Chaque
partie du programme détaille les travaux à effectuer sur les
différentes lignes budgétaires qui composent le projet.

Les programmes de travail ont été établis afin de couvrir tous

les aspects financiers relatifs à l'exécution d'une mission
d'audit, dans le cadre des différents programmes d'aide.
2. PROGRAMME DE TRAVAIL(5/5)

Ces programmes d'audit généraux sont accompagnés de programmes

de travail dont l'usage est prévu pendant les différentes phases
d'exécution de la mission:
 la phase de planification, afin de déterminer le système en place et les
risques associés;
 la phase d'exécution des travaux, notamment lors de la réunion de
début de mission et de l'exécution des contrôles;
 et la phase de finalisation (pour laquelle un programme particulier
pourra être mis en place par le manager en charge de la revue) ;
2. PROGRAMME DE TRAVAIL

2.1 Conformité aux règles contractuelles d'éligibilité et de

paiement (1/2)

Le volume le plus important de travail à mener concerne la

vérification des engagements contractuels, la conformité de
leurs passations, ainsi que celle des décaissements. Au cours de
cette étape, l'équipe procède à une revue de toutes les phases de
la vie des contrats sélectionnés, depuis les procédures d'appels
d'offres (si elles sont requises) jusqu'au paiement final.
2. PROGRAMME DE TRAVAIL

2.1 Conformité aux règles contractuelles d'éligibilité

et de paiement (2/2)

Pour la sélection des échantillons, l'auditeur utilise les

informations disponibles au sein de PERSEUS (système
comptable dédié aux aides communautaires) ou au sein
des systèmes comptables et de reporting disponibles.
2. PROGRAMME DE TRAVAIL

2.2 Etats financiers et opérations comptables(1/2)

Au titre de la vérification des états financiers et des opérations

comptables, "auditeur procède au contrôle des rapprochements
bancaires , mais aussi au contrôle des rapprochements entre ces
états financiers et "information figurant dans les systèmes
comptables sources tenus par l'organisme responsable
(PERSEUS et/ou système comptable spécifique).
 2. PROGRAMME DE TRAVAIL

2.2 Etats financiers et opérations comptables (2/2)

Il procède également à la vérification des engagements et des

décaissements, ainsi qu'à celle des transactions financières.
L'objectif poursuivi conjointement avec les contrôles de
conformité, est de pouvoir fournir une opinion sur ces états
financiers.

L'auditeur pourra utiliser une matrice pour chaque sous-contrat

déterminé par l'échantillon, afin de faciliter les travaux de
sondage substantiels.
2. PROGRAMME DE TRAVAIL

2.3 Opérations de trésorerie (1/3)

Les travaux incluent la revue des opérations bancaires, afin de
vérifier que les fonds disponibles sont placés sur des comptes
produisant intérêts, comme il est requis par la Commission
européenne bailleur de fonds. Il s'agit également de contrôler
l'utilisation de ces intérêts qui doivent soit concourir au
développement du projet, soit être remboursés au bailleur.
2. PROGRAMME DE TRAVAIL

2.3 Opérations de trésorerie(2/3)

Si la durée du contrat impose le versement d'avances par le bailleur

de fonds, l'équipe d'audit procède aussi à une revue des délais
d'utilisation des avances sollicitées, afin de vérifier si celles-ci ne
sont pas excessives.

Par ailleurs, il est nécessaire d'effectuer une revue du mode

d'établissement des prévisions de décaissement, conformément aux
programmes de travail, afin de s'assurer de la mise à jour régulière
de ces prévisions et, de nouveau, que les avances sollicitées ne sont
pas excessives.
2. PROGRAMME DE TRAVAIL

Type de revenu Test de contrôle

Préparer un tableau des contributions versées par la Commission

Contributions de
européenne.
la Commission
Réconcilier les montants aux déclarations de dépenses.

Préparer un tableau des montants déclarés par l'organisme

bénéficiaire mais refusés par la Commission.

Rechercher quels autres revenus ont été générés par la réalisation

Autres revenus
du programme et vérifier qu'ils ont été déclarés à la Commission.

Rechercher si des équipements ou autres actifs achetés sous les

lignes budgétaires du programme ont été vendus, et déterminer
comment les revenus afférents ont été retraités des déclarations de
dépenses à la Commission.

Rechercher si des contributions en nature ont été faites. Vérifier si

Contributions en
elles ont été valorisées en comptabilité et si elles sont pleinement
nature
justifiables.
II- L'AUDIT ORGANISATIONNEL

Tout comme l’audit financier, l’audit

organisationnel comportera deux parties.
 les objectifs
 Le programme de travail de façon détaillée.
1. OBJECTIFS(1/3)

L'audit organisationnel ou l'audit des systèmes de

gestion et de contrôle vise à déterminer si ces derniers
fonctionnent bien et permettent de manière efficace de
prévenir, de déceler et de corriger les erreurs et les
irrégularités, de procurer des recommandations pour
l'amélioration des programmes en cours, mais aussi
futurs.
1. OBJECTIFS(2/3)

Principalement, les systèmes de gestion et de contrôle des

bénéficiaires doivent garantir, aux niveaux appropriés, que
les responsables de la gestion de projets et les actions sont
éligibles une fois sélectionnés en vue d'un financement,
qu'ils demeurent éligibles tout au long de l'action, que les
objectifs sont atteints, et que les demandes de concours sont
éligibles et conformes au plan de financement.
1. OBJECTIFS(3/3)

Exemple : une ONG gère plusieurs projets dans des pays

différents. Chaque projet est financé ou cofinancé par un
bailleur de fonds dont les règles d'éligibilité des dépenses sont
différentes. If est alors indispensable que le système comptable
permette un enregistrement des opérations et un suivi
individualisé par projet.
2. PROGRAMMES DE TRAVAIL (1/7)

Comme nous l'avons évoqué au sujet de l'audit financier, la

mission d'audit organisationnel nécessite une phase préparatoire
à laquelle l'équipe en charge du dossier apportera un soin tout
particulier.
Pendant l'audit sur site, les contrôleurs s'attachent notamment à
vérifier que la piste d'audit définie au cours de la phase de
préparation à l'aide des documents transmis par l'organisme
cible existe bien, et que des mécanismes adaptés permettent de
maintenir à jour la documentation associée.
2. PROGRAMMES DE TRAVAIL (2/7)

Enfin, le contrôleur doit tenter d'acquérir les preuves

convaincantes, appropriées et sûres, établissant que les
systèmes de gestion et de contrôle en place fonctionnent
bien de la manière décrite, et qu'ils sont en mesure de
garantir la régularité des dépenses d'aides publiques ainsi
que l'exactitude et l'intégralité des informations financières
et autres. Pour cela, il mettra en place une série de tests
détaillés dans le programme de travail.
2. PROGRAMMES DE TRAVAIL (3/7)

Ce programme, même si nous en donnons ici les lignes

directrices, devra être minutieusement adapté à la cible auditée.
Il devra plus particulièrement prendre en compte:
 Les objectifs à être atteints selon le bailleur de fonds
commanditaire de l'audit: souhaite-t-on, par exempte, obtenir
des indicateurs d'efficacité de la gestion des dossiers par la
cible?
 Les modalités de gestion de l'organisme concerné: ONG?
Gestion gouvernementale décentralisée?
2. PROGRAMMES DE TRAVAIL (4/7)

o La description précise du déroulement et des buts poursuivis

par le programme subventionné: micro-crédit? reconstruction?
renforcement de l'acquis communautaire?

La première partie de notre intervention sur place consistera

donc d'engranger une compréhension la plus complète possible
du programme dans sa globalité. Nous procédons le plus
souvent par entretien avec différents membres de la hiérarchie.
2. PROGRAMMES DE TRAVAIL (5/7)

Nous avons donc instauré un programme de travail. Il

permet d'obtenir les informations indispensables pour
comprendre l'organisation de l'entité audité et déceler les
risques principaux, mais ne constitue en aucun cas une
liste exhaustive.
 2. PROGRAMMES DE TRAVAIL (6/7)

Etape d’audit Test de contrôle

Structure globale de
Obtenir une explication détaillée de l'activité de l'organisme
l'organisation auditée
contractant et comment ce contrat audité s'inscrit dans sa
politique générale.

Planning
Rechercher la manière dont le déroulement du contrat est
organisé. Revoir les plannings de travail et les étapes de
réalisation et analyser les retards éventuels.

Système comptable
S'assurer qu'un compte bancaire a été ouvert pour le
programme et que les transactions relatives sont clairement
identifiables.
 2. PROGRAMMES DE TRAVAIL (7/7)

Etape d’audit Test de contrôle

Contrôle des systèmes
Comment un achat est-il initié ? S'assurer que le contractant
tient à jour un registre des actifs / une liste d'inventaire
permettant le suivi des équipements qui concourent à la
réalisation du programme.
Personnel et supervision
Obtenir les CV de tous les membre de l'équipe et vérifier que
leur expérience professionnelle et leurs qualifications leur
permettent de mener à bien la mission du programme d'aide.

Reporting
S'assurer que tous les rapports imposés par le contrat ont été
délivrés à la Commission dans les délais impartis.
2.1 L'AUDIT INTERNE (1/2)

Les organismes non gouvernementaux ou les services

décentralisés peuvent bénéficier de contrôles internes
réguliers mis en œuvre par leur direction ou par une équipe
dédiée. Dans ce cas, le travail de l'auditeur externe reposera
sur les travaux de l'équipe interne.

Pour réaliser un audit, le contrôleur interne aura déjà procédé

à la revue de l'organisation des services de l'audité.
2.1 L'AUDIT INTERNE (2/2)

Il aura vérifié que cette organisation permet de

répondre aux objectifs fixés, contrôlé les procédures
d'autorisation en place. L'auditeur externe devra alors
apprécier si cet ensemble que constitue le contrôle
interne est homogène, et permet de garantir la fiabilité
et la conformité des opérations.
2.2 DOCUMENTATION ET TEST DES
SYSTÈMES(1/6)

Une mesure clé d'un audit des activités cofinancées par la

Commission européenne consiste à vérifier que les systèmes
de gestion et de contrôle fonctionnent efficacement aux
niveaux appropriés.
 Les tests de fonctionnements des contrôles
Les tests ainsi dénommés s'effectuent sur un échantillon
d'opérations concernant les responsables de projets
sélectionnés pour une vérification sur place.
2.2 DOCUMENTATION ET TEST DES SYSTÈMES
(2/6)

Les résultats de ces tests sont consignés dans des documents

de travail en vue de leur présentation dans le rapport d'audit.
Les contrôleurs doivent y décrire clairement les problèmes
ou erreurs détectées alors, leurs conséquences et les solutions
recommandées.
2.2 DOCUMENTATION ET TEST DES SYSTÈMES
(3/6)

 Les sondages de corroboration

Outre la documentation des systèmes, on mettra en place

une vérification approfondie d'une fonction particulière
(appelée « sondage de corroboration ») de l'entité

L'objectif de cette vérification est de déterminer la

conformité des transactions ou des activités aux règles
pertinents.
2.2 DOCUMENTATION ET TEST DES SYSTÈMES
(4/6)

 Les sondages de corroboration

Ce qui aidera à tirer des conclusions concernant le

fonctionnement précis et son influence sur la mise en
place technique du projet et sur les dépenses ou
économies qui en découlent.

Ces sondages servent avant tout à effectuer des

investigations plus poussées lorsque des faiblesses ont
été identifiées dans un système.
2.2 DOCUMENTATION ET TEST DES SYSTÈMES
(5/6)

Le sondage de corroboration peut également inclure un

examen analytique, par exemple la comparaison de
plusieurs ratios en vue d'identifier des domaines
d'investigation supplémentaire. Ces contrôles peuvent
servir d'indicateurs de l'efficacité de l'audit réalisé.

Quelques exemples de sondage de corroboration:

2.2 DOCUMENTATION ET TEST DES SYSTÈMES (6/6)

Critères Exemples de sondages de corroboration

Légalité et Les sondages peuvent vérifier si une activité particulière entreprise
régularité de dans le cadre du programme est conforme aux exigences détaillées des
l’activité règlements quant au montant.

Etat complet des Le sondage peut vérifier que les enregistrements des activités
documents concernant des salariés sont gérés de façon centralisée par le
financiers responsable de la gestion du projet et qu'ils correspondent aux
enregistrements manuels effectués .

Réalité de Vérification que les opérations enregistrées dans les systèmes

l’opération financiers et autres ont effectivement eu lieu. Le sondage peut vérifier
que les paiements des salaires enregistrés dans les systèmes financiers
ont bien été effectués, en examinant les feuilles de transaction signées
par les salariés pour reçu.
2.3 ORGANISATION ET PERSONNEL

Les travaux, au titre de cette revue de procédures, intègrent

une revue des organigrammes, des CV et des définitions de
postes. Il faut apprécier l'adaptation des qualifications du
personnel aux objectifs fixés. En outre, l'auditeur procède à
une revue du type et de l'étendue des programmes de
formation, afin de vérifier leur adéquation aux besoins des
hommes et de l'organisation.
B- EVALUATION (1/2)

Si beaucoup n'apprécient pas que l'on parle de rentabilité en ce

qui concerne les aides publiques, les contribuables européens
demandent, au nom de la transparence, de connaître la
destination de ces aides tant sur le plan quantitatif que sur le
plan qualitatif. La Commission européenne, représentante de
l'intérêt commun des pays membres, est responsable de la
qualité des projets qu'elle finance et détient un droit exclusif
d'initiative.
B- EVALUATION(2/2)

De plus en plus, elle a souhaité mener des évaluations des

aides publiques. Les services qui mettent en place ces aides
ayant à exécuter des tâches quantifiables, mesurables et
contrôlables à exécuter, l'évaluation s'impose comme
l'analyse des résultats et la compréhension des échecs. Elle
permettra alors de renforcer la légitimité des décisions et la
responsabilité des décideurs au sein des pays bénéficiaires.
1. DÉFINITION ET PRINCIPES

1.1 Objectifs (1/5)

«( Evaluer une politique, c'est rechercher si ces moyens juridiques,
administratifs ou financiers mis en œuvre permettent de produire
les effets attendus de cette politique et d'atteindre les objectifs
qui lui sont fixés» (France, décret du 22 janvier 1990).
Aujourd'hui, l'évaluation s'affirme comme une fonction et un
enjeu majeurs des systèmes démocratiques. Son intégration au
sein des instances européennes devient un passage obligé.
1.1 OBJECTIFS (2/5)

Trois principes essentiels gouvernent la démarche

d'évaluation: il s'agit du pluralisme, de l'indépendance et de
la transparence. Chaque démarche d'évaluation tend à
respecter ces trois principes: la conduite de l'évaluation est
confiée à une équipe qui répond à l'objectif de pluralisme,
c'est-à-dire composée de membres des divers services
administratifs évalués; d'usagers de ces services, d'élus et
d'experts.
1.1 OBJECTIFS (3/5)

Le chef d'équipe est nommé pour ses qualités

professionnelles et son indépendance vis-à-vis des
parties concernées. La publication du rapport
d'évaluation garantit la transparence.

On peut alors dire qu'une évaluation est:

o analytique: car elle se fonde sur des techniques de
recherche reconnues;
1.1 OBJECTIFS(4/5)

o systématique: parce qu'elle exige une planification

minutieuse et l'utilisation cohérente des techniques
choisies;
o fiable: car les constats d'une évaluation doivent être
similaires dans le cas de différents évaluateurs ayant
accès aux mêmes données et utilisant les mêmes
méthodes d'analyse;
1.1 OBJECTIFS(5/5)

o axée sur les problèmes: puisque l'évaluation doit s'efforcer

de traiter les problèmes importants concernant le
programme, notamment sa pertinence, son efficience et son
efficacité; elle doit être conçue et mise en œuvre de manière
à fournir des informations utiles aux décideurs en fonction
des circonstances politiques.
1.2 LES CIBLES (1/2)

Les services qui ont la responsabilité de la mise en place

des aides publiques sont soumis à trois principes
juridiques à travers le contrat qui les lie avec le bailleur de
fonds. Il s'agit de:
o fonctionnement équitable qui a pour corollaire les règles
d'égalité et de neutralité; il place sur un pied d'égalité tous
les bénéficiaires potentiels de l'aide;
1.2 LES CIBLES (2/2)

o fonctionnement efficace qui impose à l'organisme de

s'adapter à l'évolution juridique et technologique pour
mieux répondre aux besoins des bénéficiaires;
o fonctionnement régulier tout au long de la durée de vie
du programme d'aide.
Par conséquent tous les services peuvent être considérés
comme des cibles potentielles d'une évaluation.
1.3 LES DIFFÉRENTS TYPES D'ÉVALUATION (1/12)

La professionnalisation de l'évaluation n'est pas encore

assez avancée pour que soit proposée une méthode
unique appliquée dans tous les pays. Les groupes de
réflexion sont au travail dans chaque Etat de l'Union
européenne.

On distingue par ailleurs deux dimensions de

l'évaluation:
1.3 LES DIFFÉRENTS TYPES D'ÉVALUATION (2/12)

une dimension temporelle, c'est-à-dire la

décomposition de la performance mesurable à court,
moyen et long terme;

une dimension spatiale, on retrouve dans cette

catégorie les analyses de cohérence des programmes
et les approches reliant les aspects micro et macro-
économiques.
1.3 LES DIFFÉRENTS TYPES D'ÉVALUATION (3/12)

1.3.1 La dimension temporelle de la performance

La performance est un terme générique qui recouvre des
significations différentes selon les auteurs. Par exemple,
DUQUETTE et STOWE (1992) mettent en relation un certain
nombre d'indicateurs avec différents niveaux de performance
repris dans l'encadré ci-après.

La performance telle qu'elle est présentée dans l'encadré fait

référence à des performances temporelles:
Source: adapté de Dennis DUQUETTE et Alexis STOWE
1.3 LES DIFFÉRENTS TYPES D'ÉVALUATION (5/12)

1.3.1 La dimension temporelle de la performance

 La performance de court terme (l'efficience et l'efficacité) :
• L'efficience met en relation les sommes dépensées dans la
réalisation de l'activité par rapport à la quantité de produits
fabriqués ou de services rendus. Dans l'exemple fourni, on
rapproche les sommes engagées dans le programme de
formation avec le nombre de fonctionnaires y assistant.
1.3 LES DIFFÉRENTS TYPES D'ÉVALUATION (6/12)

1.3.1 La dimension temporelle de la performance

• L'efficacité rapporte les services rendus par rapport aux
résultats escomptés. C'est donc une mesure du degré de
réalisation des objectifs. Dans notre cas, on peut par exemple
mettre en relation l'effectif des participants à la formation
avec le nombre de stagiaires sortant avec un niveau d'anglais
courant.
1.3 LES DIFFÉRENTS TYPES D'ÉVALUATION
(7/12)

1.3.1 La dimension temporelle de la performance

 La performance de moyen terme (la pertinence) mesure l'intérêt
du programme par rapport à des objectifs plus généraux ou, pour
reprendre l'exemple, si la réussite à la formation a permis aux
stagiaires de valider un diplôme reconnu internationalement. Dans
ce cas, on met en relation les gains escomptés du programme
(former des fonctionnaires à une langue) avec l'objectif (leur
permettre de s'intégrer dans une équipe européenne).
 1.3 LES DIFFÉRENTS TYPES D'ÉVALUATION (8/12)

1.3.1 La dimension temporelle de la performance

 La performance de long terme mesure l'impact du programme
sur la durée, la capacité d'intégration dans un environnement
international.

En conséquence, l'évaluation des politiques publiques doit inclure

la performance à court, moyen et long terme des programmes. Il
faut donc obtenir des données et les agréger afin d'évaluer la
performance de l'action de la Commission européenne
1.3 LES DIFFÉRENTS TYPES D'ÉVALUATION
(9/12)

1.3.2 La performance spatiale

Un premier niveau d'analyse tend à juger de la cohérence

externe du programme ou de l'action politique pour répondre à
un problème émanant de la sphère socio-économique. Il se
fonde sur l'analyse de la séquence BESOINS/OBJECTIFS.
 1.3 LES DIFFÉRENTS TYPES D'ÉVALUATION
(10/12)

1.3.2 La performance spatiale

Un deuxième niveau d'analyse vise à évaluer la cohérence
interne du programme et se focalise sur la séquence
OBJECTIFS/MOYENS/ACTIONS en partant du postulat que la
première analyse a permis de valider l'adéquation des objectifs
par rapport aux besoins. Sur cette base, on peut porter un
jugement sur le programme politique lui-même, qui peut être
décomposé en moyens (humains, financiers, structurels ... ) et en
actions.
 1.3 LES DIFFÉRENTS TYPES D'ÉVALUATION (11/12)

1.3.2 La performance spatiale

Ce deuxième niveau est souvent le plus facile à

appréhender car il découle directement des données
opérationnelles, tandis que les deux autres niveaux
d'analyse de cohérence externe demandent plus de recul.
 1.3 LES DIFFÉRENTS TYPES D'ÉVALUATION
(12/12)

1.3.2 La performance spatiale

Enfin, un troisième niveau d'analyse concerne de nouveau

l'étude de cohérence externe. Il vise à relier les réalisations
issues du programme avec leurs conséquences sur un plan
socio-économique. La difficulté de ce troisième niveau est
de pouvoir faire la part entre les effets induits directement
par l'action politique et ceux qui ont d'autres causes.
1.4 LES CONDITIONS PRÉALABLES(1/7)

Les conditions préalables à une évaluation efficace

sont des objectifs clairs, une garantie d'indépendance et une
planification structurée de la mission. Une évaluation fiable
et de bonne qualité dépend, dans une large mesure, de la
qualité de préparation du programme ou du projet qui en
fait l'objet.
 1.4 LES CONDITIONS PRÉALABLES(2/7)

1.4.1 Objectifs spécifiques à la mission

Il se révèle en effet difficile d'évaluer les résultats ou

l'efficacité d'une intervention dont les objectifs sont vagues,
voire contradictoires ou dont la situation de départ n'a pas
été clairement définie. L'absence d'indicateur convenu d'un
commun accord complique également la tâche de
l'évaluateur et sape la crédibilité de l'exercice même
d'évaluation.
 1.4 LES CONDITIONS PRÉALABLES(3/7)

1.4.2 Indépendance des évaluateurs

L'indépendance et l'objectivité sont, conjointement à la

participation active des parties prenantes, les éléments clés
,d'une bonne évaluation. Pourtant, la «traçabilité» du jugement
évaluatif et la transparence de l'analyse s'avèrent être nettement
plus importantes que l'indépendance formelle.
 1.4 LES CONDITIONS PRÉALABLES(4/7)

1.4.2 Indépendance des évaluateurs

Pour cela, certaines évaluations peuvent être menées directement par des
membres d'une commission internes à l'organisme concerné. Si une
autonomie doit être assurée aux évaluateurs externes quant au contenu de
leurs travaux dans le cadre de leur mandat, il convient également
d'instaurer des systèmes de contrôle de qualité (appelées alors (« méta-
évaluations ») et de fixer des normes applicables au processus
d'évaluation pour en assurer la crédibilité.
 1.4 LES CONDITIONS PRÉALABLES(5/7)

1.4.3 Planification des missions

Tout comme pour l'audit, il est donc important d'investir

toute l'équipe dans la phase préparatoire des actions pour
faciliter l'obtention d'éléments fiables tout au long du
déroulement de la mission et permettre l'évaluation ex-post
des effets de ces programmes. Les évaluations doivent être
planifiées à un horizon relativement éloigné pour anticiper
les décisions.
 1.4 LES CONDITIONS PRÉALABLES(6/7)

1.4.3 Planification des missions

 Formuler les questions d'évaluation en concertation avec les
principales parties prenantes et les utilisateurs potentiels, ce
qui est une façon de susciter une attente positive quant aux
résultats.

Les conclusions des évaluations seront davantage prises en

compte si la collecte et l'analyse des réactions qu'elles
suscitent sont dûment structurées
 1.4 LES CONDITIONS PRÉALABLES(7/7)

1.4.3 Planification des missions

 Intégrer les résultats de l'évaluation dans les différents processus
décisionnels, ce qui demandera par la suite un supplément de
planification et d'organisation.

En effet, il ne suffit pas de développer les capacités et les

instruments permettant d'offrir une analyse, une évaluation de
qualité, encore faut-il que les processus décisionnels eux-mêmes
soient conçus pour être réceptifs à ces informations évaluatives.
2. ENSEIGNEMENTS À TIRER ET LIMITES
DE L'ÉVALUATION

Les techniques d'évaluation sont efficaces lorsqu'elles

permettent un suivi des organismes concernés, et une correction
dans le temps des points relevés dans le rapport. Or, la
succession des échéances politiques est un facteur limitatif de
ces actions à moyen ou long terme. De plus les organismes
responsables des aides communautaires sont souvent composés
d'un fort pourcentage d'expatriés qui sont en poste dans le pays
pour des durées courtes.

RETOUR AU SOMMAIRE