Académique Documents
Professionnel Documents
Culture Documents
Bruxelles, le 05 12.2000
DOCUMENT DE TRAVAIL n 8
L'valuation mi-parcours
des interventions des Fonds structurels
TABLE DES MATIRES
ANNEXE 1............................................................................................................................... 29
2
Avant-propos
L'valuation mi-parcours n'est pas une fin en soi, mais elle constitue un outil destin
amliorer la qualit et la pertinence de la programmation. Elle offre la possibilit d'apporter
des inflchissements la programmation qui peuvent s'avrer ncessaires pour la ralisation
des objectifs initiaux. Elle fournit un apport essentiel au bilan mi-parcours et elle intervient
pour l'attribution de la rserve de performance2. Elle a pour objet d'analyser et d'actualiser les
rsultats relatifs aux indicateurs retenus pour la rserve de performance, qui forment un sous-
ensemble des indicateurs dfinis pour la totalit du programme.
1
Le fondement juridique de l'valuation mi-parcours est l'article 42 du rglement (CE) du Conseil
n 1260/1999 du 21 juin 1999 portant dispositions gnrales sur les Fonds structurels.
2
La rserve de performance ne s'applique pas aux initiatives communautaires, mais tous les autres
aspects du prsent document de travail sappliquent galement ce type dinitiative..
3
(6) La qualit des systmes d'excution et de suivi;
(7) Les rsultats relatifs aux indicateurs retenus pour la rserve de performance.
Les trois premiers des lments prcits conduiront faire le point sur l'adquation de la
stratgie de programmation. L'valuation consistera toutefois pour l'essentiel apprcier les
performances du type d'intervention, en s'assurant que sa pertinence est toujours adapte et
que la mise en oeuvre est effective et efficace (cf. supra, points 4 6). Les impacts seront
traits au vu des premiers rsultats et rviss si ces rsultats sont de nature - ou tout autre
changement de contexte - affecter l'impact escompt.
Les valuations mi-parcours concernant la priode 1994-1999 ont montr les progrs
importants raliss parce que les tats membres pouvaient s'appuyer sur l'exprience acquise
pendant la priode antrieure (1989-1993). La Commission est persuade que les valuations
mi-parcours qui seront entreprises en 2002/2003 comporteront de nouvelles avances. Les
formes dintervention aides par les Fonds structurels pourront ainsi tre redfinies en tant
que de besoin, pour que leur impact sur la cohsion conomique et sociale puisse tre
maximis.
Structure du guide
Le guide est subdivis en deux parties. La premire partie porte sur des questions pratiques
lies la ralisation de l'valuation mi-parcours selon des modalits propres en assurer la
qualit, l'utilit et le meilleur retour sur investissement. La seconde partie traite du contenu de
l'valuation mi-parcours pour chacune des sept rubriques prcites, en insistant sur
l'exprience acquise dans le pass et sur les aspects pratiques, ainsi que sur les problmatiques
cls prendre en considration. Les autorits nationales ou rgionales peuvent souhaiter voir
examiner dautres questions dans le cadre de l'valuation mi-parcours, quil conviendra
dinclure.
Destin aider ceux qui font raliser une valuation mi-parcours comme ceux qui
leffectuent, le guide doit tre utilis avec souplesse, pour autant que tous les lments cls
soient couverts.
L'valuation mi-parcours a globalement pour objet de dterminer les premiers rsultats des
diffrentes formes dassistance et de formuler des recommandations dadaptations ventuelles
pour quelles puissent atteindre leurs objectifs. Cette finalit peut tre dcline en plusieurs
lments :
tablir si la forme d'assistance choisie demeure une solution approprie pour traiter
des problmes que rencontre une rgion ou un secteur.
4
tablir si les axes stratgiques, les priorits et les objectifs sont cohrents et toujours
pertinents, jusqu' quel point des progrs ont t accomplis pour la ralisation de ces
objectifs et, dans quelle mesure, ces objectifs peuvent effectivement tre atteints.
Vrifier la quantification des objectifs et tablir en particulier dans quelle mesure ces
objectifs ont facilit le suivi et l'valuation.
tablir dans quelle mesure les priorits horizontales galit des chances et
environnement, en particulier ont t intgres dans les types d'intervention.
Les rglements tablissent la prise en compte de principes horizontaux pour le soutien des
Fonds structurels. L'valuation mi-parcours constitue l'occasion de vrifier comment ces
priorits ont t intgres dans les divers types d'intervention considrs. Un premier tat
des lieux pourrait tre effectu sur l'efficacit de la politique dite "d'intgration"
("mainstreaming") de ces priorits conduisant en tant que de besoin des
recommandations en vue de leur meilleure intgration dans tous les types d'intervention.
Prsenter les rsultats en les confrontant aux indicateurs retenus pour la rserve de
performance.
5
gestion et d'excution financire. Elle doit galement dterminer si les indicateurs
d'efficacit couvrent de manire satisfaisante les objectifs de l'intervention.
Les dates butoirs mentionnes dans le rglement impliquent l'tablissement d'un calendrier et
la fixation d'tapes dans le processus d'valuation comme cela ressort du tableau ci-aprs. Ce
calendrier est indicatif et il peut tre adapt pour rpondre des spcificits nationales ou
rgionales.
3
Rglement (CE) n 1260/1999 du Conseil, du 21 juin 1999, portant dispositions gnrales sur les Fonds
structurels. Article 42.
6
Evaluation mi-parcours - Calendrier indicatif
Droulement chronologique Etapes
Juin 2001 - Juin 2002 Organiser l'valuation
tablir le groupe de pilotage
Approuver les termes de rfrence
Publicit ou invitation soumissionner
Juillet 2002 - Dcembre 2002 Adjuger le contrat
Ralisation de l'valuation
Janvier 2003 - Juin 2003 Ralisation de l'valuation
Envoi de l'avant-projet au groupe de pilotage et
runion avec les valuateurs
Accord du groupe de pilotage sur le projet final
Juillet 2003 - Dcembre 2003 Envoi du rapport d'valuation final au comit de
suivi
Runion du comit de suivi consacre
l'examen des rsultats de l'valuation mi-
parcours
Envoi du rapport d'valuation la Commission
Parmi les points souligner ici figurent la ncessit de consacrer suffisamment de temps la
prparation de l'valuation et de la prendre en considration une fois qu'elle a t mene
bien. Le calendrier doit tre tabli de telle sorte qu'il permette au groupe de pilotage
d'examiner l'avant-projet et, s'il y a lieu, de demander des approfondissements aux
valuateurs.
La prparation un stade prcoce est ncessaire, en particulier dans les grandes rgions
d'Objectif 1 relevant de CCA complexes qui peuvent mettre en jeu des PO rgionaux et
nationaux. La structure d'ensemble du processus d'valuation devrait tre arrte le plus
rapidement possible, pour tablir l'avance le nombre des valuations raliser et les grandes
lignes de leur contenu. Cette rflexion pralable permettra aux valuations d'tre
complmentaires et d'viter des soutiens superflus et l'origine de gaspillages. Quelques
chevauchements seront toutefois invitables, car il arrive souvent que des programmes
7
rgionaux et des programmes nationaux proposent des actions similaires; il faudra donc
tudier l'efficacit respective d'interventions similaires ressortant de programmes diffrents et
s'assurer que les mmes impacts ne sont pas recherchs par des programmes diffrents. En
pareil cas, il peut tre judicieux d'laborer des termes de rfrence communs, ou tout le
moins, de prvoir une partie commune susceptible d'tre ajoute le cas chant.
Pour des grands CCA, il importe galement d'tablir clairement le dtail des informations
requis au niveau du CCA par rapport celui exig pour le PO. Les valuations de CCA
comporteront une synthse et une analyse des valuations de PO par rapport aux priorits et
objectifs du CCA. Elles actualiseront en outre l'analyse macroconomique ralise pour
l'valuation ex ante (voir en annexe 1 les lignes directrices concernant spcifiquement
l'valuation des CCA). Les valuations de PO doivent tre accessibles aux valuateurs des
CCA quelque temps avant l'expiration du dlai imparti pour l'valuation de ces derniers, afin
que les rsultats obtenus puissent alimenter la synthse et l'analyse des valuations. Ces
modalits dboucheront sur une gradation logique de l'valuation qui renforcera la solidit et
la cohrence de tout le processus d'valuation.
Pour les petits DOCUP Objectif 1, les DOCUP des objectifs 2 et 3, lIFOP hors objectif 1 et
les initiatives communautaires, un seul niveau d'valuation est gnralement requis. Il subsiste
toutefois un certain risque de chevauchement entre les mesures soutenues par le FSE
respectivement au titre des diffrents objectifs ou entre les mesures soutenues par le FEOGA
et celles similaires soutenues par le FEDER au titre de l'objectif 2, lorsque le FEOGA n'a pas
t intgr l'objectif 2. Les autorits comptentes doivent faire en sorte que les diffrentes
valuations soient aussi complmentaires que possible.
8
Calendrier/organisation dune valuation mi-parcours
dun CCA dans un tat membre/une grande rgion de lobjectif 1
Exemple indicatif
2002 2003
M J J A S O N D J F M A M J J A S O N D
CCA
Organisation/Appel doffres
Attribution du contrat
Droulement de l'valuation
Premier projet de rapport
Feu vert du groupe de pilotage
Examen par le comit de suivi
Transmission la Commission
PO 1
Organisation/Appel doffres
Attribution du contrat
Droulement de l'valuation
Premier projet de rapport*
Feu vert du groupe de pilotage
Examen par le comit de suivi
Transmission la Commission
PO 2
Organisation/Appel doffres
Attribution du contrat
Droulement de l'valuation
Premier projet de rapport*
Feu vert du groupe de pilotage
Examen par le comit de suivi
Transmission la Commission
* ce stade, les valuations mi-parcours des PO doivent tre transmises aux valuateurs du CCA. Tous les
projets de rapports dvaluation mi-parcours qui suivront et les avis des groupes de pilotage et des comits de
suivi sont galement transmettre aux valuateurs du CCA.
Organisation
densemble
Organisation
DOCUP 1
Organisation/Appel doffres
Attribution du contrat
Droulement de l'valuation
Premier projet de rapport
Feu vert du groupe de pilotage
Examen par le comit de suivi
Transmission la Commission
DOCUP 2
Organisation/Appel doffres
Attribution du contrat
Droulement de l'valuation
Premier projet de rapport
Feu vert du groupe de pilotage
Examen par le comit de suivi
Transmission la Commission
9
Groupes d'organisation ad hoc
Les termes de rfrence communs ou essentiels pour toutes les valuations effectuer dans
l'tat membre ou la rgion en cause;
Selon le rglement (article 42), l'valuation mi-parcours devra tre effectue sous la
responsabilit de l'autorit de gestion, en collaboration avec la Commission et l'tat membre.
De mme, la Commission examinera la pertinence et la qualit de l'valuation sur la base de
critres pralablement dfinis en commun accord avec l'tat membre. Par sa participation un
groupe d'organisation ad hoc, la Commission fera en sorte que le niveau appropri de
partenariat soit mis en oeuvre. Quelle que soit la structure adopte, il conviendra de consulter
la Commission sur les termes de rfrence des valuations mi-parcours, la mthodologie et
le projet de rapport, lautorit de gestion tant charge, quant elle, de fixer les critres
dapprciation de la pertinence et de la qualit de lvaluation.
Le comit de suivi sigeant au complet doit approuver les termes de rfrence de l'valuation
mi-parcours; conformment aux dispositions du rglement, il lui appartient en outre
d'examiner l'valuation avant que celle-ci ne soit transmise la Commission.
10
1.4. Indpendance du processus d'valuation
Le rglement gnral dispose que l'valuation mi-parcours doit tre effectue par un
valuateur indpendant, c'est--dire par un valuateur indpendant des personnes charges de
grer le programme ou de le mettre en uvre. L'valuateur doit tre slectionn par un appel
candidatures, tant entendu que l'on optera pour un appel public ou pour un appel restreint en
fonction de l'ampleur de l'intervention en cause et de l'valuation raliser.
L'valuation doit tre organise de telle sorte que l'on tire intgralement parti de l'information
recueillie dans le cadre du suivi pendant les deux ou trois ans de mise en uvre et que les
valuateurs ne se lancent pas cet gard dans des tches inutiles. tant donn que l'examen
du systme de suivi constitue un lment clef de l'valuation, il est essentiel que les
valuateurs prennent en compte cette information dans le processus d'valuation.
Pour les grands CCA de l'objectif 1 qui comportent plusieurs PO et leurs complments de
programmation, il faudra considrer l'valuation mi-parcours du CCA et celle des PO,
comme des exercices distincts, mme si l'valuation du CCA est appele s'appuyer sur les
rsultats des valuations des PO (voir Annexe 1). Pour les programmes modestes sous forme
de DOCUP ou de PO, un exercice unique sera suffisant.
1.7. Financement
Le cot de l'valuation mi-parcours sera financ sous forme d'aides grce l'allocation
prvue pour l'assistance technique. Les autorits comptentes ne doivent pas perdre de vue
que l'valuation mi-parcours peut tre onreuse. Le cot n'est pas toujours la mesure de la
dpense prvue au titre du type d'intervention en cause, d'o la ncessit d'viter toute
dpense disproportionne. Les tats membres peuvent trouver cet gard des prcisions
utiles dans la collection MEANS, volume 14, et dans la Communication sur lvaluation SEM
20005. Pour l'valuation mi-parcours de la priode 1994-1999, le cot moyen s'levait
moins de 0,1% du cot annuel total des programmes. Pour obtenir des valuations de bonne
4
Commission europenne, (1999). valuer les programmes socio-conomiques. Volumes 1-6.
Luxembourg: Office des Publications Officielles des Communauts europennes
5
Commission europenne (1996) SEM 2000 Communication sur lvaluation du 8 mai 1996 Initiatives
concrtes pour favoriser linstauration des meilleures pratiques au sein de la Commission SEC
96/659
11
qualit, le cot doit gnralement dpasser le chiffre prcit sauf si les programmes
considrs sont de trs grande envergure. Ds la phase d'organisation, il conviendra de
dterminer des budgets indicatifs pour l'valuation mi-parcours.
Pour encourager non seulement le dbat, mais aussi promouvoir la qualit, il faut en matire
d'valuation viser la concision et viter les longues descriptions. En effet, il importe moins de
dcrire que d'analyser. Si les valuations mi-parcours entreprises entre 1996 et 1998 se
dmarquaient de faon spectaculaire avec la pratique antrieure en matire d'valuation dans
le contexte des Fonds structurels (MEANS, volume 1, 1999), la plupart des rapports
prtaient le flanc la critique en ce sens qu'ils n'taient pas assez analytiques et qu'ils
dbouchaient sur des conclusions trop descriptives pour tre vritablement utiles dans la prise
de dcision . Il y avait bien entendu des exceptions ne relevant pas de ce jugement global,
mais il importe nanmoins de souligner la ncessit de donner un caractre plus analytique
que descriptif aux valuations mi-parcours qui devront tre effectues en 2002/2003. Les
valuateurs devraient s'efforcer d'laborer des documents clairs en vitant l'utilisation de
termes trop techniques.
Sans vouloir tre normatif l'excs, eu gard la diversit du contenu des valuations mi-
parcours, celles-ci devraient tre structures approximativement comme suit :
6
"Evaluation for Quality", dimbourg, 18/19 septembre 2000
12
valuation mi-parcours : structure propose
1.9. Qualit
Une des tches importantes incombant au groupe de pilotage est d'assurer la qualit de
l'valuation mi-parcours. Ceci vient du fait que la qualit de l'valuation est l'un des critres
prendre en compte pour la dcision relative l'allocation de la rserve de performance. Il
appartient au groupe de pilotage de rendre compte au comit de suivi en lui indiquant si
l'valuation est conforme aux critres de qualit prtablis, antrieurement approuvs par le
groupe d'organisation ad hoc.
Pour tablir les critres de qualit au dbut du processus, les critres MEANS (MEANS,
volume 1, page 179) peuvent tre utiliss si des normes de qualit nationales ne sont pas
disponibles. Les huit critres de qualit sont numrs ci-dessous.
13
Les huit critres de qualit sont les suivants:
La fiabilit des donnes: les donnes utilises et collectes sont-elles adaptes et leur
fiabilit est-elle convenablement prise en compte?
Limpartialit des conclusions: les conclusions sont-elles justes, non fausses par des
considrations personnelles ou partisanes et peuvent-elles tre concrtement mises en
uvre?
1.11. Publication
14
1.12. Prise en compte des rsultats de l'valuation et de la rserve de performance
La rvision mi-parcours
La rvision mi-parcours peut traiter une large gamme de questions souleves par
l'valuation mi-parcours et comportera un examen dtaill - effectu par l'tat membre et
par la Commission - de ses conclusions et recommandations. Conformment larticle 42 du
rglement gnral, la Commission examine la pertinence et la qualit de l'valuation dans ce
contexte, sur la base de critres pralablement dfinis d'un commun accord par la Commission
et l'tat membre. Cet examen compte aussi bien pour la rvision mi-parcours que pour
lallocation de la rserve de performance. Lvaluation mi-parcours aura t transmise au
comit de suivi pour examen du type dintervention et, selon la Commission, la bonne
pratique veut que le comit de suivi soit consult pour contribuer la discussion. Ltat
membre et la Commission se mettront d'accord sur les changements qu'il convient d'apporter
au type d'intervention, pour rpondre aux enseignements de l'valuation mi-parcours.
En ce qui concerne les initiatives communautaires, le rglement gnral (article 21) stipule
quelles seront rexamines la suite de lvaluation mi-parcours et modifies en
consquence.
La rserve de performance
15
La Commission recommande que les dtails des rsultats de la rvision mi-parcours, ainsi
que la procdure d'allocation de la rserve de performance, soient rendus publics.
La premire partie du prsent document a expos les tapes qui jalonnent l'valuation mi-
parcours. La seconde partie porte sur le contenu de cette valuation. Les divers types
d'intervention variant considrablement quant leur chelle et leur contenu et la dure de la
mise en uvre diffrant dune intervention lautre7, il convient de souligner que les lignes
directrices indiques doivent le cas chant tre adaptes. Des questions pratiques et
l'exprience acquise dans le pass sont prsentes sous chaque rubrique, pour que l'valuation
mi-parcours puisse mettre profit les enseignements tirs des valuations antrieures des
Fonds structurels. Les questions cls sont identifies la fin de chaque section, puis
rcapitules la fin du document, ce qui met en vidence, propos de chacune d'elles, la
ncessit de tirer les conclusions qui s'imposent pour l'valuation mi-parcours. La liste des
questions cls peut faire office de liste de contrle pour ceux qui organiseront les valuations,
mais aussi pour ceux qui les raliseront.
Le prsent chapitre passe en revue huit lments cls de lvaluation mi-parcours. Les trois
premiers concernent la mise jour de la logique de programmation. Si lenvironnement du
programme a subi peu de changements et que le document de programmation a t
soigneusement conu, cet lment de lvaluation peut tre bref. Cependant, dans le cas
contraire, il importe que lvaluation mi-parcours fournisse les bases dune
reprogrammation.
Il convient de concevoir l'valuation comme un processus itratif dans lequel les leons du
pass clairent le prsent et l'avenir. Les rsultats de l'valuation antrieure constituent une
prcieuse source d'informations sur les dfis relever et sur les rponses susceptibles d'tre
apportes. La conception des Fonds structurels se fonde sur trois phases principales
d'valuation dans le cycle de programmation - ex ante, mi-parcours et ex post - chacune des
phases tant une occasion de faire le point sur les dfis relever et sur les rponses proposes
ou effectivement apportes. Le systme retenu implique des chevauchements en ce sens que
l'valuation ex post d'une priode a lieu aprs l'valuation ex ante de la priode suivante.
Dans la plupart des cas, on pourra se rfrer d'autres travaux pour l'valuation mi-
parcours. Les valuations ex post concernant la priode 1994-1999 seront gnralement
disponibles avant le milieu de l'anne 2003 et devraient fournir ainsi des donnes
additionnelles celles fournies par les valuations ex-ante, pour lesquelles on ne disposait pas
d'une information complte quant aux effets des programmes financs pendant la priode
antrieure. Il conviendrait galement d'examiner les valuations thmatiques acheves depuis
1999, afin d'y rechercher tout rsultat pertinent. Ces valuations peuvent avoir t organises
7
Certains DOCUP de lobjectif 2 et les initiatives communautaires seront adopts au cours de 2001, de
sorte que la dure de lactivit valuer sera moindre et les donnes relatives aux rsultats pourront tre
limites. Cependant, le rglement sur les Fonds structurels stipule clairement que toutes les valuations
mi-parcours devront tre acheves et transmises la Commission avant fin 2003.
16
dans le cadre des Fonds structurels, ou encore avoir t lances par des autorits nationales ou
rgionales dans d'autres domaines.
Questions cls
Il conviendrait d'examiner toutes les sources prcites pour permettre une analyse actualise:
2.2. Analyse destine confirmer la validit de l'valuation ex ante ainsi que les
atouts, faiblesses et potentialits de l'tat, de la rgion ou du secteur concerns
Parmi les lments essentiels tudier, se trouve l'analyse des atouts, des faiblesses, des
opportunits et des menaces propres l'tat, la rgion ou au secteur concerns, autant
d'lments qui constituaient les fondements de la stratgie du document de programmation.
L'valuation ex ante a vrifi cette analyse, y compris le degr de priorit attribuer aux
divers besoins conomiques et l'adquation des opportunits et des dfis identifis.
L'valuation mi-parcours doit rexaminer si lanalyse demeure valable.
Il peut se rvler ncessaire d'intgrer dans l'analyse les volutions conomiques rcentes ou
de nouveaux lments d'information devenus accessibles. Dans le cadre de l'valuation mi-
parcours, il convient de dterminer dans quelle mesure les besoins socio-conomiques et les
problmes de dveloppement voluent et de rechercher les causes de cette volution.
L'objectif poursuivi est de s'assurer que les priorits du programme ou du type d'intervention
permettent d'apporter la rponse la plus approprie. Il ne faut surtout pas perdre de vue que de
nouvelles interventions peuvent tre lances tout moment pendant la mise en uvre de tel
ou tel type d'intervention et qu'elles peuvent faire double emploi avec les priorits tablies ou
tre en contradiction avec celles-ci. L'valuation mi-parcours devra tenir compte de tout
lment de cette nature.
Cette partie de l'valuation mi-parcours doit rexaminer l'analyse des atouts, faiblesses,
menaces et opportunits (AFOM) qui figurait dans le document de programmation, ainsi que
la contribution de l'valuation ex ante apporte en la matire. Elle doit galement dterminer
si l'analyse demeure pertinente et l'actualiser le cas chant. Cette partie de l'valuation doit
tre concise, moins que d'importants changements ne soient survenus quant aux
circonstances ou l'information disponible et que ces changements aient matriellement
influ sur l'analyse originelle.
Questions cls
17
l'apprciation de la continuit de la pertinence des objectifs au regard des besoins
identifis;
Questions cls
La justification et la cohrence globale de la stratgie adopte sont des lments qu'il faut
valuer dans la mesure o ils revtent une grande importance pour l'apprciation de la
pertinence des diverses mesures mises en uvre. Il importe en effet de revenir sur la
justification et sur la cohrence pendant la phase de l'valuation mi-parcours ayant pour
objet d'tablir si les dcisions arrtes en matire de dpenses taient adquates.
L'valuation mi-parcours doit apporter aux concepteurs et aux dcideurs les lments
faisant clairement apparatre la permanence des poids respectifs des diffrents axes
prioritaires.
18
L'valuation mi-parcours doit permettre d'apprcier s'il y a toujours cohrence entre les
objectifs stratgiques, spcifiques ou oprationnels.
La quantification des objectifs ayant t l'une des principales difficults rencontres par le
pass dans la mise en oeuvre des Fonds structurels, l'accent a t mis sur ce point pour la
prsente priode de programmation. L'exprience acquise en matire d'valuation a montr
l'importance essentielle que revt la qualit des donnes de suivi pour le bon droulement du
processus d'valuation. Par le pass, certaines valuations ont souffert d'une absence de
donnes de suivi. Ce problme est en voie d'tre rsolu aujourd'hui, car les systmes de suivi
se sont amliors.
L'valuation mi-parcours permet de faire le point sur les progrs accomplis et de suggrer
des amliorations. Tout indicateur mal dfini, toute quantification d'objectif sont proscrire.
Dans la mesure du possible, les indicateurs doivent reflter un lien causal relativement clair,
et il convient d'identifier ceux qui seraient fortement influencs par les facteurs externes, afin
de proposer leur remplacement. En ce qui concerne les questions horizontales, telles que
l'galit des chances et l'environnement, les valuations ex ante n'ont fourni bien souvent que
des informations partielles sur la quantification des objectifs, des travaux complmentaires
devant tre raliss dans les complments de programmation. L'valuation mi-parcours
constitue un cadre appropri pour tablir dans quelle mesure la quantification des objectifs est
adquate concernant l'galit des chances entre les hommes et les femmes et l'environnement.
L'valuation mi-parcours pourra utiliser le rapport annuel d'excution pour 2001; les
lments d'information pour le rapport 2002 recueillis pralablement l'achvement de
l'valuation mi-parcours, devront galement tre mis la disposition des valuateurs. Ces
19
rapports fourniront des informations essentielles ce stade de l'valuation mi-parcours. La
documentation de la Commission relative la quantification peut galement tre consulte, en
particulier si le recours d'autres indicateurs est suggr pour palier l'inadaptation de la
quantification actuelle des objectifs:
Orientations pour les dispositifs de suivi et dvaluation des interventions du FSE pendant
la priode 2000 - 2006, (DG EMPL, 1999)
Questions cls
vrifier la pertinence des indicateurs en ce qui concerne l'objectif global, ainsi que les
objectifs spcifiques et oprationnels ;
dterminer si les procdures de collecte des donnes sont fiables et respectueuses des
dlais impartis ;
apprcier l'utilit des indicateurs, la question tant de savoir s'ils rendent compte en temps
utile de la mise en uvre du type d'intervention en cause, condition d'un suivi et d'une
valuation vritables.
Aprs avoir tabli que la stratgie reste pertinente, l'valuation mi-parcours doit examiner
l'efficience et l'efficacit sur la base des ralisations et des rsultats obtenus ainsi que des
dpenses effectues ce jour. Sur base de ces rsultats et de ces ralisations, cette opration
devrait donner une ide de la probabilit d'obtention des effets escompts. L'unit clef de
l'analyse devra tre la mesure. S'agissant de l'efficience et de l'efficacit au niveau de la
mesure (objectifs oprationnels), l'analyse doit contribuer un examen des progrs accomplis
quant la ralisation des objectifs spcifiques et de l'objectif global.
20
Efficacit Objectifs oprationnels et spcifiques
L'valuation mi-parcours doit examiner le degr d'efficacit obtenu sur la base des donnes
relatives aux indicateurs collectes pendant le suivi. Elle devra examiner des objectifs
oprationnels et spcifiques, en procdant comme suit :
analyse des progrs accomplis quant l'obtention des objectifs oprationnels, analyse
fonde sur les ralisations obtenues au niveau de la mesure, comparativement aux objectifs
fixs dans le complment de programmation.
analyse des progrs accomplis quant la ralisation des objectifs spcifiques, analyse
fonde sur les rsultats relatifs aux priorits fixs dans le PO ou dans le DOCUP.
En partant de cette analyse, l'valuation mi parcours doit tre en mesure de tirer des
conclusions quant l'efficacit du type d'intervention en concern.
Pour tudier l'efficience, la premire chose faire est d'tablir les cots unitaires. Le cot
unitaire peut tre compar avec des donnes d'talonnage recueillies aux niveaux rgional,
national ou communautaire, dans la mesure o elles sont disponibles. Un autre sujet de
mesure de l'efficience concerne les effets d'aubaine, de dplacement et de substitution.
L'talonnage des cot unitaires et l'analyse des effets d'aubaine, de dplacement et de
substitution - l o les donnes s'y prtent - constituent une bonne pratique. Il convient, tout
le moins, d'examiner les cots unitaires pour un chantillon d'interventions et de grands
projets.
Lorsqu'on value l'efficience, aucun projet important ne doit tre laiss de ct.
Pour les grands CCA, il faut que l'valuation mi-parcours actualise l'tude d'impact macro-
conomique effectue dans l'valuation ex ante (voir annexe 1). Ce niveau d'analyse n'est pas
possible pour les petites rgions de l'objectif 1 ou pour les zones de l'objectif 2. En ce qui
concerne les PO et les DOCUP, l'tude d'impact doit se focaliser sur le degr probable de
ralisation des objectifs globaux, la lumire des rsultats obtenus jusqu' ce jour en matire
d'objectifs oprationnels et d'objectifs spcifiques.
21
Exprience passe et questions pratiques
En ce qui concerne l'efficacit, les termes de rfrence pour chaque valuation doivent bien
spcifier le degr de prcision requis si l'on veut viter des chevauchements entre niveaux
d'valuation diffrents. Les valuations au niveau du CCA ne porteront pas sur des objectifs
oprationnels au niveau de la mesure, lesquels doivent faire l'objet d'valuations distinctes
effectues au niveau du PO. Quant aux valuations de DOCUP, elles doivent traiter toute la
gamme des rsultats relative aux objectifs de tous niveaux.
En ce qui concerne l'efficience, l'apprciation des cots unitaires du programme doit tre
fonde sur une comparaison entre les ralisations et rsultats (ventuellement relatifs un
chantillonnage d'interventions ou de projets) et les ressources mises en uvre. L'examen de
l'efficience au niveau de la mesure relve de la gageure lorsque les programmes ou les
mesures incluent des activits diverses. Dans la plupart des cas, l'efficience des programmes
de l'objectif 2 peut tre analyse en fonction des rsultats obtenus en matire d'emploi (cot
par emploi cr ou sauvegard, par exemple). En ce qui concerne les programmes relevant de
l'objectif 1, il convient au moins d'examiner l'efficience des grands projets. L'talonnage des
cots unitaires et l'examen des effets d'aubaine , de dplacement et de substitution
dpendront des donnes disponibles dans l'tat membre ou dans la rgion en cause.
Alors qu'une analyse dimpact actualise de type macro-conomique sera engage pour les
grands CCA, dans le cas des DOCUP et des CCA de moindre envergure, lanalyse portera sur
les rsultats relatifs l'efficacit pour valuer la probabilit de ralisation des objectifs
globaux.
Lvaluation de lefficacit et de limpact des interventions finances par le FSE doit tenir
compte des quatre types dindicateurs exposs dans les orientations de la DG Emploi
concernant le suivi et lvaluation des interventions finances par le FSE : effets sur les
personnes, effets structurels ou impacts lis la performance des systmes, effets de la
cration demplois et, dans le cadre de lobjectif 1, impact du dveloppement des ressources
humaines sur le dveloppement conomique et social.
De la mme faon, l'valuation des effets des mesures de dveloppement rural finances par
le FEOGA devra utiliser, autant que possible, les questions d'valuation communes avec des
critres de jugement et des indicateurs (dfinis par la Commission en concertation avec les
Etats membres), afin de mesurer la valeur ajoute pour le dveloppement rural et le secteur
agricole.
Questions cls
Il faut tudier les ralisations et les rsultats obtenus jusqu' ce jour pour dterminer les
progrs accomplis quant la ralisation des objectifs.
Le poids financier de chaque priorit doit tre analys sur la base des premiers rsultats et
des impacts attendus.
Si l'on conclut des inadquations dans la hirarchie des priorits respectives, il convient
de formuler des recommandations en vue de modifier la structure et de rquilibrer le type
22
d'intervention en cause. Ces conclusions peuvent rsulter de changements intervenus dans
l'environnement externe ou d'incohrences internes mises en vidence lors de la ralisation
du programme.
L'impact sur l'environnement et sur l'galit des chances entre hommes et femmes rpond
des priorits politiques essentielles. L'valuation mi-parcours doit dterminer les rsultats
obtenus aussi bien par rapport ces priorits qu'au regard de toute autre priorit horizontale
retenue pour le type d'intervention considr.
Les effets de la politique dpendent aussi de la capacit de gestion et du travail des organes
d'excution. L'valuation mi-parcours doit porter sur l'adquation et la qualit des
mcanismes de gestion et de mise en uvre, tant donn que toute faiblesse en la matire
pourrait affecter directement sur l'impact du type d'intervention considr.
L'valuation mi-parcours doit porter sur la qualit de l'excution et du suivi, tche effectue
sur le terrain. Les tches principales sont les suivantes:
tablir si l'on a bien dfini les responsabilits en matire de gestion et d'excution, d'une
part, et les procdures de consultation, d'autre part.
Voir si la slection des projets s'effectue selon des procdures et des critres transparents et
de mise en concurrence, de telle sorte que les objectifs du plan ou du programme puissent
tre raliss un cot optimal.
Rexaminer les critres de slection des projets pour s'assurer de leur qualit et de leur
mise en uvre et vrifier qu'ils refltent les objectifs du programme ou du type
d'intervention, mais aussi qu'ils permettent de prendre en compte les aspects relatifs
l'galit des chances et l'environnement.
Rpondre la question de savoir dans quelle mesure la lgislation ncessaire aux fins du
programme est en place, si elle est conforme aux rgles communautaires et si le systme
administratif est propre assurer la compatibilit avec les politiques communautaires.
23
communautaire doit consacrer une attention particulire la ralisation des projets lis aux
spcificits de chaque initiative.
Les valuations antrieures donneront des informations utiles sur ces questions pratiques.
Questions cls
Questions cls
Prsenter les rsultats les plus rcents relatifs aux indicateurs agres et les comparer aux
objectifs fixs dans la forme d'intervention ou dans le complment de programmation.
Prsenter galement les donnes prvisionnelles relatives ces indicateurs quand il est
possible de les tablir, sur la base des rapports annuels d'excution.
24
Vrifier la qualit des donnes retenues pour ltablissement des indicateurs relatifs la
rserve de performance et se prononcer sur leur niveau de fiabilit.
Expliquer tout changement dans les objectifs assigns aux indicateurs relatifs la rserve
de performance intervenu depuis ladoption de la forme dintervention.
L'valuation mi parcours doit enfin parvenir montrer si les rsultats obtenus pour les
indicateurs de la rserve permettent d'tablir la performance du programme pris
globalement.
Des questions cls ont t identifies pour chacun des points de ce document de travail. Des
conclusions devront tre apportes en relation avec ces dernires, ainsi que des
recommandations concernant les amliorations apporter au cas o des faiblesses seraient
apparues dans la planification ou l'excution des programmes. Le tableau ci-aprs rsume
chaque tape de l'valuation ainsi que les questions cls devant donner lieu, le cas chant,
des conclusions et des recommandations dans le cadre de l'valuation.
Les Fonds structurels ont pour finalit premire de promouvoir la cohsion conomique et
sociale dans l'Union europenne en gnral et dans chacun des Etats membres en particulier,
et l'valuation mi-parcours doit dboucher sur des conclusions concernant les progrs
accomplis quant la ralisation de cet objectif global. Ces progrs sont gnralement mesurs
au moyen de divers indicateurs quantitatifs qui figurent dans tous les documents de
programmation et dans les valuations travers tous les tats membres (par exemple PIB,
emploi, productivit, etc.). La "valeur ajoute communautaire" apporte par les Fonds
structurels est mise en vidence dans des tudes portant sur la "situation contre factuelle",
c'est--dire sur ce qui se serait pass sans le soutien des Fonds structurels. Il est plus simple
encore de mesurer ce qui a t ralis grce l'aide fournie : Combien de kilomtres
supplmentaires de voies routires ont pu tre construits ? Combien d'entreprises
supplmentaires du type "jeunes pousses" ont t soutenues ? Combien de personnes ont
bnfici d'une formation ? Un autre type de valeur ajoute consiste identifier les nouvelles
actions ou les nouvelles mthodes qui ont bnfici d'une aide communautaire sans laquelle
elles n'auraient pu voir le jour.
Les interventions des Fonds structurels ont d'autres impacts dans les tats membres, effets
dont la Commission souhaite entreprendre l'identification afin de mieux cerner la spcificit
de la valeur ajoute communautaire. En rgle gnrale, on ne cite que des aspects
anecdotiques relativement ce type de valeur ajoute, en mentionnant le dveloppement du
processus d'organisation travers l'laboration des documents de programmation, le
dveloppement du partenariat dans le cadre des comits de suivi, l'largissement de la gamme
des organismes d'excution travers le recours des procdures d'adjudication ouverte, le
dveloppement d'une culture de l'valuation, etc. La Commission souhaite que les
valuateurs, dans les conclusions de l'valuation mi-parcours, mettent en vidence (le cas
chant) les aspects relatifs la "valeur ajoute" rsultant manifestement de l'implication des
Fonds structurels dans la rgion ou dans le secteur en cause.
25
Liste de contrle relative au contenu de l'valuation mi-parcours
26
Liste de contrle relative au contenu de l'valuation mi-parcours
27
Liste de contrle relative au contenu de l'valuation mi parcours
28
ANNEXE 1
une synthse et une analyse des valuations mi-parcours des PO, dbouchant sur une
valuation des progrs accomplis en ce qui concerne les priorits et les objectifs du CCA ;
une apprciation de la prise en compte des priorits transversales dans le CCA pris dans
son ensemble ;
Le schma ci-dessous montre comment chacun de ces lments sinsre dans lvaluation
mi-parcours du CCA.
Apprciation des
Analyse dimpact valuation mi- priorits horiz.
macroconomique parcours du CCA
Examen des systmes
de mise en oeuvre,
suivi et gestion
financire
Synthse
29
Actualisation de l'tude d'impact
La Commission a propos qu'une analyse une tude d'impact centre sur une brve liste de
thmes8 soit incluse dans l'valuation ex ante. Dans le contexte de l'valuation mi-parcours
du CCA, il convient d'actualiser cette analyse d'impact en se conformant aux mmes grandes
lignes directrices.
Sur la base des donnes disponibles les plus rcentes, les valuations mi-parcours des
grands CCA (Grce, Espagne, Irlande, Portugal, nouveaux Lnder allemands et sud de l'Italie)
doivent utiliser un modle macro-conomique, incluant la fois un volet "demande" et un
volet "offre", afin de dterminer dans quelle mesure le type d'intervention considr influe et
influera d'ici 2006 sur les variables essentielles telles que :
l'emploi ;
Si l'valuation ex ante a comport une analyse contre factuelle (une situation "sans
intervention", compare une situation "avec intervention"), cette analyse doit tre
rexamine et actualise.
Synthse et analyse
Principes horizontaux
Les principes horizontaux essentiels identifis dans les rglements relatifs aux Fonds
structurels ont trait l'environnement et l'galit des chances entre hommes et femmes. Sur
la base des valuations mi-parcours des PO, l'valuation mi-parcours du CCA doit
dterminer dans quelle mesure ces principes horizontaux sont promus dans tous les PO. Il
convient de formuler les conclusions et les recommandations axes sur une meilleure
intgration des principes dans tous les domaines o des faiblesses ont t constates.
8
Pour plus de dtails sur les dispositions relatives l'analyse dimpact, voir le document de travail n 2,
de la Commission, sur lvaluation ex ante, pages 27 et 28.
30
Examen des systmes
Il est essentiel que les systmes d'excution, de suivi et de gestion - y compris de gestion
financire - soient efficaces, pour que les Fonds structurels ralisent au cours de la priode
2000-2006 les objectifs qui leur ont t assigns. L'valuation du CCA doit en consquence
tre principalement axe sur l'efficacit de ces systmes pour tous les PO, en identifiant les
bonnes pratiques et les faiblesses. Il y a lieu de formuler des recommandations en ce qui
concerne les amliorations apporter ces systmes pour permettre aux CCA et aux PO qui
les composent d'atteindre la fin de la priode de programmation les objectifs qui leur ont t
assigns.
31
Bibliographie
Rglement (CE) du Conseil n 1260/1999, du 21 juin 1999, portant dispositions gnrales sur
les Fonds structurels. Article 42, paragraphe 2.
Orientations pour les dispositifs de suivi et dvaluation des interventions du FSE pendant la
priode 2000 - 2006. Document des services de la Commission (DG Emploi, relations
industrielles et affaires sociales).
32