Lanalyse multicritre

1
1.1

Pourquoi utiliser cet outil en valuation ?

Objectifs

L'analyse multicritre est utilise pour porter un jugement comparatif entre des projets ou des mesures htrognes. Dans le cadre de lvaluation, lanalyse multicritre est plutt un outil de lvaluation ex ante. Elle est plus particulirement utilise dans llaboration des choix stratgiques dintervention. Dans le cadre de lvaluation ex post, lanalyse multicritre peut contribuer l'valuation d'un programme ou d'une politique en apprciant les effets des actions ralises au regard de plusieurs critres.

1.2
1.2.1

Utilisations possibles en valuation pays

En valuation ex ante ou intermdiaire valuer les capacits de diverses actions d'un programme remplir un objectif donn. Ce travail pourrait se faire pour recueillir lavis des responsables et des bnficiaires sur leur efficacit. structurer les avis de responsables de projet ou de programme sur des actions en cours. discuter du contenu des programmes et des allocations entre actions lors de l'laboration des stratgies et des programmes En valuation ex post

Lanalyse multicritre peut servir pour :

1.2.2

Dans les pays tiers, des domaines comme la lutte contre la pauvret, le maintien de la scurit, la matrise de l'immigration, le dveloppement du commerce sont autant de domaines o ce type d'analyse gagnerait tre introduit pour formuler des jugements sur ces stratgies complexes.

2
2.1

Comment mettre multicritre ?

en

uvre

lanalyse
de

Quelles sont les conditions lanalyse multicritre ?

demploi

Le temps ncessaire et le cot dune analyse multicritre de haut niveau risquent d'tre peu compatibles avec les dlais et les budgets habituellement allous ces tches en valuation. Les analyses multicritres pouvant tre conduites dans le cadre dune valuation pays doivent se limiter la comparaison d'actions simples et partir de critres limits. Encadr 1 les tapes de lanalyse multicritre de mise en uvre

1 2 3 4 5 6 7 8

Choix du domaine d'application et identification de la logique d'intervention Choix du (ou des) groupe(s) de ngociation ou de jugement Choix de l'quipe technique charge d'appuyer le groupe de jugement Etablissement de la liste des actions en concurrence intgrer dans l'analyse multicritre Identification et slection des critres de jugement Dtermination du poids relatif de chaque critre Jugement par critre Agrgation des jugements

2.2

Etape 1 : choix du domaine d'application et identification de la logique d'intervention

Dans le cadre de lvaluation, l'analyse multicritre n'est gnralement pas employe sur l'ensemble des sujets valuer. Une fois le domaine dapplication tabli par l'quipe d'valuation, il est important de collecter le diagramme logique de l'intervention ou de le reconstituer lorsqu'il n'existe pas.

2.3

Etape 2 : choix du groupe de jugement

L'analyse multicritre est base sur des notations et des choix de prfrence effectus par les personnes qui vont constituer le groupe de jugement. Pour constituer ce groupe, lquipe dvaluation peut choisir parmi les acteurs concerns par le programme ou parmi des dlgus de ces acteurs. En gnral, les membres du groupe sont choisis dans cette dernire catgorie, ce qui est justifi pour limiter les risques dincomptence et pour faciliter lidentification de ces personnes.

2.4

Etape 3 : choix de lquipe technique

Lquipe technique est charge dappuyer le groupe de jugement. Elle est compose des personnes suivantes : Le facilitateur. Lassistant technique. C'est la personne qui matrise parfaitement l'usage des logiciels ncessaires la conduite de certaines analyses multicritres. Les experts qui sont chargs de collecter des donnes pour le compte du groupe de ngociation, en vue de complter linformation, au fur et mesure de lexercice.

2.5

Etape 4 : tablissement de la liste des actions en concurrence

des scnarios ou des solutions potentielles dans un exercice de planification ou d'valuation ex ante, des variantes d'un amnagement, des actions mises en uvre dans un programme.

L'analyse multicritre, selon ses objectifs, aidera comparer :

A la fin de cette quatrime tape une liste des actions, des scnarios ou des variantes entrant dans l'analyse sera produite.

2.6

Etape 5 : identification critres de jugement

et

slection

des

Cette tape est centrale dans lanalyse multicritre. Les rgles de base pour la dfinition des critres peuvent tre rsumes ainsi : Les critres doivent tre dfinis avant de raliser l'analyse, partir des rgles connues et acceptes de tous,

Ils doivent tenir compte de tous les points de vue exprims par les membres du groupe, Ils ne doivent pas tre redondants entre eux, Ils doivent former un ensemble cohrent qui aboutit des rsultats plausibles et incontestables. Par exemple, lorsqu'une entreprise cherche recruter un salari dun niveau donn, sa direction peut utiliser les critres suivant : l'obtention dun examen, une apprciation des motivations et de l'exprience lors d'un entretien d'embauche, le niveau de salaire demand par le candidat. Les critres ne sont pas redondants, mme si une relation existe probablement entre le salaire demand et le niveau d'exprience. Ils sont cohrents, c'est-dire que si deux candidats sont galit sur deux des trois critres, le troisime permettra de dpartager les candidats sans susciter de rclamation.

2.7
2.7.1

Etape 6 : dtermination du poids relatif de chaque critre

Mthodes de pondration des critres

Une des rgles de l'analyse multicritre est de pondrer ces critres entre eux afin de prendre en compte leur importance relative aux yeux des acteurs. Dans lenseignement secondaire, le cas des coefficients affects aux matires lors de l'valuation des lves est un exemple simple de pondration des critres. Diffrentes mthodes de pondration ont t labores pour aider la formalisation des pondrations (utilisation de coefficients, mthode du jeu de cartes). 2.7.2 Instauration de seuils de veto, dindiffrence et de prfrence

Certains critres peuvent avoir une importance telle qu'ils ne peuvent pas tre traits de la mme manire que les autres. C'est le cas des critres pour lesquels peut s'appliquer la notion de seuil de veto (dont certains correspondent des exigences rglementaires). 4

Les seuils de prfrence et d'indiffrence mritent galement d'tre dfinis, surtout dans les analyses longues et complexes. Deux acteurs ayant des avis trs proches peuvent classer deux actions l'un au mme niveau et l'autre des niveaux diffrents, parce que les seuils de prfrence et d'indiffrence n'auront pas t assez bien dfinis. 2.7.3 Test de la sensibilit

Ce test consiste observer l'effet des modifications des paramtres choisis par le groupe, sur les rsultats de l'analyse.

2.8
2.8.1

Etape 7 : jugement par critre

Etude des impacts des actions

On tente de donner des valeurs aux impacts de chaque action au regard du critre. Cette valuation peut tre quantitative, mais aussi qualitative. Encadr 2 Tableau des rsultats de l'tude des impacts des actions au regard des critres

Critre
Nombre d'emplois directs crs Impact paysage sur le

Action A
120 Fort Plus forte que pour B

Action B
220 Faible Moins forte que pour A

Risque dopposition de la population 2.8.2

Notation et jugement des actions par critre

Ce jugement est fait par le groupe, alors que le travail d'tude des impacts peut avoir t fait au pralable par des techniciens du sujet tudi. Lintrt de cette tape est darriver au final doter chaque action d'une note par critre. Cette notation permet de comparer la fois les actions entre elles et les avis entre acteurs, pour une mme action.

2.9

Etape 8 : agrgation des jugements

C'est un point crucial de l'analyse mais difficile russir. Il faut d'abord vrifier que les jugements sont exprims de faon homogne (ex : la surface d'un ouvrage est prfre lorsqu'elle est plus rduite). Cependant, il est important de tester si plusieurs manires de conduire l'opration aboutissent ou non des rsultats similaires ou extravagants. (ex : action classe premire dans une grille et dernire dans l'autre en changeant juste une chelle sur un paramtre). Il existe diffrentes mthodes dagrgation des jugements : la somme pondre, le produit pondr, lapproche par surclassement, etc. Quelles que soient les mthodes retenues pour raliser les calculs et les agrgations, l'analyse multicritre produit un (ou plusieurs) tableau(x) de performance permettant de synthtiser les rsultats obtenus par action pour chaque critre (ventuellement pour chaque acteur). S'il s'agit d'un travail dans le cadre d'un groupe consensuel ou travaillant avec des critres aux poids identiques pour tous (ex : professeurs pour la notation des lves en classe), le tableau des performances reprsente le rsultat de l'analyse multicritre.

Quelles sont les ressources ncessaires ?

En temps Lanalyse prend gnralement du temps, sauf dans des situations trs simples ou pour recueillir des avis a posteriori. Dans les situations ex ante d'aide la dcision, les analyses multicritres durent, en gnral, plusieurs mois L'analyse multicritre implique la contribution de plusieurs catgories dacteurs : le groupe de ngociation / jugement, le facilitateur, lassistant technique, et les experts. Dans le cadre de lvaluation ex ante, lanalyse multicritre peut devenir lourde, dune ampleur comparable celles menes dans le cadre de l'aide la planification.

Encadr 3 Les ressources ncessaires

Humaines

Financires

Quels sont les avantages et les limites de loutil ?

Avantages Capacit pouvoir simplifier des situations complexes. Les bases sur lesquelles s'effectuent les choix des critres et la notation des performances sont souvent simples, comprhensibles et mises au point par le groupe qui conduit l'analyse. La mthode rationalise conduisant aux choix. le processus

Encadr 4 Les avantages et les limites

La mthode constitue un outil de ngociation utile aux dbats entre les usagers.

Limites

Difficults oprationnelles pour choisir des actions ou des variantes tudier, pour dfinir des critres de comparaison et pour produire des grilles de notation. Manque de donnes fiables, sur une dure suffisante pour mettre en place et valider les mthodes. Les analyses multicritres sont souvent bases sur des processus lents et itratifs, qui peuvent ncessiter une part de ngociation importante et de longue dure. Les mthodes mathmatiques d'agrgation des donnes ncessitent un savoir-faire de haut niveau. L'analyse multicritre peut tre considre comme une approche subjective

Check-lists
Le domaine de lanalyse a-t-il t clairement dlimit ? Un groupe reprsentatif des diffrentes prises de position par rapport lobjet de lanalyse a-t-il t constitu ? La liste des alternatives comparer par l'analyse multicritre a-t-elle t valide par des bnficiaires et par des experts du domaine ? Le contenu de chaque alternative a-t-il t clairement expliqu aux membres du groupe ? La cohrence du systme de critre a-t-elle t vrifie ? Les familles habituelles de critres (conomiques, environnementaux, sociaux et politiques) sont-elles toutes reprsentes? Les rgles pour l'tablissement de la liste des critres d'valuation ont-elles t bien expliques aux membres du groupe ? Les tests de sensibilit de l'ensemble du systme de critres ont-ils t concluants ? Les biais mathmatiques relatifs l'agrgation des jugements ont-ils t vits ? Chaque membre du groupe a-t-il pu produire son jugement de manire indpendante?

Check-list destine aux valuateurs

Check-list destine aux gestionnaires Le recours lanalyse multicritre a-t-il t justifi par une question dvaluation identifie ? Le groupe constitu pour lanalyse tait-il reprsentatif de tous les acteurs concerns par le projet ? Les tests de la sensibilit de l'ensemble du systme de critres ont-ils t concluants ? Un tableau de performance a-t-il t tabli ? Le rsultat attendu de lanalyse a-t-il pu tre obtenu de faon

suffisamment fiable pour tre utile lvaluation ?