Journée sur l'évaluation

multicritère
18 octobre 2016

Utilisation de l’évaluation multicritère

pour l’aide à la conception de systèmes à
mettre en expérimentation

Aspects Frédérique Angevin

méthodologiques : Pauline Feschet
Agrégation et Juliette Lairez

interprétation des
résultats
Évaluation multicritère =
mobilisation d’indicateurs
Un indicateur : une synthèse ou
une simplification de variables ou Quantitatif
de données pertinentes pour / qualitatif
renseigner un phénomène difficile
à décrire (complexité, faisabilité) • Élémentaire ou
agrégé
Simple ou
Dans une EMC : •
complexe à
obtenir Descriptif
• Comment s’articulent-ils les uns / prédictif
• Mesuré, calculé
avec les autres ? ou observé
• Comment interpréter les
résultats ?
La question de
l'agrégation
multicritère
 Liste des pratiques culturales, description du contexte,
Système agricole
mesures au champ…
Analyse avec quelques
indicateurs
Objectif d’évaluation spécifique Prendre une décision
(réduction des pollutions liées aux nitrates) est possible

Analyse avec de nombreux

indicateurs
Prendre une décision
est presque impossible

Objectif d’évaluation +
englobant
(ex : évaluation de la durabilité) Recours à l’agrégation
Tri, Classement,
Sélection

Analyse multicritère
Girardin et al., 2005
 Comment représenter et interpréter une EMC ?

 Résultats obtenus sur un critère d’évaluation (Histogramme)

SdC 4

SdC 3

 Communication
auprès de non-
spécialistes
 Ex :
SdC2

ESI (environmental
sustainability Index)
SdC1 utilisé pour classer les
pays suivant leur
capacité à préserver
les ressources
tres faible faible assez faible moyenne assez elevee elevee tres elevee
Contribution au developpement durable
6
naturelles.
 Comment représenter et interpréter une EMC ?

 Combiner les résultats de deux critères d’évaluation :

SdC2
tres elevee

élevée

SdC 4
3
moyenne

SdC1
faible

 Comparaison de
tres faible
systèmes

tres faible faible moyenne elevee tres elevee

7 Contribution a la dimension economique
 Comment représenter et interpréter une EMC ?

Combiner les résultats de plusieurs critères d’évaluation (Radars) :

8
Guiral, 2012
 Comment représenter et interpréter une EMC ?

 Profil de performances détaillé (graphique synoptique)

3 /4 Rentabilité
4 /4 Indépendance économique Autonomie Résultats économiques de
4 /4 3 /4
4 /4 Efficience économique économique l'exploitation
1 /3 Surcoût en matériel
3 /4 Maitrise du statut acido-basique du sol
Maitrise de la fertilite
2 /4 Maitrise de l'état structural du sol 2 /4 Dimension
physico-chimique Capacite productive 3 /5
1 /4 Maitrise de la fertilite phosphopotassique 1 /4 Économique
a long terme
1 /4 Maitrise des maladies et ravageurs Maitrise des
1 /4
2 /4 Maitrise des adventices bioagresseurs
3 /3 Qualite sanitaire Contribution au
4 /4 Qualite des produits
2 /3 Qualite technologique et esthetique des produits 4 /4 developpement
1 /3 Contribution a l emergence de nouvelles filieres economique
4 /4 Contribution a l emploi Satisfaction des
2 /4
1 /4 Fourniture de matieres premieres attentes de la societe
2 /4 Complexite des itineraires techniques Facilite de mise en
2 /4 Dimension
2 /3 Temps de veille technico-economique oeuvre 3 /5
Satisfaction des Sociale
2 /3 Surcharge de travail 3 /4
Qualite des conditions de attentes de l agriculteur
3 /4 Risque pour la sante de l applicateur 4 /4
travail
3 /3 Difficulte physique Contribution au
4 /4 Eaux superficielles pertes 5 /7 développement
4 /4 durable
4 /4 Eaux profondes pesticides Contribution à la qualité
4 /4
3 /4 Maîtrise des de NO3 de l'eau
4 /4 Maîtrise des pertes de P
2 /4 Maîtrise des émissions de NH3 Contribution à la qualité du
Contribution à la qualité 4 /4
2 /4 Maîtrise des émissions de N2O 2 /4 mlilieu
de l'air
4 /4 Maîtrise des émissions de pesticides dans l’air
3 /4 Maîtrise acc. éléments tox.
Préservation de la qualité
4 /4 Maîtrise du statut organique 4 /4
du sol
3 /4 Maîtrise de l'érosion Dimension
5 /5
3 /4 Conso. eau d’irrigation en période critique Environnementale
3 /4 Pression Eau

Ex de situations d’usage :
1 /4 Dépendance vis à vis de la ressource en eau
Pression sur les
3 /3 Consommation en énergie 3 /4
2 /4 Pression Énergie ressources
1 /3 Efficience énergétique
4 /4 Pression Phosphore
3 /4 Conservation des insectes volants Conservation de la
4 /4

 Diagnostiquer les
4 /4 Conservation de la macrofaune du sol macrofaune Conservation
3 /4 Abondance floristique 4 /4 de la
3 /4 Conservation de la flore
3 /4 diversité floristique biodiversité

forces et faiblesses
4 /4 Conservation des micro-organismes

Sens de l’agrégation  Identification des

pistes
d’amélioration
Des choix à connaître pour
l’interprétation

 sur la transformation des

indicateurs
 sur les pondérations

 sur les compensations

Pour en savoir plus

Chapitre 4
Aller plus loin
dans la synthèse
et l’interprétation
des indicateurs agrégés
Interpréter les
indicateurs
Choix de la valeur de
référence pour la quantité
d'azote épandue par ha.

Inspiré de Géniaux (2006)

 Principes d’évaluation avec la méthode MASC
3°) Choix/construction des indicateurs pour renseigner chaque critère
d’entrée
Discrétisation Valeurs-
Calcul + Discrétisation
Seuils
Si la rentabilité moyenne
compatibilité avec
est de 500€/ha/an ?
le logiciel DEXi
Rentabilité (€/ha/an)
? ? ? ?
Exemples 

Une étape clé de l’évaluation qui permet :

 De porter un jugement sur les variables calculées
 D’adapter l’évaluation aux contextes socio-économiques et pédo-climatiques
 De discriminer les systèmes testés

Un repère pour prendre une

décision

Girardin et al., 2005

 Principes d’évaluation avec la méthode MASC
3°) Choix/construction des indicateurs pour renseigner chaque critère
d’entrée
Calcul + Discrétisation

Des valeurs-seuils non-normatives

… proposées et à adapter localement
 pour considérer des préférences (ex : rentabilité)
 pour discriminer selon le contexte d’évaluation (ex : impact de l’irrigation)

… préconisées et qui peuvent être renforcées

 basées sur la règlementation (ex : Nitrates dans les eaux)

 faisant consensus entre experts (ex : Fréquence du labour sur la macrofaune du

sol) 18
 Principes d’évaluation avec la méthode MASC
3°) Choix/construction des indicateurs pour renseigner chaque critère
d’entrée
Calcul + Discrétisation

Des valeurs-seuils non-normatives

Méthode pour adapter les valeurs-seuils proposées :
• Consultation locale des porteurs d’enjeux & des spécialistes
• Valorisation des références technico-économiques locales (Benchmarking)
• Analyse des valeurs obtenues sur les systèmes évalués dans un projet

Nb de SdC

Ex : rentabilité
faible Moyen Elevé