Université Paris 1 Panthéon Sorbonne

UFR de Sciences Politiques

Master II
Coopération Internationale, Politiques de Développement et Action Humanitaire

Julie DAMOND

Mémoire de fin d’études

Novembre 2007

L’évaluation de l’Action Humanitaire

L’exemple de Médecins Sans Frontières

Sous la direction de Monsieur Philippe RYFMAN

Professeur et chercheur associé Université Paris 1 Panthéon Sorbonne
 « (…) la logique d’action et la logique de connaissance
s’affrontent en permanence :
la connaissance tendant vers l’optimum,
l’action vers le faisable. » 1

1
DEVELTERE Patrick, FONTENEAU Bénédicte, POLLET Ignace, « L’évaluation dans les ONG belges :
entre volonté et contrainte », in : Revue Tiers Monde, oct.-déc.2004, n°180, p.820

2
 Synthèse

Celui qui souhaite conduire une évaluation trouvera toute une série de documents lui
indiquant la marche à suivre. Il en est de même dans le domaine de l’action humanitaire.
Dans sa première partie, ce mémoire se propose donc de voir quels rapports entretient
Médecins Sans Frontières avec le concept et la technique de l’évaluation. Le lecteur
découvrira le scepticisme de l’association quant à l’opportunité d’utiliser l’évaluation pour
évaluer ses propres actions. Avoir les moyens d’un regard sur la médecine pratiquée est
cependant reconnu comme une nécessité. Ce sera l’objet d’une deuxième partie qui
s’attachera à montrer, en pratique, les contours de la démarche d’évaluation à MSF, et en
quoi celle-ci est-elle appelée à évoluer.

→ Mots clés : Evaluation / Médecins Sans Frontières / MSF / Action Humanitaire

Abstract

The person who would like to undertake an evaluation will find a number of documents
describing the procedure to be followed. It is also the same in the humanitarian arena. In its
first part, this paper will highlight the link and interaction that Doctors Without Borders
(MSF) has with the concept and the technique of the evaluation. The reader will discover
the scepticism that the association has as regards to the opportunity of utilizing the
evaluation in order to evaluate its own actions. Yet, having the means of overlooking the
medical practices is recognized as a necessity. This will constitute the object of the second
part, that will focus in demonstrating, practically, the overall MSF evaluation procedure,
and why it is meant to evolve.

→ Keywords : Evaluation / Doctors Without Borders / MSF / Relief Intervention

3
 Remerciements

Je tiens à remercier en premier celui qui m’a fait découvrir et aimer Médecins Sans
Frontières : Fouad Ismaël. Cette soixantaine de pages ne reflètent en rien tout ce qu’il
partage continuellement de son expérience, de son amitié et de ses « scuds ». Un grand
merci à Thierry Allafort-Duverger, responsable du desk urgences de MSF, pour m’avoir si
spontanément associée à la réalisation de la Revue Critique des urgences 2006, à l’origine
du choix du thème de ce mémoire. Que Fabrice Resongles, coordinateur médical
d’urgence, reçoive ce merci pour la patience dont il a fait preuve avec la « non-médicale »
que je suis.

Que Monsieur Philippe Ryfman, professeur et chercheur associé à l’université Paris 1

Panthéon-Sorbonne, soit ici remercié pour sa disponibilité et pour avoir encadré cette
recherche.

Avertissement

« L’Université Paris 1 n’entend donner aucune approbation aux opinions émises dans les
mémoires. Ces opinions doivent être considérées comme propres à leurs auteurs. »

4
 Sommaire

Partie 1 - L’évaluation et MSF : un rapport distancié au concept et à la technique

1. L’évaluation : un concept et une technique formalisée dans le domaine de

l’action humanitaire

1.1. Adaptation des procédures aux situations d’urgence humanitaire

1.2. Principes généraux d’une opération d’évaluation : une technique formalisée

2. Les réticences de MSF face à l’appropriation de la méthode d’évaluation

2.1. L’évaluation perçue comme une technique aux possibilités restreintes

2.2. Une vision particulière de la technique d’évaluation

Partie 2 - L’évaluation à MSF : institutionnaliser une démarche flexible

1. Une démarche d’évaluation pensée comme un retour critique sur les

opérations

1.1. Développer et améliorer la démarche d’évaluation

1.2. Contours de la démarche d’évaluation

2. Une démarche appelée à évoluer

2.1. Se doter des moyens d’un regard sur la qualité de la médecine pratiquée

2.2. Des évolutions au sein du mouvement MSF

5
 Avant-propos

La difficulté de ce sujet vient du doute constant dans lequel il m’a plongé. Lorsque je
rencontrais des interlocuteurs divers au sein de MSF, j’entendais continuellement deux
versions contradictoires. « L’évaluation à MSF ? Vaste sujet… Quand j’étais sur le terrain,
on avait des guides, on évaluait, puis on était évalué… » Me voici donc partie à la
recherche de ces fameux guides, puis au détour d’un couloir : « A MSF ? De l’évaluation ?
Il n’y en a pas vraiment… » Cette situation est la conséquence de l’utilisation d’un vocable
appartenant au vocabulaire courant et qui, pour beaucoup, ne renvoie pas à une technique
précise. Finalement, ce mémoire est le reflet de ces tergiversations. Il peut donner
l’impression de dire le tout et son contraire. Il se veut aussi refléter l’évaluation à MSF ;
« Non, mais il y en a eu plein d’évaluations de faites », « Ce n’est pas que l’on aime pas,
mais… », « Je n’ai aucun problème avec le regard extérieur… », « Comment veux-tu que
quelqu’un de l’extérieur vienne juger de la pertinence de nos opérations ?... » C’est un
positionnement tout en contraste. Prendre le parti de ne décrire que les circonstances de
production de « vraies » évaluations nous aurait fait omettre toutes ces initiatives internes
pour se doter des moyens d’un regard sur la qualité de la médecine pratiquée. On trouvera
donc du « Oui, mais… » dans les pages qui vont suivre. Elles sont le résultat d’une
recherche de quatre mois entre l’idée du sujet et l’écriture de ces mots. Ce travail est loin
d’être exhaustif. A défaut d’élaborer un raisonnement, il est peut-être seulement le résultat
d’une perception. Finalement, il pose plus de questions qu’il n’apporte de réponses. Et
pour combler un certain manque de données écrites et chiffrées, il a fait ce que l’évaluation
préconise dans les situations d’urgence : l’observation et l’utilisation de méthodes
qualitatives pour glaner l’information. Tout comme son sujet d’étude, il produit une image
de la réalité que d’aucuns viendront juger avec leurs propres critères d’évaluation.

Alors, ami lecteur, évaluez-bien ces quelques mots, qui selon vos propres critères,
trouveront grâce ou ne trouveront pas…

6
 Introduction

Pour introduire cette recherche, il nous semble intéressant de revenir sur les étapes
successives qui ont mené à la formulation de notre objet d’étude. A l’origine, l’intitulé du
mémoire aurait du être celui-ci : « La pratique de l’évaluation appliquées aux ONG
médicales d’urgence : le cas de Médecins Sans Frontières ». Il impliquait, à notre avis, de
disposer d’éléments significatifs nous permettant d’étayer une double spécificité. La
première aurait été d’avoir pu souligner une différence dans l’évaluation des soins
médicaux par rapport à d’autres secteurs motivant l’intervention des ONG. La deuxième
supposait que Médecins Sans Frontières ait une particularité dans l’évaluation de ses
propres actions comparativement à d’autres ONG agissant dans le domaine de la santé. Ne
disposant ni de connaissances médicales suffisantes pour traiter cette problématique, ni
même d’un temps d’étude assez long pour l’introduction d’un regard comparatif, une
première réorientation du champ de recherche s’est avérée nécessaire. La deuxième
formulation du sujet fut la suivante : « La pratique de l’évaluation de l’action humanitaire :
le cas de Médecins Sans Frontières ». Ce thème d’étude induisait ici que le principe même
de l’évaluation des actions fut accepté et qu’il s’agissait alors seulement de mettre en
lumière la pratique. Cette problématique aurait pu s’appliquer comme telle à d’autres
ONG, mais ce ne fut pas le cas pour Médecins Sans Frontières. Finalement, notre sujet
s’intitule plus simplement : « L’évaluation de l’action humanitaire : l’exemple de
Médecins Sans Frontières ». Il nous permet ainsi d’introduire plusieurs autres concepts
sous-jacents à l’évaluation nous autorisant alors à pouvoir penser notre sujet, lorsqu’il
prend pour exemple Médecins Sans Frontières. Tout au long du développement qui va
suivre, nous introduisons une différenciation entre le concept, la technique, la pratique et la
démarche. Pour nous, le concept renvoie à la définition de l’évaluation dans son sens
premier et à la question de l’opportunité d’une évaluation de l’action humanitaire. Il
appelle une série de questions du type : « L’évaluation de l’action humanitaire est-elle
souhaitable ? Est-elle réalisable ? » La technique renvoie aux méthodes d’évaluation telles
qu’elles ont été formalisées dans des guides et autres méthodologies pour ceux qui
souhaitent initier de « vraies » évaluations. La pratique est l’utilisation de la technique
d’évaluation telle qu’elle est mise en oeuvre concrètement au sein des organisations. Elle
permet de déceler certaines priorités pour l’organisation : « S’applique-t-elle
majoritairement sur des politiques opérationnelles ou des activités ? Est-elle simplement

7
systématique ? Interne ou externe ?... » Enfin, pour pouvoir penser l’évaluation au sein de
MSF, il a fallu introduire une autre notion, la démarche. La démarche d’évaluation
rassemble une série d’initiatives dont les contours sont ceux de l’ « outil évaluation ». Elle
donne tout autant à l’association les moyens d’un regard sur la médecine pratiquée. Les
pages qui suivent se proposent ainsi d’étudier les relations qu’entretient MSF avec chacune
de ces déclinaisons de l’évaluation, tant au niveau du concept, de la technique que de la
pratique. La réintroduction du terme de démarche nous permettra alors de pouvoir parler de
l’évaluation au sein de MSF.

La construction de ce raisonnement a donné lieu auparavant à une tentative de recensement

des documents portant la mention « évaluation ». Devant le succès tout relatif de cette
entreprise, nous nous devons de préciser que nous ne prétendons pas avoir pu établir une
liste exhaustive des différentes sortes de documents, qui pourraient s’apparenter de près ou
de loin à des évaluations. Pour l’heure, notre recherche nous a seulement permis de
distinguer une certaine diversité de rapports. La première catégorie identifiée se compose
souvent de documents se présentant comme des « évaluations finales » ou des
« évaluations rétrospectives », mais ils s’avèrent plutôt être des bilans d’activités
présentant les résultats des actions. Ils ne font pas référence à l’identification des objectifs
de départ et ne s’effectuent pas dans le cadre d’une commande définie par des termes de
références précis. En outre, ils sont souvent le fait de rédacteurs « juge et partie » ayant
eux-mêmes conduit ou initié les actions qu’ils décrivent. La deuxième catégorie est celle
des évaluations menées par Epicentre, Centre pour la recherche en épidémiologie. Pour
celles que nous avons pu identifier, il s’agit de « vraies » évaluations mais elles portent
plutôt sur l’aspect médical d’une activité et ne répondent pas à des questions plus larges
sur la pertinence ou l’efficacité d’une opération. La troisième catégorie la plus étoffée est
celle des guides et méthodologies portant sur l’évaluation des situations d’urgences avant
la phase du déclenchement de l’opération. Ils sont des outils d’évaluations « ex-ante » et
s’intitulent souvent « mission d’évaluation » mais portent en fait sur la phase de « mission
exploratoire » préalable à la mise en place d’une activité. A ce titre, il nous faut préciser
que ce mémoire ne porte pas sur ce type d’évaluation. Il concerne plutôt ce qu’il est
convenu d’appeler « évaluation intermédiaire » portant sur des opérations en cours ou
« évaluation a posteriori » après que l’intervention ait eu lieu. Il est une quatrième
catégorie que nous savons exister, mais sur laquelle nous n’avons que peu d’informations.
Elle concerne les différentes évaluations réalisées par les bailleurs de fonds comme ECHO.

8
Ce rapide tour d’horizon des différents documents portant la mention « évaluation » nous a
permis d’émettre trois hypothèses. La première d’entre-elles suppose que l’évaluation n’est
pas réellement pratiquée au sein de l’association. Elle attesterait ainsi de la rareté de ces
documents et supposerait que l’on s’intéresse aux raisons motivant une pratique restreinte.
La seconde hypothèse s’oriente vers la possibilité d’une politique d’évaluation strictement
interne à laquelle l’observateur extérieur n’a que difficilement accès. La dernière de ces
trois hypothèses préjuge de la présence d’une démarche d’évaluation qui se lit ailleurs que
dans des rapports portant la mention « évaluation ». Nous verrons au cours de notre
recherche que ces trois hypothèses ne sont en réalité pas exclusives les unes des autres.
C’est leur complémentarité qui nous permet en fait de comprendre quelle forme prend
l’évaluation au sein de MSF.

Née en 1971, MSF fut à l’origine du mouvement « sans frontièriste » qui verra naître de
nombreuses organisations se réclamant du même courant. Nous savons cette association
empreinte d’une forte culture identitaire. Elle est connue pour ses prises de position dans
l’espace public. Soucieuse de préserver son indépendance d’action, elle est souvent perçue
comme « arrogante » par ses pairs et apparaît de plus en plus en marge d’un « système
humanitaire » témoignant d’une volonté grandissante de travailler collectivement. John
Mitchell, directeur du réseau ALNAP 2 , analyse cet isolement comme tel : « En raison de
l’opérationnalisation du principe d’indépendance, MSF a dû devenir un électron libre. Le
simple fait de se joindre à d’autres groupes, à d’autres mouvements, à des initiatives
communes, etc. exigera inévitablement une perte de cette indépendance qui permet l’action
la plus directe. MSF ne se prête pas bien à la mentalité de comité et, par conséquent, je
présume qu’elle rechigne à adhérer. » 3 Nous aurions pu envisager de traiter notre sujet
sous cet angle « culturel » et partir d’une idée simple postulant que la « culture MSF » ne
se prête pas à une « culture de l’évaluation ». Nous avons délibérément pris le parti de ne
pas l’analyser de cette façon. D’abord parce que la « culture MSF » et la construction
identitaire de l’ONG est un sujet d’étude récurrent, ensuite parce qu’il est trop facilement
un facteur explicatif à toutes les prises de position de l’association, enfin parce que nous
considérons que la raison d’agir de MSF est avant tout motivée par les priorités de l’action
et puise des explications dans l’analyse passée de ses expériences de terrain. Dans une

2
The Active Learning Network for Accountability and Performance in Humanitarian Assistance
3
MSF, My sweet La Mancha, recueil de contributions écrites entre juillet et octobre 2005, décembre 2005,
p.84

9
première partie, ce travail se propose de voir quelles relations MSF entretient avec le
concept et la technique de l’évaluation. Ce faisant, il faut revenir sur l’évaluation de
l’action humanitaire d’un point de vue général. Comment l’évaluation des actions des
Organisations de Solidarité Internationale est apparue nécessaire, en quoi celle-ci s’est-elle
récemment adaptée aux contraintes liées aux situations d’urgence ? Malgré cette
adaptation, MSF montre des réticences à s’approprier ces méthodes d’évaluation. Celles-ci
sont avant tout motivées par un scepticisme lié à l’opportunité et à l’utilité de l’emploi de
ces techniques. Une deuxième partie nous permettra de pénétrer plus au cœur de
l’association et de voir, en pratique, que l’évaluation est parfois utilisée dans certaines
circonstances. Plus que tout, MSF reconnaît aussi une nécessité aux finalités de
l’évaluation, celle du rendu de comptes et de sa fonction d’apprentissage. Concrètement
alors, quels contours la démarche d’évaluation des actions prend-elle au sein de MSF ? En
quoi celle-ci, tant pour des raisons internes qu’externes, est-elle appelée à évoluer encore ?
Ces questions constituent la trame des pages qui vont suivre.

10
Partie 1 – MSF et l’évaluation : un rapport distancié au concept et à la
technique

Cette partie se propose de voir quelles relations MSF entretient avec le concept et
l’utilisation des méthodes d’évaluation. Avant de mettre en corrélation ces ceux éléments,
il convient de s’arrêter un moment sur la diffusion de cette méthode dans le domaine de
l’action humanitaire, d’en préciser la définition et les contours.

1. L’évaluation : un concept et une technique formalisée dans le domaine de

l’action humanitaire

L’évaluation est un mot appartenant au langage courant, qui, pour beaucoup, ne renvoie
pas à une procédure précise. Il est d’usage d’entendre qu’un tel a été évalué, que tel autre a
évalué. Pourtant, l’évaluation est un exercice particulier dont l’opportunité a été adaptée au
domaine de l’action humanitaire, puis plus récemment aux situations d’urgence.

1.1. Adaptation des procédures aux situations d’urgence humanitaire

Les deux points suivants témoignent de ce cheminement. Il fallait d’abord que les acteurs
du domaine de l’humanitaire acceptent le principe même d’une évaluation, avant qu’il ne
s’avère que cette procédure devait être complétée pour optimaliser son utilisation dans les
situations portant sur des opérations de secours.

1.1.1. Evaluer l’action humanitaire

Avant même l’application d’une méthode ou d’une technique d’évaluation formalisée,

l’idée d’évaluer l’action humanitaire est longtemps apparu comme un néologisme à lui tout
seul. Rony Brauman, ancien président de Médecins Sans Frontières France, définit l’action
humanitaire comme « celle qui vise, sans aucune discrimination et avec des moyens
pacifiques, à préserver la vie dans le respect de la dignité, à restaurer dans leur capacité

11
de choix des hommes qui en sont privés par les circonstances » 4 . Evaluer l’action
humanitaire, c’est évaluer une action qui se veut d’abord motivée, par principe, par le
désintérêt de son engagement. Il en résulte une série d’obstacles qui ont naturellement pesé
dans l’application tardive de ces méthodes au domaine de l’action humanitaire. La
conviction la plus largement partagée au sein des ONG était la suivante : « Nous avons fait
de notre mieux dans des circonstances extrêmement difficiles et nous n’acceptons pas que
quelqu’un, non impliqué dans l’intervention, vienne nous critiquer. » 5 D’autres éléments
d’ordre pratiques et techniques corroborent cette première constatation. Les organisations
intervenant dans des contextes de réponse à des crises doivent faire preuve d’une réactivité
d’intervention maximale qui rend indisponible ou ne facilite pas la collecte de
renseignements de base utiles à l’évaluation. Toutefois, ces contraintes d’ordre
structurelles n’ont pas eu raison de la progression d’une mise en œuvre de cette pratique.
La crise qui sévit dans les années 1980 dans le domaine de l’aide au développement
accéléra la diffusion de cette pratique dans le domaine de l’action humanitaire. Elle remit
en cause le postulat communément véhiculée d’une aide génératrice de progrès.
L’évaluation s’imposa alors comme un outil d’aide à la décision concernant l’allocation
des fonds disponibles et fut considéré comme un moyen d’apprécier l’efficacité des
programmes d’aide au développement. « A la fin des années 1970, la plupart des
organisations gérant l’aide au développement avaient des antennes d’évaluation sous une
forme ou une autre. » 6 Comparativement, l’opportunité de l’application des procédures
d’évaluation à l’action humanitaire est une idée dont le cheminement fut un processus
relativement lent. Là où l’invocation des « bonnes intentions » avait longtemps supplanté
les autres discours, les ONG se trouvaient de plus en plus face à une « obligation de
moyens », voire même une « obligation de résultats ». Ainsi, jusqu’au début des années
1990, le nombre d’évaluation de l’aide d’urgence est resté relativement limité. En 1991, les
montants alloués à l’aide humanitaire bilatérale augmentent sensiblement devant la
multiplication des situations d’urgence, essentiellement consécutives à l’effondrement du
bloc soviétique et à la fin d’un monde bipolaire. Aux Pays-Bas, le Ministère de la
Coopération au Développement mandate une antenne du Ministère des Affaires Etrangères
pour conduire une évaluation de l’aide bilatérale apportée en Somalie. Certains auteurs

4
BIQUET J.-M., « Les risques quotidiens de dévaluation de la démarche humanitaire », in : Médecine
Tropicale, n°62, 2002, p. 428
5
WOOD Adrian, APTHORPE Raymond, BORTON John (Dir.), Evaluer l’action humanitaire, éd. Karthala,
2002, p.30
6
Ibidem, p.29

12
analysent cette évaluation comme « la première tentative pour évaluer l’aide humanitaire
envoyée à la suite d’un conflit ou d’une urgence complexe » 7 . Créé en 1992, le European
Commission Humanitarian Office 8 (ECHO) va nettement contribuer à insuffler l’idée
d’une évaluation des actions au sein même des ONG puisqu’il comprend, dans ses propres
procédures, l’impératif d’évaluation. N’émanant pas directement d’un impératif qu’elles se
sont elles-mêmes fixées au terme d’un processus de réflexion interne, les ONG ont
longtemps considéré la pratique de l’évaluation « (…) à la fois comme une forme
d’ingérence et une pratique coûteuse et inutile imposée de l’extérieur sur injonction des
bailleurs de fonds (…) » 9 . En 1994, le génocide rwandais sera un événement majeur dans
le changement d’attitude qui va s’opérer. Une mission d’évaluation collective multi-
bailleurs, connue sous la dénomination anglaise « Joint Evaluation of Emergency
Assistance to Rwanda » 10 produit un rapport débouchant sur 11 recommandations
concernant l’aide humanitaire en générale et souligne la faible efficacité de l’aide apportée.
Les conclusions estiment que la mort de près de 100 000 personnes aurait pu être évitée si
l’aide avait fait état d’une plus grande efficacité globale. Dès lors, même si la procédure de
contrôle que constitue la pratique de l’évaluation ne bénéficie pas d’une image toujours
positive au sein des ONG, son utilité n’est désormais plus remise en cause. En ce sens,
« l’idée d’évaluation » ou la nécessité d’évaluer ses actions est résolument perçue comme
un élément de la responsabilité des ONG. De là à stipuler, comme certains auteurs
l’affirment, qu’il s’agit aujourd’hui d’un débat apaisé, nous pouvons en douter, mais il est
certain que le principe de l’évaluation est désormais largement partagé par la communauté
des ONG, qu’elles soient françaises ou anglo-saxonnes 11 .
Dans un document intitulé L’évaluation et ses enjeux dans le secteur de l’action
humanitaire 12 , préparé par François Grünewald pour le compte du groupe Urgence
Réhabilitation Développement, l’auteur estime que l’année 1996 marque le début de l’
« apparition d’un secteur ‘évaluation humanitaire’. » Toute une série d’initiatives, plus ou

7
WOOD Adrian, APTHORPE Raymond, BORTON John (Dir.), Op. Cit., p.29
8
Bureau Humanitaire de la Commission européenne
9
RYFMAN Philippe, Les ONG, éd. La Découverte, Paris, 2004, p.43
10
Joint Evaluation of Emergency Assistance to Rwanda, The international response to conflict and genocide:
lessons from the Rwanda experience, 1996
11
Nous ne développerons pas ici les raisons qui sous-tendent le fait que la pratique de l’évaluation est moins
formalisée dans la communauté des ONG françaises que dans celles du monde anglo-saxon, puisque nous
avons résolument pris le parti de considérer l’idée d’évaluation comme un élément faisant désormais parti
d’une démarche globale de professionnalisation des ONG françaises.
12
GRÜNEWALD François, « L’évaluation et ses enjeux dans le secteur de l’action humanitaire », revue des
travaux du groupe URD sur la période 1997-2002, nov. 2002, trouvé sous :
http://www.urd.org/fichiers_urd/projqual/rechmeth/evaluat.pdf

13
moins en rapport direct avec l’évaluation, et la constitution de réseaux d’ONG vont alors
voir le jour. Il s’agit d’une démarche qui s’inscrit le plus souvent dans une volonté de se
doter des moyens permettant de prouver la qualité de ses actions, mais aussi de tendre vers
une amélioration de celles-ci 13 . La technique d’évaluation est alors pensée comme un outil
approprié pour rendre compte de cette qualité et accroître la responsabilité. Au niveau
international, l’année 1997 voit naître un réseau sur l’évaluation de l’action humanitaire,
l’Active Learning Network for Accountability and Performance (ALNAP). Il regroupe une
cinquantaine d’agences internationales liées à l’action humanitaire : des bailleurs de fonds
bilatéraux et multilatéraux, des agences des Nations Unies, des ONG et des plates-formes
d’ONG, le mouvement de la Croix-Rouge et du Croissant Rouge, des chercheurs. Avant
toute chose, l’ALNAP est un réseau d’échanges et tente de construire une approche
commune de l’évaluation, notamment au travers de publications telles que Evaluer l’action
humanitaire avec les critères du CAD. En France, le Fonds pour la promotion des études
préalables, études transversales et évaluations (F3E) envisage l’évaluation comme un outil
pour améliorer la qualité : « évaluer pour évoluer » et a largement contribué à construire
une dynamique positive au sein des ONG en promouvant l’évaluation comme un « outil au
service de l’action »14 . Il propose à ses membres de conduire diverses études et évaluations
par le biais d’experts externes. Enfin, on peut citer le projet Synergie Qualité 15 , qui a
développé par l’intermédiaire du groupe Urgence, Réhabilitation, Développement (URD),
un outil de pilotage et d’évaluation appelé le Compas qualité. Il se présente sous la forme
d’une rose des vents formalisant 12 critères 16 de qualité pour les projets. Tous ces réseaux
produisent ainsi de nombreuses publications relatives à l’évaluation de l’action
humanitaire. Pour plus d’exhaustivité, il faudrait ajouter les ouvrages et publications des
groupes et réseaux abrités par l’Overseas Development Institute (ODI) 17 , tels que le
Humanitarian Policy Group ou le Relief and Rehabilitation Network, puis les nombreux

13
Nous ne nous attarderons pas ici sur les nombreuses initiatives pour la qualité portées par des réseaux
d’ONG, mais nous mentionnons seulement celles qui ont directement à voir avec l’évaluation. Parmi ces
initiatives pour la qualité, on retrouve le projet Sphère (normes et indicateurs), l’Humanitarian
Accountability Project (améliorer la redevabilité envers les bénéficiaires), le code People in Aid (gestion des
ressources humaines au sein des ONG). En France, on retrouve aussi le Comité de la Charte de déontologie
(transparence financière).
14
F3E, L’évaluation : un outil au service de l’action, IRAM, déc. 1996, trouvé sous : http://www.iram-
fr.org/documents/guide-evaluation.pdf
15
Projet initié par 5 ONG : ACF, HI, MDM, la Croix-Rouge française et Solidarités.
16
Et chaque critère renvoie ensuite à une série de questions. Pour cela, se reporter sur le site :
http://www.projetqualite.org/compas/outil
17
Institut de recherche sur le développement basé à Londres

14
dossiers du Groupe de Recherche et d’Echanges Technologiques (GRET) 18 . A ce type de
littérature s’additionnent les manuels d’évaluation propres aux agences pourvoyeuses
d’aide tels que ECHO 19 , la Commission Européenne 20 , la Banque Mondiale ou l’agence
américaine USAID. D’une certaine façon, ces guides d’évaluation sont appropriés en
premier à leurs auteurs. Il apparaît difficile que les ONG reprennent directement à leur
compte ce type d’ouvrages pour l’évaluation de leurs propres actions. Un travail
d’appropriation est nécessaire. Pour bon nombre d’autres publications, elles sont surtout
axées sur des situations de temps long, caractéristiques des programmes à moyen terme.
Pour les ONG travaillant en contexte d’urgence, les spécificités liées à leur activité ne sont
pas toujours prises en compte dans ces documents de travail et peuvent être un obstacle à
leur assimilation. Il s’avère alors plus que nécessaire de prendre en compte les
caractéristiques propres aux situations d’urgence.

1.1.2. Prise en compte des spécificités propres aux situations d’urgence

Si l’apparition d’une réelle réflexion sur l’évaluation de l’action humanitaire ne date à

peine plus que d’une dizaine d’années, celle de prendre en compte les spécificités propres à
ce qu’il est convenu d’appeler « les situations d’urgence », est encore plus récente. En
1999, José A. Bastos dans le cadre de l’université anglaise London School of hygiene and
tropical medicine, produit une thèse intitulée Evaluating humanitarian action in conflicts,
a critique of current pratice. Critical analysis and new approches 21 . Un an auparavant,
Alistair Hallam avait conduit la même réflexion, celle de penser que les particularités
d’une urgence doivent être prises en compte dans la manière de les évaluer.

« [Une situation d’urgence complexe peut être définie comme] toute urgence faisant
référence à une crise d’ordre politique –i.e., non liée à une catastrophe naturelle. La

18
Voir par exemple : GRET, « Evaluer : apprécier la qualité pour faciliter la décision », in : Coopérer
aujourd’hui, n°21, mars 2001, trouvé sous : http://www.gret.org/ressource/pdf/cooperer21.pdf
19
ECHO, Manual for the evaluation of humanitarian aid, 1999
20
DG XVI, Indicateurs pour le suivi et l’évaluation : une méthodologie indicative, 2000
21
Référence trouvée sous : LARMOYER Aurélie, Elaboration d’une méthodologie d’évaluation pour Action
Contre la Faim : Enseignements sur la marche à suivre, sous la direction de Alain Rochegude, Université
Paris 1 Panthéon Sorbonne, 2004 (non publié), p.21

15
spécificité des situations d’urgence complexes induit des contraintes particulières et donc
une méthodologie d’évaluation particulière. » 22

Dans une publication qui reste une référence pour l’évaluation de ce type de contextes, le
Comité d’Aide au Développement (CAD) de l’OCDE a justement précisé ces
caractéristiques et prodigue une série de conseils pour qui souhaite évaluer une situation
d’urgence complexe.

Caractéristiques des situations d’urgence complexes

- Des conflits internes aux Etats plutôt qu’entre Etats

- Une distinction difficile entre civil et combattant
- La violence à l’égard des civils et structures civiles
- Le caractère mouvant de la situation de terrain
- L’absence partielle ou totale de mécanismes normaux de contrôle
- La formation potentielle et réelle d’une économie de guerre
- L’aide humanitaire, facteur potentiel de prolongation du conflit
- La multiplicité des acteurs du système international

OCDE/CAD, Conseils pour l’évaluation de l’aide humanitaire apportée dans des situations d’urgence
complexes, 1999, pp.6-8

De ces caractéristiques des situations d’urgence découle toute une série de paramètres
spécifiques à prendre en compte lors des évaluations menées en situation d’urgence. En
raison de la réactivité d’intervention qui doit être celle des ONG, la collecte de données et
la mise en place d’instruments de collecte ne sont pas toujours aisées. Il est donc difficile
d’établir des relations de causalité entre une action et un effet supposé. Le caractère
mouvant des situations de terrain et les liens d’interdépendance des éléments qui
composent le système d’intervention permettent difficilement de supposer que x a entraîné
y. Il apparaît alors davantage pertinent d’évaluer des politiques plutôt que des projets et de

22
HALLAM Alistair, « Evaluating Humanitarian Assistance Programmes in Complex Emergencies », in :
Good Practice Review 7, Relief and Rehabilitation Network, London, sept 1998, trouvé dans : LARMOYER
Aurélie, Op. Cit., p.14

16
privilégier une analyse qualitative là où la collecte de données entraînerait une perte
d’efficacité et entraverait une réactivité maximale. Il faut aussi porter attention à de
nombreux autres éléments, tels que l’accessibilité et la protection des populations, le
détournement potentiel de l’aide, l’indépendance opérationnelle, les impacts négatifs, les
risques de prolongation du conflit, la prise en compte des communautés hôtes dans un
contexte de déplacement des populations… De nombreux paramètres 23 peuvent ainsi être
ajoutés à ceux qui composent l’évaluation de programmes d’aide plus « classiques ».
Néanmoins, devant la diversité et la complexité des situations de terrain, un socle commun
à de nombreuses techniques d’évaluation peut être mis à jour. Il se compose de définitions
émergentes, de critères d’évaluation définis, d’un déroulé précis.

« Il n’existe pas de recette tout-terrain permettant d’évaluer n’importe quelle politique,

mais il est possible de définir des principes de conduite d’une opération d’évaluation
suffisamment généraux pour s’adapter à une large gamme de situations. » 24

C’est ce socle commun à la grande majorité des techniques d’évaluation qui nous intéresse
maintenant.

1.2.Principes généraux d’une opération d’évaluation : une technique formalisée

1.2.1. Le cadre de l’évaluation : définitions, critères, indicateurs, finalités

Pour tenter de comprendre ce qu’est une évaluation, et devant les nombreuses définitions,
nous nous proposons d’abord de définir ce qu’elle n’est pas. Cette tentative de définition
par la négative est nécessaire pour éliminer préalablement le manque de précision autour
de la notion. Dans son document, L’évaluation, un outil au service de l’action, le F3E nous
donne des éléments de réponse. L’évaluation n’est ni une procédure visant à espionner, ni
une intrusion voleuse de pouvoir, ni une inquisition sans dialogue. Elle n’est pas non plus
un « luxe inutile » : « ‘Financer une étude ou payer des sacs de ciment plus nombreux ?’
Voilà le dilemme de certaines ONG. Les évaluations sont parfois considérées comme le

23
Pour plus de détails se reporter à : CAD/OCDE, Conseils pour l’évaluation de l’aide humanitaire apportée
dans les situations d’urgence complexes, 1999, pp.11-32
24
PERRET Bernard, L’évaluation des politiques publiques, éd. La Découverte, Paris, 2001, p.7

17
luxe d’organisations nanties. » 25 L’évaluation n’est pas un verdict que l’on ne discute pas :
« Les analyses émises peuvent être contredites et les propositions discutées. » 26 A ce titre,
il est d’usage d’intégrer à la fin d’une évaluation les commentaires de l’organisation
commanditaire, si l’analyse de celle-ci quant à la situation analysée, diffère des
conclusions émises dans un rapport d’évaluation. Enfin, l’évaluation n’est pas une séance
de programmation : « Une évaluation se termine (…) par des recommandations. Mais il
s’agit seulement d’orientations, de pistes et de chemins de réflexion à explorer (…). » 27
Dans son Manual for the evaluation of humanitarian aid, ECHO souligne que l’évaluation
d’une action humanitaire n’est ni une recherche scientifique, ni un audit, ni un processus de
monitoring 28 . L’évaluation n’est pas non plus un contrôle, qui se définit plutôt par : « la
collecte et l’analyse systématiques et continues d’informations sur l’évolution d’une action
au cours du temps. » 29
L’évaluation est, dans sa première acceptation, considérée comme « une appréciation à un
instant t, qui se concentre spécifiquement sur l’atteinte des objectifs fixés pour un travail
donné et sa résultante. » 30 Le F3E en donne une définition assez similaire et tout aussi
générale. « Evaluer c’est analyser les résultats par rapport aux objectifs, en vue de porter
un jugement objectif et éventuellement de déterminer des orientations et donc de faire
évoluer si besoin. » 31 Lorsqu’elle s’applique plus spécifiquement au domaine du
développement et de l’action humanitaire, les définitions données de l’évaluation
comportent en leur sein les critères qui permettent communément d’évaluer. Ainsi, le CAD
définit l’évaluation comme « une appréciation systématique et objective d’un projet, d’un
programme ou d’une politique, en cours ou terminé, de sa conception, de sa mise en œuvre
et de ses résultats ; le but étant de déterminer la pertinence et l’accomplissement des
objectifs, l’efficience en matière de développement, l’efficacité, l’impact et la
durabilité. » 32 La définition d’ECHO est celle-ci : « l’évaluation est une étude
indépendante et objective de la pertinence, l’efficacité, l’efficience, l’impact et la viabilité
d’une intervention humanitaire, afin de tirer des leçons de l’expérience. » 33 Ces deux

25
F3E, L’évaluation, un outil au service de l’action, 1996, p.13
26
Ibidem, p.14
27
Ibidem
28
ECHO, Manual for the evaluation of humanitarian aid, 1999, p.26
29
GOYDER Hugh, « Former, contrôler, évaluer », in : BLANCHET Karl, MARTIN Boris (Dir.), Critique de
la raison humanitaire, éd. Le cavalier Bleu, 2006, p.71
30
Ibidem
31
F3E, Le suivi d’un projet de développement, 2002, trouvé dans : LARMOYER A., Op. Cit., p.4
32
CAD/OCDE, Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats,
2002, trouvé sous : LARMOYER A., Op. Cit., p.4
33
ECHO, Op. Cit., 1999, p.25 (traduction de l’auteur)

18
dernières définitions nous renseignent sur les critères communément employés, qu’ils
s’agissent d’évaluation de projets, d’activités, de programmes ou de politiques, et ce pour
des actions de long, moyen et court termes.

Principaux critères relatifs aux techniques d’évaluation

L’efficacité : mesure de la qualité des résultats au regard des prévisions et des objectifs, en
terme de processus, réalisations ou effets
L’efficience : utilisation optimale des ressources pour atteindre les résultats, rapporté à un
bénéfice quantifiable ou non (analyses coût/efficacité…)
L’impact : changement significatif à long terme induit par l’action, positif ou négatif,
intentionnel ou non
La viabilité : capacité de l’action à se poursuivre sans appui extérieur (on l’appelle parfois
aussi la pérennité)
La pertinence : adéquation des activités mises en œuvre relativement aux besoins, aux
priorités et mandat de l’association
La cohérence : examen des objectifs et activités prévues au regard du contexte ou de la
logique d’intervention

Il n’existe pas de réelle interdépendance de ces critères même si certains affirment que leur
passage en revue est nécessaire lorsque l’on souhaite évaluer de manière exhaustive un
programme ou une politique, par exemple à l’échelle d’un pays. Mais il est tout à fait
envisageable de définir un angle de vue particulier qui déterminera le ou les critères
choisis. C’est par exemple le cas lorsqu’il s’agit d’une évaluation cherchant à montrer
l’impact d’une ou plusieurs interventions. En fonction de ce que l’on souhaite évaluer, on
choisira ensuite des indicateurs. Il existe une grande variété d’indicateurs. Ils peuvent être
des indicateurs de fonctionnement comme la rapidité de l’intervention si l’on est dans une
situation d’urgence, les moyens humains, financiers et logistiques. Dans le cas des
interventions médicales d’urgence, on trouve aussi de nombreux indicateurs de couverture
relatifs à la spécificité de l’activité médicale. En fonction des interventions, on cherchera
alors à mettre en évidence des points tels que les taux de mortalité et de morbidité, la mise
en place d’un système de surveillance épidémiologique, les taux de couvertures vaccinale

19
ou de malnutrition, les activités préventives… L’utilisation possible de ces indicateurs
découle en partie de l’information qu’il sera possible de récolter. Les méthodes de collectes
de l’information sont encore une fois diverses. Elles peuvent être d’ordre quantitatives
(enquête, échantillonnage statistique…), qualitatives (entretiens semi-directifs,
inteviews…), participatives (« mapping »…) ou encore émanées de l’observation directe.
La diversité des méthodes ne rend pas la tâche de l’évaluation plus aisée, même si les
spécificités relatives à chacune des interventions de terrain amèneront les évaluateurs à
choisir les méthodes adaptées.
Un autre élément de ce socle commun à de nombreuses évaluations se situe dans les
finalités qu’elles entendent poursuivre. Il s’agit d’ailleurs du premier aspect mentionné
dans une grande majorité des publications sur le sujet. Une évaluation sert à « gérer », à
« informer », à « contrôler » 34 . Pour ECHO, elle devrait être une « aide à la prise de
décision » 35 . En tout cas, c’est un outil qui renvoie à l’ « obligation de ne pas répéter les
mêmes erreurs. » 36 Communément, on lui reconnaît d’abord la fonction de « tirer des
leçons de l’expérience ». Elle a pour but d’analyser le passé pour mieux programmer
l’avenir 37 . « L’étude fine de tous les aspects permet de déterminer les points forts d’un
projet et ses insuffisances, elle sert à dresser un bilan critique qui conduit à en conforter
les acquis ou le réorienter. » 38 Cette première fonction reconnue à la conduite d’une
évaluation induit trois autres aspects. « Tirer des leçons », c’est dresser un bilan, apprendre
de l’expérience et capitaliser l’information au sein de la structure organisationnelle. La
deuxième fonction qu’il est coutume d’invoquer est celle du « rendu de compte ». Elle
s’inscrit dans le concept plus général de la responsabilité. Cette dernière s’exerce souvent
de deux manières ; vers l’amont (« upwards ») envers les donateurs, et vers l’aval
(« downwards ») envers les destinataires de l’aide. Après s’être ainsi intéressé au cadre de
l’évaluation, dans ses définitions, critères, indicateurs et finalités, il s’agit de lui donner
une temporalité en s’attardant sur les étapes préconisées.

34
F3E, Op. Cit., 1996, pp.2-10
35
ECHO, Op. Cit., 1999, p.26
36
GRÜNEWALD François, « Vous avez dit évaluation ? », adaptation d’un texte écrit en 1995 dans le cadre
d’un travail pour le CICR, trouvé sous : http://www.poluniv-
mpl.fr/UEE2006/telechargement/Francois%20Grunewald/VOUS%20AVEZ%20DIT%20EVALUATION.pd
f, p.2
37
F3E, Op. Cit., 1996, pp.2-10
38
F3E, Guide de l’évaluation, trouvé sous : LARMOYER A., Op. Cit., p.24

20
 1.2.2. Une temporalité à l’évaluation : étapes préconisées

Il semble que la meilleure manière d’augmenter l’efficacité d’une évaluation soit de suivre
quelques grandes étapes que de nombreuses sources identifient comme indispensables. En
ce sens, cet exercice s’inscrit dans une temporalité précise.

Les grandes étapes d’une opération d’évaluation

→ La décision d’évaluer et sa planification

→ La rédaction des termes de références (TOR)
→ La sélection de l’équipe d’évaluateurs
→ Le recueil, l’exploitation et l’analyse de l’information (littérature diverse, visite
terrain…)
→ La restitution de l’information et la rédaction du rapport
→ Les suites de l’évaluation

Chacune de ces étapes appelle à de nombreux commentaires et autres conseils. Une fois la
décision d’évaluer prise, il convient de planifier sa mise en œuvre et de préciser son
contenu. Une grande majorité de ces informations seront contenus dans les termes de
références (TOR) 39 , qui se doivent d’être explicitement contenus par écrit. Ce document
est un cahier des charges, il sera remis à l’équipe d’évaluateurs après sa sélection. Il se
définit généralement comme un document écrit présentant le but et le champ de
l’évaluation, les méthodes à utiliser, les références etc. Il présente l’ « ensemble des
questions auxquelles l’évaluation va permettre de répondre » 40 . Pour ECHO par exemple,
la fiche présentant les TOR doit être très détaillée 41 . On y retrouve le nom des parties de
l’opération à évaluer, le rôle de l’évaluateur, le but de l’évaluation et ses objectifs
spécifiques détaillés, les méthodes de travail utilisées, les phases de l’évaluation, la
description de poste des évaluateurs, un calendrier précis de l’évaluation et la façon dont le
rapport final devra être écrit et présenté. Il s’agit ensuite de sélectionner l’équipe qui
conduira l’évaluation. La sélection peut se faire en interne ou en externe. Dans tous les cas,
« (…) il est sain que la procédure de sélection de l’évaluateur soit claire pour tout le

39
TOR (Terms Of References)
40
F3E, Op. Cit., 1996, p.71 (glossaire des termes)
41
ECHO, Op. Cit., 1999, pp.39-46

21
monde, pour éviter les suspicions de ‘copinage’ dans le choix. » 42 Pour une légitimité
maximale de l’évaluateur, il est nécessaire qu’il soit accepté par toutes les parties à
l’évaluation, notamment les personnes évaluées. « L’acceptation de l’évaluateur, par
l’ensemble des parties, tant sur le plan de son expérience professionnelle que sur celui de
sa personnalité, est fondamentale pour garantir sa légitimité. » 43 Cette étape s’avère
souvent cruciale pour la réussite d’une opération d’évaluation. Une fois l’équipe
sélectionnée, les évaluateurs doivent d’abord prendre connaissance de toute la littérature
existante, que l’organisation commanditaire aura eu soin de réunir. Cette phase
s’accompagne généralement d’une visite terrain qui complète la première phase de collecte
de données. Toute évaluation se termine par la remise d’un rapport dans lesquelles on
trouvera des recommandations. On peut décider qu’une partie du rapport reste
confidentielle. Surtout, les commanditaires de l’évaluation peuvent ajouter leurs propres
commentaires à la fin du rapport. L’évaluation reste un rapport et n’a, en soi, aucun
pouvoir d’obligation. Bon nombre d’entre-elles finissent de ce fait sur les étagères des
ONG et n’ont aucune suites concrètes. Seule une volonté politique partagée peut permettre
d’envisager le processus approprié pour faire que ces recommandations se transforment en
actions. Et ce passage des mots aux actes est sans aucun doute la partie la plus difficile à
réaliser. Il ne suffit pas d’accepter le principe de l’évaluation, il faut lui donner aussi une
réelle utilité.

La pratique de l’évaluation correspond ainsi à une technique formalisée qui a su s’adapter

aux spécificités de l’action humanitaire et qui, de plus en plus, intègre des critères précis
quand il est question d’évaluer les situations d’urgence. Ce cadre normatif renvoie à la
nécessité de pouvoir conduire de « vraies évaluations ». L’assimilation de ces méthodes
sera le gage d’évaluations efficaces et réussies. Bon nombre de ces documents d’ordre
méthodologique font désormais office de références pour celui qui souhaite conduire une
évaluation. Les ONG qui ont, ou qui sont en train, d’initier une pratique d’évaluation plus
systématique de leurs interventions, se sont très largement inspirées de toutes ces
publications prodiguant méthodes précises et conseils avisés. La pratique de l’évaluation
des actions humanitaires, bien que récente, tend ainsi à devenir une politique plus
systématique au sein des ONG. Avant de voir les relations qu’entretient Médecins Sans

42
F3E, Op. Cit., 1996, p.19
43
Ibidem

22
Frontières avec le concept d’évaluation, il paraît utile d’avoir un éclairage de cette pratique
au sein d’une autre ONG afin de mieux mettre en lumière les différentes approches.

23
Un exemple : la politique d’évaluation au sein d’Action Contre la Faim

Depuis l’année 2003, ACF a décidé d’investir sur le contrôle de la qualité de ses actions.
Cette dernière passe de fait par un système de suivi et d’évaluation plus formalisé.
Dernièrement, la section anglaise d’ACF est devenue non-opérationnelle et s’est dotée, en
2006, d’un « evaluation office ». En ce sens, les évaluations au sein d’ACF tendent à
devenir plus systématiques. En 2007, un document de référence à usage interne est paru :
Evaluation policy and Guidelines 2007. Il expose la politique d’ACF en matière
d’évaluation en précisant les buts et finalités prêtées aux évaluations, en étoffant les
questions découlant des critères employés, en budgétisant le prix d’une évaluation… Ce
document précise plus généralement quelle méthode d’évaluation ACF souhaite
s’approprier, quelle est sa compréhension de l’écriture des TOR, quel est le moment
optimal de l’évaluation...

Le bureau ACF-UK, en charge de la mise en œuvre des évaluations, réalise aujourd’hui

une vingtaine d’évaluations externes par an pour l’ensemble du réseau ACF, et espère
augmenter ce nombre jusqu’à trente évaluations dans les années à venir. Ces évaluations
sont basées sur les critères de l’ALNAP et de l’OCDE : Impact, efficacité, efficience,
durabilité, pertinence… Henri Leturque, « evaluation officer », en charge de la mise en
place de ces évaluations, souligne l’importance d’appliquer ces critères avec une certaine
flexibilité. Pour l’évaluation des opérations d’urgence notamment, le critère de durabilité
n’est pas toujours approprié 44 . Pour conduire les évaluations, ACF recrute des évaluateurs
ayant des expériences de terrain significatives, mais seulement 10% d’entre eux ont une
expérience de terrain avec ACF. L’évaluation doit réellement rester le moment où
l’évaluateur apporte un regard neuf sur le terrain. ACF a également mis en place des méta-
évaluations, document rassemblant les résultats et recommandations de toutes les
évaluations réalisées sur une année. Ces documents présentent une utilité certaine, ils sont
l’occasion de voir plus clairement les points faibles à améliorer et mettent à jour des
grandes tendances et spécificités de l’action humanitaire à ACF. Ces exercices ont montré
à quel point le questionnement d’un regard extérieur permettait de se poser de nouvelles
questions, approfondissant bien souvent des résultats que les projets de
monitoring/évaluation effectués en interne n’ont jamais mis à jour. De ces évaluations, il
est apparu une certaine nécessité de renforcer le système de suivi des projets. Concernant
les évaluations internes, le bureau des évaluations d’ACF-UK a d’ores et déjà mis au point
un outil d’auto-évaluation qui permettrait aux opérationnels (siège et équipe terrain
capitale par exemple) de vérifier rapidement (en trois jours) la qualité de leurs
interventions en temps réel. Il reprend les mêmes critères que ceux utilisés pour les
évaluations externes.

La pratique de l’évaluation tend ainsi à entrer dans les mœurs à ACF, parce qu’elle suscite
un réel intérêt de la part des desks en charge des opérations, des directeurs de secteurs et de
toutes les personnes déterminant les projets opérationnels. Henri Leturque du bureau des
évaluations de ACF reconnaît que : « L’évaluation ne sert à rien en soi, mais c’est le fait
de mettre en place une culture de l’évaluation qui est importante. » 45 Et cette « culture de
l’évaluation », chez ACF, prend le chemin d’une pratique formalisée et systématique.

44
Voir le compte-rendu en annexe de l’entretien téléphonique réalisé le 3 octobre 2007
45
ibidem

24
Le précédent encadré a pour but de nous éclairer sur la manière dont la pratique de
l’évaluation peut être initiée au sein d’une ONG. En l’occurrence, chez Action Contre la
Faim, l’appropriation des méthodes évoquées jusqu’à maintenant, n’a pas provoqué de
réelles réticences en interne, même si Henri Leturque, à la tête du bureau des évaluations
d’ACF, admet qu’un véritable travail pour changer les mentalités est toujours en cours 46 .
Qu’en est-il au sein de MSF 47 ? C’est la question à laquelle nous allons tenter d’amener
une réponse dans la suite de notre étude. Mais avant de s’intéresser à la pratique de
l’évaluation de manière concrète, il s’agit de comprendre le rapport que MSF entretient
avec le concept même d’évaluation, entraînant des réticences générales face à
l’appropriation de ces méthodes.

2. Les réticences de MSF face à l’appropriation de la méthode d’évaluation

Les réticences de MSF face à la méthode d’évaluation ne sont pas le fait d’une totale
aversion pour ces pratiques. Nous verrons dans notre deuxième partie comment
l’évaluation est pratiquée à MSF et sous quelle forme. Pour l’heure, nous souhaitons plutôt
montrer comment l’évaluation est perçue, dans son acceptation générale.

2.1.L’évaluation perçue comme une technique aux possibilités restreintes

L’évaluation est perçue comme une technique s’appliquant difficilement à l’action

humanitaire menée par MSF. Ce constat émane plus d’une perception que d’une réelle
utilisation et nous montre aussi à quel point la technique de l’évaluation a été rarement
employée pour juger de la qualité opérationnelle des opérations.

2.1.1. Un concept inadapté aux actions menées

Comme nous l’avons vu, l’approche de l’évaluation s’est nettement précisée au cours des
dernières années pour davantage s’adapter aux diverses situations rencontrées par les
ONG. Sans vouloir établir un lien de causalité dont nous ne pourrions rendre compte, nous
supposons que la pratique de l’évaluation s’est développée de cette façon parce qu’elle a su

46
Voir le compte-rendu en annexe de l’entretien téléphonique réalisé le 3 octobre 2007
47
Quand nous employons le terme « MSF », nous ne parlons ici que de la section française.

25
épouser les contours des actions humanitaires et s’est adaptée à leurs contraintes. Alors que
l’on assiste à un phénomène de normalisation de cette pratique, que des collectifs se créent
pour échanger des points de vue et réfléchir de manière collective à l’utilisation la plus
appropriée de celle-ci, alors que ces pratiques convergent, MSF précise sa position par
rapport au concept même d’évaluation et montre en quoi ce terme s’adapte difficilement à
l’évaluation de ses propres interventions. Cette précision peut se lire dans les termes de
référence d’une publication interne de 2004 48 , intitulée « revue critique ». C’est la
première fois, à notre connaissance, que l’amorce d’une réflexion peut se lire sur le
concept même d’évaluation. Jusque-là, des documents de natures diverses portaient la
mention « évaluation », qu’ils renvoient ou non à des évaluations effectives.

« Le terme évaluation (…) implique, à notre avis, deux conditions :

- l’existence d’un étalon par rapport auquel on mesure un écart, ce qui permet
d’attribuer une valeur à l’objet étudié ;
- une grande objectivité de l’outil de mesure, l’équipe d’évaluation et sa méthode de
travail, grâce auquel cet écart est mesuré ». 49

La suite du document précise que ces deux conditions sont les raisons pour lesquelles « le
terme évaluation n’est pas retenu » et pourquoi ce document a une « ambition à la fois
plus modeste et plus réaliste : (…) identifier nos faiblesses et les pistes pour leur
correction. » Que ce document en particulier ne s’appelle pas « évaluation » ne pose aucun
problème a priori. On pourrait très bien imaginer que leurs auteurs ne se soient pas donnés
pour but de produire un tel document. Pourtant, il est spécifié que cette publication découle
d’une « nécessité d’améliorer le regard critique sur les opérations (…) dans ce domaine le
plus souvent présenté comme celui de l’évaluation ». Ce document reconnaît alors
s’inscrire dans une démarche d’évaluation des opérations, mais leurs auteurs décident
délibérément de ne pas utiliser ce terme au regard des deux conditions énoncées plus haut.
Au-delà d’une simple querelle de terminologie, c’est une réflexion plus profonde sur ce
qu’est l’acte d’évaluer. L’acceptation du terme évaluation telle que formulée ci-dessus
découle d’une définition première de ce qu’est l’évaluation. Le dictionnaire de la langue
française nous donne par exemple la définition suivante : « évaluer, c’est déterminer une

48
MSF, Revue critique des opérations MSF-France au Darfour (Soudan) octobre 2003-octobre 2004, Cahier
du CRASH, janv. 2007
49
Ibidem, p.131

26
valeur, une importance ». De cette définition stricte découle naturellement les
conditionnalités formulées ci-dessus pour qui souhaite se mettre en position de poser un
acte d’évaluation. Effectivement, pour déterminer une valeur à l’objet étudié, il faudra
utiliser un ou plusieurs étalons de mesure au moyen desquels mesurer l’écart déterminant
l’importance et la valeur de l’objet étudié. Effectivement aussi, il me faudra une grande
confiance en l’objectivité et la capacité de celui qui va poser l’acte d’évaluation sur l’objet
étudié. Et ce retour à une définition stricte du terme évaluation amène MSF à concevoir
l’évaluation comme un concept qui s’applique difficilement aux actions qu’elle mène. Elle
suppose que l’on soit en mesure de déterminer et de mesurer une valeur aux actions
menées en toute objectivité, chose qui ne paraît ni possible ni souhaitable aux opérations
de secours d’urgence que l’organisation réalise. C’est sans doute en ce sens qu’il faut
interpréter que le document produit a cette ambition d’être plus modeste et plus réaliste.
Parce qu’au regard de la définition stricte de l’évaluation, la pratique d’une telle démarche
apparaît, par déduction, moins modeste et moins réaliste, donc plus loin du réel, plus loin
de la réalité du terrain. Fabrice Weissman, dans une interview autour de l’évaluation,
précise justement : « A MSF, (…) on n’aime pas trop le terme évaluation parce que ça
présuppose qu’il y ait une réponse technique aux problèmes que l’on rencontre. Alors que
les opérations de secours reposent sur des choix qui sont un mélange à la fois de santé
publique et de considérations plus politique. Et le terme évaluation supposerait déjà que
l’on sache, qu’il y ait une définition exacte de ce qu’est une mission réussie. (…) Il n’y a
pas une opération type face à une situation donnée, il y a différents choix opérationnels qui
se proposent. » 50 Dans cette citation, on retrouve les conséquences de la prise en compte
d’une définition première de l’évaluation sur l’acte d’évaluer. L’étalon de mesure précisé
plus haut est donc cette idée d’une opération réussie qu’il est en fait impossible de
déterminer. Une action humanitaire ne se laisse pas mesurer par rapport à l’écart type
d’une idée formulée et la production même de l’idée d’une opération réussie n’est pas
souhaitable. Voilà pourquoi le terme évaluation dérange lorsqu’il est question de juger de
la pertinence, de l’efficacité et de l’efficience d’une opération comme le document ci-
dessus se propose de le faire. Cette réflexion sur l’évaluation est assez radicale en un sens ;
elle suppose qu’il n’est pas possible de pouvoir prétendre évaluer l’opérationnalité globale
d’une opération. Et cette impossibilité découle du fait de ne pouvoir juger d’une opération
à l’aulne de l’idée que l’on se fait d’une opération réussie. Que cette conception comporte

50
Interview réalisée le 1er octobre 2007, voir en annexe

27
un certain biais au regard de la formalisation de la pratique de l’évaluation, de plus en plus
adaptée aux spécificités des opérations de secours d’urgence, ne nous intéresse pas pour le
moment. Pour l’heure, nous ne pouvons que prendre note de la conception restreinte qui est
faite du terme évaluation, comparativement à ce que la théorie a formalisé. Pour le moins,
elle constitue un point de vue, dont nous ne pouvons pas contester la légitimité a priori,
chaque organisation étant en droit de préciser le sens des concepts qui sont sensés
s’appliquer à sa propre action. Il s’agit maintenant de s’attarder sur un autre point justifiant
la perception de MSF quant à une technique inadaptée aux actions menées.

2.1.2. Une technique qui ne renseigne en rien sur le sens de l’acte

La technique de l’évaluation est aussi perçue comme inadaptée parce qu’elle ne renseigne
en rien sur le sens de l’acte. Et s’intéresser au sens de l’acte suppose que l’on ne s’arrête
pas à ses conditions de réalisation techniques, mais que l’on analyse suffisamment
l’environnement politique dans lequel il prend son sens. L’exercice qui consiste à
démontrer l’efficacité ou l’efficience d’une opération de secours perd son sens lorsqu’il
s’absout d’une étude systématique du contexte d’intervention. En ce sens, de nombreuses
évaluations peuvent conclure à une activité satisfaisante si elles ne s’intéressent que
strictement au modus operandi de celles-ci, sans les replacer systématiquement dans le
prisme de leur environnement. Selon MSF, la technique d’évaluation ne permet pas de
faire ce travail qui, s’il n’y avait qu’une seule et première chose à évaluer, serait sans
conteste celle-ci. « [Les humanitaires] ne peuvent s’absoudre de faire l’analyse
permanente des contextes dans lesquels ils interviennent pour ne pas tomber dans le piège
de l’instrumentalisation de leurs projets et de leur présence. Ce risque est aussi présent
dans la réduction des actions à de la pure prestation de services où la recherche de
l’efficience de l’aide apportée est le seul critère d’évaluation ou de l’échec de
l’opération. » 51 Chez MSF, cette injonction à toujours chercher à comprendre le sens de
son action, sans laquelle toute tentative autre d’évaluation est vaine, est souvent rapportée
sous le mythe du médecin dans la chambre de torture. Voyons ce passage d’un article de
Rony Brauman sur la responsabilité humanitaire :
« Dans sa préface au livre d’Amnesty International Médecins tortionnaires, médecins
résistants, Paul Ricoeur prend l’exemple d’un médecin qui aurait affaire à un blessé sorti

51
BIQUET J.-M., Op. Cit., p.429

28
d’une chambre de torture, blessé auquel il prodiguerait ses soins, en le calmant, en le
suturant, en le remettant sur pieds. Une fois soigné, ce blessé serait renvoyé à la torture.
Une telle attitude, explique-t-il, revient à se mettre dans la position du bourreau, même si,
sur un plan strictement visuel et phénoménologique, le médecin ne fait rien d’autre que
jouer son rôle de soignant. Il fait certes son métier, mais il est sourd et aveugle à
l’environnement dans lequel son action prend place, donc au sens de ses actes. Il
accomplit des gestes médicalement incontestables, techniquement informés, mais qui,
dissociés d’une « éthique de la sollicitude », le placent en situation de serviteur de la
barbarie. » 52
Et ce dernier d’ajouter : « Pour des équipes humanitaires le problème peut se poser dans
des termes analogues. Ce qui implique de prendre le recul nécessaire pour s’assurer que
nos actes répondent non pas à l’impératif d’agir, mais à l’objectif de soulager (…). » 53 Et
dans un entretien autour de l’évaluation avec Fabrice Weissman, chercheur au CRASH,
c’est le même souci de voir une action dans son environnement qui ressort : « Et puis
attention, on peut très bien faire du bon travail [en terme d’efficacité] dans un
environnement qui en dénature complètement la portée. » 54 De ces prises de position, on
remarque une conception de l’évaluation réduite à l’étude de son efficacité ou de son
impact. Comme si la dimension politique d’un contexte ne pouvait pas figurer comme un
des éléments à évaluer. En ce sens, on décèle une tendance à penser que l’évaluation se
réduit sans doute à une étude portant davantage sur les aspects techniques d’une opération
de secours et sur son modus operandi, plutôt que sur sa dimension politique ou éthique.
C’est précisément dans ce sens qu’il faut comprendre cette précision : « Ce n’est pas que
l’on [MSF] n’aime pas trop [l’évaluation], c’est que le terme est réducteur par rapport à
ce que l’on attend. » 55 Et ce que l’on attend précisément, c’est une « vraie » réflexion sur
le sens de l’acte posé, un retour critique sur les opérations. Là encore l’évaluation est prise
comme une technique dont les possibilités sont restreintes et qui ne permet pas
nécessairement de répondre aux questions fondamentales que l’on devrait se poser. La
technique de l’évaluation est résolument perçue comme inappropriée lorsqu’il s’agit de
comprendre la logique opérationnelle d’une intervention, elle n’est pas celle qui permettra
de porter un regard rétrospectif constructif sur les opérations.

52
BRAUMAN Rony, « La responsabilité humanitaire », in : La sélection du CRASH, texte à paraître dans le
dossier du colloque du CICR de novembre 2001, octobre 2001, p.5
53
Ibid.
54
Voir interview en annexe
55
Ibidem

29
Après avoir décrit le point de vue de MSF par rapport à l’évaluation tel qu’il a été
récemment formulé, il nous parait évident de conclure à une conception particulière dont
l’appropriation suscite des réticences. Il importe dès à présent de confronter cette vision à
la théorie et à la pratique de l’évaluation.

2.2.Une vision particulière de la technique d’évaluation

Les réticences de MSF face à l’appropriation de méthodes d’évaluation sensées pouvoir

s’appliquer à l’appréciation de ses interventions, proviennent d’une conception restreinte
de l’évaluation et de ce qu’elle permet. Cette vision est une lecture particulière qui,
confrontée aux techniques d’évaluation et à ce qu’elles prétendent être, peut être remise en
cause.

2.2.1. Un point de vue biaisé au regard de la théorie

Les réticences de MSF face à l’évaluation découlent sans doute du fait qu’elle n’est pas
perçue comme la technique flexible qu’elle peut être. Nous l’avons vu, la première
réticence de MSF par rapport à l’utilisation de l’évaluation est cette impossibilité de
pouvoir prétendre déterminer une valeur à l’action menée. Une publication du GRET
intitulé Evaluer : apprécier la qualité pour faciliter la décision donne une définition
similaire de celle de MSF : « Evaluer, c’est produire une image de la réalité pour la
comparer à une référence, un modèle, une moyenne, une prévision, une attente. » 56 Cette
démarche pose problème à MSF en ce qu’elle présuppose que l’on puisse savoir ce qu’est
une opération réussie pour pouvoir lui donner une valeur. Pourtant, nous émettons
l’hypothèse que les autres ONG utilisant les techniques d’évaluation n’ont, à l’instar de
MSF, certainement pas la prétention de donner une valeur et de mesurer leurs opérations à
un quelconque idéal type de ce que serait une opération réussie. Et si en évaluant, les ONG
produisent une image de la réalité pour lui donner une valeur, elles le font seulement au
regard de leurs propres critères d’intervention. « L’évaluation est une démarche sur
mesure qui doit être adaptée aux valeurs du commanditaire de l’étude » 57 . Le concept

56
GRET, Op. Cit., p.6
57
GRET, Op. Cit., p.6

30
d’évaluation ne préjuge donc pas la détermination d’une opération type réussie ; il suppose
plutôt que l’ONG puisse pour elle-même avoir un retour sur ses opérations au regard de ses
propres critères. Ces derniers ne constituent d’ailleurs pas un système universel de mesure
de la qualité des projets. Et la finalité de l’évaluation n’est pas de pouvoir dire s’il s’agit
d’un échec ou d’une réussite. Cette démarche n’exclut donc pas d’envisager différents
scénarii opérationnels pour une même intervention, comme le soulignait Fabrice
Weissman. « Il n’y a pas une opération type face à une situation donnée, il y a différents
choix opérationnels qui se proposent. » 58 Par ailleurs, en dépit de ces différents choix
opérationnels possibles, nous savons les ONG promptes à pouvoir préjuger de la réussite
ou de l’échec d’une opération. Lorsque ses résultats sont comparés à sa propre politique
opérationnelle et au particularisme de ses critères d’intervention, elle est capable de déceler
les points forts et les faiblesses d’une intervention. Les réticences de MSF quant à
l’utilisation du concept d’évaluation, peuvent ainsi être dépassées par la « théorie » 59 si
l’on considère qu’une évaluation s’effectue toujours au regard de ses propres critères, et ne
tend pas à produire une image type de ce que pourrait être une intervention réussie.
La notion de « donner une valeur » n’est d’ailleurs pas réellement présente dans les
techniques d’évaluation formalisées. Souvent considérée comme un moyen de tirer des
leçons et dresser un bilan au niveau organisationnel, l’évaluation a plusieurs finalités dont
une fonction première d’apprentissage. Parfois, elle se contente ainsi d’observer si « on a
fait ce qu’on a dit », de comparer des résultats à des objectifs 60 . Il s’agit plus généralement
de voir quels actes ont suivi l’identification d’objectifs prioritaires. Ce à quoi on s’entendra
sans doute répondre au sein de MSF : « Mais les objectifs peuvent évoluer en cours de
route, et puis ce n’est pas parce que tu n’as pas rempli tes objectifs que c’est du mauvais
travail. Il peut arriver qu’en cours de route la situation évolue, que toi-même tu changes
de lecture des enjeux prioritaires. Tu es partie sur une base de travail mais tu arrives, pour
des raisons indépendantes de ta volonté, peut-être parce que tu as décidé de réajuster ton
dispositif opérationnel, à des résultats qui ne sont pas ceux que tu as anticipé. C’est pour
cela que le terme évaluation ne colle pas très bien à ce qu’on fait. (…) » 61 Nous ne
pouvons qu’être en accord avec cette précision. Nous tendons justement à penser qu’il

58
Voir interview en annexe
59
Nous avons conscience ici de l’emploi abusif du terme « théorie », qui inclut par exemple des guides
méthodologiques émanant d’une démarche empirique. Pour autant, l’introduction de ce concept sert la
différenciation que l’on souhaite ici intégrer.
60
Pour cela se référer aux définitions données dans le point 1.2.1 de la première sous partie intitulée
« L’évaluation : un concept et une pratique formalisée dans le domaine de l’action humanitaire »
61
Voir interview 1/10/07 en annexes

31
s’agit là de l’intérêt même d’une évaluation : identifier les objectifs de départ et
comprendre pourquoi dans tel cas, ils ont été atteints, pourquoi dans tel autre, ce ne fut pas
le cas. La non conformité des résultats aux objectifs ne préjugera pas de l’échec d’une
opération. Dans le cas contraire, l’évaluation serait une technique ne nous renseignant que
très partiellement sur la teneur d’une opération et n’aurait pu remplir les finalités de bilan
et d’apprentissage auxquelles elle prétend répondre. Nous supposons plutôt que la
technique d’évaluation est un moyen pour de nombreuses ONG de s’intéresser précisément
au processus opérationnel depuis l’identification des objectifs jusqu’aux résultats obtenus.
Mais la technique ne se borne pas à une vile comparaison d’objectifs et de résultats. Elle
est justement un moyen de mettre en lumière pourquoi les objectifs de départ n’ont pas été
suivis, pourquoi les résultats escomptés n’ont pas pu être atteints.
Enfin, l’évaluation est aussi perçue comme une technique inadaptée aux actions parce
qu’elle ne renseigne en rien sur le « sens » de l’acte. Il semble qu’elle soit perçue comme
une méthode se réduisant parfois à l’appréciation de critères techniques, centrée sur l’étude
du modus operandi de l’intervention. Or, nous l’avons vu, l’évaluation de la dimension
politique du contexte dans lequel l’action prend son sens est primordiale à MSF. Elle
renvoie aux contextes d’intervention instables dans lesquels l’organisation a l’habitude de
travailler. L’évaluation a justement ceci de flexible que l’organe commanditaire choisit ce
sur quoi il souhaite faire porter le regard de l’évaluateur. Ainsi, il va sans dire que
l’appréciation du contexte et l’analyse de l’environnement dans lequel l’acte médical prend
tout son sens pourrait être placée au premier rang de ses priorités. Par ailleurs, nous l’avons
vu au cours de notre développement, de nombreux guides méthodologiques de conseil à
l’évaluation des actions ont vu le jour. Et si la technique même de l’évaluation n’inclut pas
dans ses prérogatives une étude systématique de l’environnement politique, il semble
qu’une évaluation dépourvue de ce type d’analyse perd naturellement en légitimité. Il est
donc possible de voir des ONG se vantant d’avoir des politiques d’évaluation bien ficelées
mais qui n’effectuent pas nécessairement des évaluations propres à l’émergence de
questions essentielles. Pour autant, c’est justement parce qu’il existe une grande souplesse
dans l’utilisation de ces techniques qu’elles peuvent être appliquées à de nombreuses
organisations. Ainsi le Comité d’Aide au Développement de l’OCDE précise dans sa
publication Conseil pour l’évaluation de l’aide humanitaire apportée dans les situations
d’urgences complexes :

32
« Les programmes d’aide humanitaire ne consistent pas uniquement à apporter une aide
matérielle et technique, car il se peut très bien que la population assistée soit victime
d’atteintes aux droits de la personne, comme les attaques, le meurtre, le viol, le
harcèlement et la suppression de l’accès aux services de base (…). L’évaluation de l’aide
humanitaire doit donc s’intéresser à la sécurité qui règne dans la zone d’intervention et à
la fréquence des atteintes aux droits de la personne que subit la population civile, ainsi
qu’aux dispositions prises par les organismes humanitaires face à cette situation. Si
l’évaluation de l’aide humanitaire n’a jusqu’à présent tenu compte de ces problèmes que
de façon inégale, il est désormais largement reconnu qu’elle doit à l’avenir également
porter sur « l’espace humanitaire », la situation sur le plan de sécurité, et les besoins de la
population touchée en matière de protection. Il s’agit là de préoccupations sensiblement
différentes de celles qui sont l’objet de l’évaluation « classique » de l’aide. » 62

Les techniques d’évaluation évoluent et leurs contenus aussi. L’évaluation a vocation à

justement devenir cet outil qui permettrait aux ONG de se doter des moyens de porter un
regard plus systématique sur l’action de secours dans son contexte d’intervention. De
nombreux autres paramètres tendent à être intégrés dans les critères d’évaluation définis
par les organisations. Nous pouvons déplorer qu’il s’agisse là d’une démarche certes
tardive, mais qui ne devrait pas pouvoir motiver un rejet des techniques d’évaluation telles
qu’elles se présentent aujourd’hui. Au regard de la théorie, les réticences de MSF et les
questions soulevées au travers de l’analyse du concept d’évaluation comportent quelques
biais. Néanmoins, ils sont la manifestation d’une réflexion constructive autour du concept.
Injustifiées, les réticences le sont au regard de la technique d’évaluation ; peut-être s’agit-il
maintenant de chercher les raisons de celles-ci dans la manière d’utiliser ou de ne pas
utiliser ces techniques d’évaluation.

2.2.2. Des justifications à chercher dans la pratique

Sans chercher à montrer le quelconque bien-fondé de telles réticences, il reste que celles-ci
découlent sans conteste d’une observation des tendances du système humanitaire
international. Que les évaluations aient ou n’aient pas été présentes dans la pratique des
ONG, il reste que beaucoup d’entre-elles n’ont pas toujours accordé suffisamment

62
CAD/OCDE, Op. Cit., 1999, p.11

33
d’attention à cette analyse du contexte. Les ONG menant des opérations de secours ont
souvent eu tendance à parer au plus pressé, reléguant la réflexion relative à leur action au
second plan des priorités. Dans son ouvrage Penser dans l’urgence, Rony Brauman
témoigne : « (…) l’urgence d’agir neutralise celle de penser ses actes ; la nécessité
63
d’intervenir au plus vite renvoie à plus tard celle de comprendre. » Au regard de son
analyse des déboires de certaines interventions, MSF a tiré des leçons de ses expériences
passées. Ces enseignements semblent être un premier élément de compréhension pour
déchiffrer le scepticisme qui règne autour des pratiques d’évaluation. Elles ne permettent
pas nécessairement de se poser toujours les bonnes questions et n’empêchent pas les
acteurs du système humanitaire de parfois prendre part à des politiques criminelles
participant d’un système d’oppression des populations civiles. De nombreux exemples
remplissent la mémoire des acteurs : « Au-delà de la Corée du Nord, l’histoire récente
montre en effet, à qui veut se donner la peine de l’examiner froidement, qu’à plusieurs
reprises le mouvement humanitaire a été directement mêlé à des politiques criminelles.
Cela s’est vu notamment au Cambodge et en Ethiopie dans les années 1980, ou encore au
Rwanda et au Zaïre-Congo dans les années 1990 pour ne citer que certaines des situations
les plus marquantes. » 64 Une fois qu’ils ont pu être analysés, ces événements ont
profondément marqué les esprits et révélé ce que William Shawcross relève être le
paradoxe fondamental de l’action humanitaire : « engraisser les bourreaux pour nourrir
les victimes » 65 . Tirer des leçons de ce type d’événements n’est pas chose aisée et le
mouvement humanitaire a parfois encore du mal à accepter que leurs actions puissent être
instrumentalisées et retournées contre ceux qu’elles sont sensées soulager. L’épisode des
camps en Ethiopie 66 reste un événement crucial dans la conscience collective de MSF,
notamment parce qu’il a amené l’association à remanier une partie de ses conceptions
préétablies. « En 1984, les programmes nutritionnels montés dans l’urgence pour répondre
aux besoins de milliers d’affamés ont été utilisés, grâce à leur force d’attraction, par les
autorités pour effectuer des rafles et déporter massivement, dans la violence, les
populations du Nord vers le sud du pays. » 67 De ces différents événements, les acteurs de
l’humanitaire ne tirent pas nécessairement les leçons qu’ils devraient, et des exemples plus

63
BRAUMAN Rony, Penser dans l’urgence, Parcours critique d’un humanitaire, éd. Du Seuil, Paris, 2006,
p.140
64
BRAUMAN Rony, « La responsabilité humanitaire »,Op.cit., p.4
65
Ibidem
66
Pour plus de détails sur l’épisode éthiopien et comment MSF l’a vécu, voir par exemple l’ouvrage de Roy
Brauman intitulé Penser dans l’urgence, chapitre sur l’Ethiopie pp. 131-149
67
BIQUET J.-M., Op. Cit., p.429

34
récents, comme celui de la tyrannie Nord-coréenne, existent encore. Ainsi, l’évaluation des
actions ne permet pas nécessairement de s’intéresser au sens de l’acte dans son
environnement politique. Sarcastique, Rony Brauman dénonce alors : « (…) une partie du
mouvement humanitaire international [est dans l’incapacité] d’accepter que l’action
humanitaire puisse, dans certaines circonstances, devenir avant tout un instrument
d’oppression au service du pouvoir. Notons que parmi ces institutions charitables,
certaines participent avec enthousiasme à l’élaboration des instruments standardisés de
« mesure d’impact » évoqués plus haut. » 68 A quoi bon s’intéresser alors à des procédures
qui ne permettent même pas de comprendre les contextes d’intervention dans lesquels les
ONG évoluent. S’il est une seule chose que l’évaluation devrait pouvoir permettre, au sens
où MSF l’entend, il s’agit bien de celle-ci. Voilà pourquoi le terme évaluation « (…) est
réducteur par rapport à ce que l’on attend [à MSF] » 69 . Ceci nous paraît être ainsi un
premier élément de compréhension des réticences de MSF quant à son scepticisme face à
l’appropriation des méthodes d’évaluation qui, en pratique, ne permettent pas de déjouer
les pièges d’une instrumentalisation de l’aide.
Le deuxième élément de ce scepticisme est peut-être lié à la standardisation croissante de
l’action humanitaire, ayant pour conséquence indirecte d’accorder de plus en plus
d’importance à la satisfaction de ces standards d’ordre technique dans l’évaluation des
actions. S’il ne s’agit que d’un facteur explicatif indirect du scepticisme de MSF face à
l’appropriation de ces méthodes, il est un élément non négligeable pour différentes raisons.
De plus en plus pensés comme des standards déterminants pour apprécier la qualité de
l’aide, on peut préjuger de l’importance décroissante accordée à des facteurs d’ordre
qualitatif. Ce n’est pas tant l’établissement de normes et de standards qui posent problème
que la trop grande attention apportée à leur satisfaction, et qui, de fait, tend à réduire
l’action humanitaire à un acte technique. « La mise au point d’indicateurs de performance,
tels que la quantité d’eau minimale par jour nécessaire à un réfugié ou le nombre minimal
d’agents de santé par groupe de population de 10 000 personnes, est certainement
importante pour insister sur la qualité que tout programme d’assistance doit offrir. Mais
cela ne peut servir de critères uniques d’évaluation de la professionnalisation nécessaire
des réponses apportées aux besoins. » 70 Ce sentiment n’est d’ailleurs pas propre à MSF, il
est pour une grande partie partagé par la communauté des ONG françaises. Dans cette

68
BRAUMAN Rony, « La responsabilité humanitaire »,Op.cit., p.4
69
Voir l’interview de Fabrice Weissman en annexe
70
BIQUET J.-M., Op. Cit., p.429

35
citation, le projet Sphère est directement dénoncé. Etablit en 1997, un groupe d’experts
pour l’essentiel émanant des ONG anglo-saxonnes a produit une Charte humanitaire et des
normes minimales à respecter lors des interventions de catastrophe. De nombreuses ONG
ont participé à ce projet dans la première phase de son élaboration. Depuis lors, il existe
une fâcheuse tendance à vouloir faire de ces critères des normes universelles. Les grands
bailleurs de fonds internationaux tentent de l’imposer comme référent pour l’octroi de leurs
subventions et l’évaluation de la qualité des actions menées. Cette entreprise est regrettable
parce que la réalité des interventions regorge d’exemples où l’aide apportée, même si elle
ne correspondait pas à ces standards techniques, fut positive et de qualité au regard des
contraintes liées au contexte. A l’inverse, la satisfaction de ces normes ne doit pas servir de
prétexte à ne pas les dépasser lorsque les conditions sont réunies. « L’ambition proclamée
de Sphère est de faire de ces normes minimales une référence universelle. (…) Si l’on
songe à des situations comme l’Afghanistan dans les années 1980, à la fuite des rwandais
dans l’est du Zaïre en 1996, et plus récemment aux camps des tchétchènes en Ingouchie,
ces normes minimales sont recommandables mais assez peu réalistes. » 71 Elles
s’appliquent dans un contexte où l’espace humanitaire est garantit et leur universalisation à
toutes les situations n’est ni souhaitable, ni réalisable. De fait, ces normes ne devraient pas
être systématiquement intégrées aux techniques d’évaluation des actions et préjuger de leur
qualité. L’expérience montre que ces indicateurs ne sont opératoires que lorsqu’ils sont
adaptés aux contextes. Cette standardisation des outils de l’évaluation atteste des dérives
qui pèsent sur la pratique de l’évaluation. Nous analyserons ici cette tendance comme un
deuxième élément majeur du scepticisme de MSF face aux techniques d’évaluation.
Le dernier élément est le fait que l’évaluation tend à devenir un banal exercice pour avoir
accès aux financements des bailleurs de fonds. Cet élément a d’ailleurs été identifié par le
F3E comme une des dérives menaçant les pratiques d’évaluation 72 . MSF, dont le principe
d’indépendance financière est primordial, totalise dans le dernier rapport financier de
2006/2007, 99% de ressources privées pour la section française. L’organisation a pour
politique de refuser les subventions de l’Etat français et d’essayer de s’affranchir des
financements d’ECHO. La pratique de l’évaluation au sein de MSF n’est donc pas
insufflée par les bailleurs de fonds de la même manière que dans d’autres ONG. Elle n’est
pas une étape obligée pour avoir accès à des financements. Jusqu’à maintenant, l’ONG n’a

71
MAMOU J., « L’action humanitaire au péril de sa normalisation », in : Médecine Tropicale, n°62, 2002,
p.426
72
F3E, Compte rendu du séminaire pouvoirs publics/société civile, Op. Cit. (Document trouvé sur internet
sans pagination)

36
donc pas été poussée à mettre en place des procédures d’évaluation stricto sensus.
Toutefois, l’organisation est entrée dans une démarche d’amélioration de la qualité de ses
interventions, et en ce sens, reconnaît l’utilité d’un retour sur les opérations et la nécessité
de rendre des comptes. Il en va de sa responsabilité naturelle. Les donateurs, entreprises,
particuliers et autres sont en droit de savoir comment leurs dons sont dépensés, quelle est la
part de la mission sociale de l’ONG, quelles actions concrètes ont été menées. Il existe
ainsi une réelle volonté politique au sein de l’exécutif de MSF de tendre à améliorer la
qualité des actions par un plus grand rendu de comptes et une capitalisation de l’expérience
plus importante. Au regard toutefois des réticences que nous venons d’exposer, il est à
craindre que la pratique de l’évaluation ne soit pas formalisée dans une politique claire et
définie. Et l’outil « évaluation », n’étant pas considéré comme le plus approprié pour juger
l’opérationnalité globale d’une intervention, n’est pas un moyen qu’il est commun
d’employer au sein de MSF. Pour autant, la mise en place d’une démarche d’évaluation des
actions est présente. Mais elle ne se reflète pas nécessairement dans l’utilisation d’une
technique. C’est ainsi que nous analysons la pratique de l’évaluation au sein de MSF. Elle
prend les contours d’une démarche que l’on souhaite flexible et adaptable. Elle n’est ni
systématique, ni imposée, de peur qu’elle ne tombe justement dans la routine d’une
procédure ne servant plus à un réel retour critique sur les opérations menées.

37
Partie 2 : L’évaluation à MSF : institutionnaliser une démarche flexible

L’objectif de cette partie tend plutôt à décrire ce qui est présent au sein de l’organisation
plutôt que ce qu’il n’y a pas. Nous l’aurons compris, nous ne trouverons ni une politique
d’évaluation formalisée au sein de MSF, ni même un cadre défini pour la mise en place
d’une pratique qui se voudrait plus systématique. Comme l’exprime le Docteur Emmanuel
Baron, directeur du département médical, « (…) il me semble que l’on n’est pas très
familier avec le concept. (…) Donc je ne suis pas sûr qu’on le soit avec la procédure. » 73
Pour autant, l’association montre une réelle volonté politique interne à mettre en place un
processus de retour sur les opérations et de rendu de compte, qui s’apparente ainsi à une
démarche d’évaluation qui lui est propre. Elle prend la forme d’une démarche flexible et
adaptable, dont l’objectif premier est d’autoriser un retour critique sur les opérations.

1. Une démarche d’évaluation pensée comme un retour critique sur les

opérations

La démarche d’évaluation à MSF est un processus qui tend à porter un regard critique sur
les opérations menées et à juger ainsi de l’opérationnalité globale des interventions. Elle
doit permettre de faciliter la décision en fondant les choix opérationnels sur des faits
précis. De ce fait, elle est pensée comme une démarche strictement interne, qui doit être
améliorée et développée.

1.1.Développer et améliorer la démarche d’évaluation

Depuis quelque temps, la démarche d’évaluation des actions au sein de MSF s’est
renforcée dans le sens d’un regard critique porté sur les opérations et d’une amélioration
des « outils métiers » permettant de fonder les analyses produites sur des faits
quantifiables. Le principe même de cette démarche est largement accepté au sein de
l’association.

73
Voir interview Emmanuel Baron en annexe

38
 1.1.1. Une démarche identifiée comme nécessaire

Pour autant qu’elle ait des réticences avec le concept même d’évaluation et les techniques
d’évaluation formalisées par différents acteurs du système humanitaire, il reste que
l’organisation qu’est devenue MSF ne se pense pas exemptée de cette nécessité de
développer et d’améliorer la démarche d’évaluation. Les finalités de cette démarche sont
les mêmes que celles identifiées par les techniques d’évaluation de l’action humanitaire. Il
s’agit tout d’abord de pouvoir rendre compte des actions menées et ensuite de tirer des
leçons plus précises des actions antérieures pour que les choix opérationnels s’appuient sur
des faits plus construits. Cette démarche s’inscrit pour la première fois dans une
thématique plus globale visant à pouvoir attester de la qualité des interventions menées. En
2004, un article paru dans Messages, journal interne de l’association, présente le projet de
l’année à venir. L’une des questions posées au directeur général Pierre Salignon est la
suivante : « La qualité de nos interventions… Pourquoi insistes-tu sur ce point ? » Cette
question ne pourrait plus être posée de cette manière-là aujourd’hui. Le thème de la qualité
des actions s’est complètement immiscé dans le discours de l’organisation. Le CA l’a
intégré en 2006 dans la révision des statuts en l’associant aux secours et aux soins. Pour
autant, deux ans auparavant, Pierre Salignon précisait encore : « « Lorsque l’on évoque la
« qualité » il faut entendre des soins, des médicaments, une relation au patient… Mais le
mot renvoie aussi à l’idée que nous nous faisons de notre responsabilité en tant qu’acteurs
humanitaires vis-à-vis des populations que nous essayons d’aider. Il faut être capable de
démontrer que ce que nous prétendons faire correspond bien à la réalité. Et ceci ne pourra
être réalisé que par un suivi continu de nos activités, le développement d’outils de
pilotage, de surveillance, et d’analyse de nos actions. (…) La question de l’évaluation
transparente de nos interventions est prioritaire, comme l’entretien de la culture de la
critique et de l’auto-critique. Nous envisageons de renforcer cette démarche, en lien avec
le CA. » 74 Initier une démarche « qualité » pour MSF, c’est d’abord prodiguer des soins de
qualité, tant dans la prise en charge globale du patient, dans un diagnostic précis, dans
l’administration de médicaments de qualité, que dans l’acte de soin en lui-même. En
premier lieu, la qualité renvoie donc aux soins et aux secours. En second lieu, il faut
comprendre la qualité comme une idée de la responsabilité que l’organisation a envers ses
patients. C’est l’idée du rendu de compte, qui est envisagé ici sous l’angle de la
responsabilité au patient et aux populations que l’organisation prétend aider. Il faut donc
74
SALIGNON Pierre, « Le projet 2004… », in : Messages MSF, n°129, avril 2004, p.2

39
être capable de démontrer en quoi les soins amenés sont efficaces. Le mandat de l’ONG
doit correspondre ainsi à une réalité effective. Et pour prouver l’effectivité de ces soins, il
faut pouvoir détenir des outils le permettant. La question de l’évaluation des actions est
ainsi présentée comme prioritaire. Au moment de cette citation, en 2004, on ajoute même à
la nécessité d’une évaluation, celle de la transparence de l’activité, pour un rendu de
compte exemplaire. A la redevabilité envers le patient et les populations destinataires de
l’aide s’ajoute celle envers les donateurs. Le docteur Emmanuel Baron identifie même trois
raisons majeures concernant la nécessité de rendre compte. Il souligne : « c’est un
processus que l’on doit en premier lieu aux patients que l’on traite. En théorie, il faudrait
être capable de répondre aux malades qu’on accueille dans nos structures de soins et de
pouvoir leur dire : « ce qu’on fait, on sait que ça fonctionne, ce n’est pas juste pour ne pas
nuire, ce n’est pas juste pour être là, ni juste pour faire beau, ou parce que vous souffrez
tout simplement… », c’est aussi parce que ce qu’il y a un résultat qu’on le fait justement.
Ca me parait être une attitude responsable que de regarder un peu ce que l’on fait, son
efficacité, son efficience… Deuxième raison, les donateurs à qui il faut rendre des comptes,
à qui il faut expliquer (…) quels résultats on obtient avec cet argent. Troisièmement, je
pense que – il y a une atmosphère générale en médecine, qui va toucher aussi les pays en
voie de développement et c’est bien légitime – c’est celle qui fait que les patients vont être
amenés à s’organiser, à demander des comptes, à être plus incisifs vis-à-vis de leur
prestataire de soins. Et là il faut aussi être préparé, capable de répondre sur l’efficacité de
ce que l’on fait. Donc il y a une tendance générale à l’expression de la responsabilité, au
rendu de compte nécessaire… Et tout ça fait qu’une association comme la notre ne peut
pas s’exonérer de cette démarche. » 75 Il existe ainsi plusieurs raisons identifiées qui
justifient la nécessité de rendre compte des activités. Elles engagent directement la
responsabilité de l’association, qui ne peut s’exonérer d’une telle démarche. La deuxième
finalité de cette « question de l’évaluation » est aussi celle de tirer des leçons des
opérations menées et d’être en mesure de déterminer les faiblesses ou la pertinence de
certaines interventions. Jean-Hervé Bradol, dans son rapport moral de l’année 2003,
précisait justement : « Il est important de dire que certaines de nos opérations d’urgence
sont parfois en échec sur des points essentiels et que nous devons poursuivre l’effort pour
améliorer leur correction. » De la même manière l’analyse du contexte, dans lequel
l’action se déroule, doit être plus systématiquement étudié : « Nous avons parfois du mal à

75
Voir interview Emmanuel Baron en annexe

40
comprendre la dynamique des conflits et avons une tendance, toujours présente au sein de
nos équipes, à l’explication simpliste des conflits (…) » 76 . A l’occasion de cette assemblée
générale de 2004, il rappelait le rôle du Conseil d’Administration de faire une revue
critique des opérations menées. L’année 2004 voit donc une série de déclarations
concernant l’amélioration de la qualité des actions et la nécessité de pouvoir rendre des
comptes précis de diverses natures sur les opérations menées.
Depuis quelques temps, la nécessité d’initier une démarche plus approfondie d’évaluation
des actions se justifie dans le discours interne par la croissance même de l’organisation, et
obéit en ce sens à une logique institutionnelle. « On ne peut plus piloter les opérations
comme on le faisait jusqu’à maintenant. » 77 La croissance exponentielle de ces dernières
années s’exprime par des données chiffrées précises. Entre 1998 et 2007, la masse
budgétaire de l’organisation a pratiquement triplé en dix ans passant de 50 à 150 millions
d’euros pour la seule section française et ses satellites. Le nombre de personnels recrutés,
essentiellement au sein du personnel national, a doublé. Cette évolution ne pose a priori
pas de problème majeur si les fonds sont gérés correctement et utilisés de manière
pertinente. C’est tout l’enjeu actuel pour MSF : se doter des moyens de pouvoir rendre
compte de l’utilisation pertinente de ces fonds. Jean-Hervé Bradol, président de MSF-
France, le soulignait dans son dernier rapport moral : « (…) quand on dépense bientôt 150
millions d’euros par an dans une institution comme la section française et ses satellites, on
est obligé de rendre des comptes clairs et précis. Il faut pouvoir dire si cet argent s’est
transformé en des actions pertinentes, au bon endroit, au bon moment, si elles ont été
couronnées de succès ou pas, et dire combien elles ont coûté. » 78 De même, dans un article
intitulé « Comment organiser notre croissance ? » publié en mars 2006 dans Messages,
Pierre Salignon insiste : « Le véritable enjeu pour nous est donc de questionner sans cesse
la pertinence de nos opérations, de renforcer l’efficacité de nos actions et d’améliorer
l’adéquation des moyens comme le contrôle des dépenses. » 79 La croissance de
l’organisation s’accompagne donc d’une nécessaire plus grande maîtrise des opérations
menées. Elle engendre plus de décentralisation du siège aux terrains d’intervention, et elle
a pour contrepartie la mise en place de certaines techniques endogènes de collecte
d’informations, gestion et évaluation, qui s’avèrent aujourd’hui indispensables. « Face à

76
Jean-Hervé Bradol, « Extraits du rapport moral présenté à la 33ème assemblée générale », in : Messages,
n°131, Août-septembre 2004, p.11
77
Voir interview Fabrice Weissman en annexe
78
Jean-Hervé Bradol/MSF, Rapport Moral 2006, p.12
79
SALIGNON Pierre, « Comment organiser notre croissance ? », in : Messages MSF, n°140, mars 2006,
p.31

41
un développement rapide, (…) il faut avoir une décentralisation beaucoup plus accomplie,
plus large. (…) Et le contrepoids de cette décentralisation, c’est les procédures d’audit et
d’évaluation interne. » 80 La « question de l’évaluation » avait été définie en 2004 comme
une priorité par les organes exécutifs de MSF. Cette volonté politique d’améliorer le regard
porté sur les opérations a eu pour conséquence plusieurs initiatives qui rentrent clairement
dans le cadre d’une démarche d’évaluation des actions plus effective.

1.1.2. Des initiatives pour la qualité

Depuis quelques temps, plusieurs initiatives pour améliorer la qualité ont vu le jour au sein
de MSF, répondant à cette nécessité de développer une démarche d’évaluation plus
effective. Elles apparaissent comme les prémices et les balbutiements d’une politique plus
définie. La première initiative a été d’améliorer la collecte d’informations en provenance
du terrain pour pouvoir bénéficier de données chiffrées plus systématiques. Le Dr
Emmanuel Baron, directeur du département médical, témoigne de cette évolution :

« Question : Pendant toutes ces années, comment MSF a-t-elle montré la qualité de ses
actions ?
Emmanuel Baron : Et bien, on ne le montrait pas. Je mets au défit quelqu’un de me dire
combien de patients on a traité du palu en 1998 par exemple. Cette information, elle
n’existait pas !
Q : Cette information, depuis quand peut-on l’avoir ?
E.B. : 2 ou 3 ans…
Q : Du fait de… ?
E.B. : Du fait que l’on ait commencé à regarder… Et puis surtout volonté politique interne
de dire maintenant… assez causé ! On avait des informations, attention, mais pas partout,
pas tout le temps.
Q : Et sur le terrain, ça se traduit comment ?
E.B. : Indicateurs, base de données, analyse,… même si ça reste parfois encore
brouillon. » 81

80
Voir interview Fabrice Weissman en annexe
81
Voir interview Emmanuel Baron en annexe

42
La mise en place de nouveaux outils de collecte d’informations et la volonté de récolter
plus systématiquement les données en provenance du terrain devraient permettre à la fois
une plus grande évaluation en temps réel des opérations, mais aussi de base pour expliquer
les choix opérationnels faits. Ces outils sont tous ceux qui facilitent le suivi d’un
programme et son « pilotage », et ceux qui doivent servir à une démarche d’évaluation a
posteriori ayant pour but de rendre compte des différentes activités mises en place dans
tous les domaines : sanitation, logistique, gestion des ressources humaines, activités
médicales, dépenses financières… Cette initiative se situe au niveau des terrains, mais
aussi au niveau des départements du siège, dont la tâche est alors la synthétisation et
l’analyse de ces données. Un exemple de ces outils devant permettre une meilleure lecture
des opérations est celle de la mise en place des chronogrammes. Ces grands tableaux
récapitulent les différentes activités relatives à une intervention et compilent, au prix d’un
effort de synthétisation, toutes les données chiffrées en provenance des différents
départements, concernant les ressources humaines, le matériel logistique et médical, les
activités de sanitation. Lorsque les données sont disponibles, la variété des informations
regroupées va du nombre de kits et de motopompes distribués au nombre de consultations
et hospitalisations effectuées. La synthétisation des données dans un tel outil n’est pas
encore systématique. Pour autant, il a le mérite d’exister et d’améliorer la lecture des
interventions réalisées, pour le moins sous un angle quantitatif. Ces outils de rendu de
compte sont une lourde charge pour les équipes de terrain. Le véritable enjeu est sans doute
de les simplifier, mais il n’est plus question de remettre en cause la nécessité d’une telle
initiative. Jean-Hervé Bradol, dans son dernier rapport moral, insiste : « On ne peut pas à
la fois réclamer sur le terrain plus de moyens et se plaindre que le poids de la gestion
augmente. » 82 L’aspect quantitatif est la première étape pour pouvoir lire plus en
profondeur les opérations. Elle ne peut toutefois s’affranchir d’un effort d’analyse plus
qualitatif si l’on souhaite avoir une visée globale de la politique opérationnelle mise en
œuvre sur une opération.
Tendre vers la lecture globale d’une intervention réunissant un aspect quantitatif et
qualitatif est l’objet d’une autre initiative mise en place récemment au sein de MSF, celle
des revues critiques. Elle répond à la nécessité évoquée en 2004 par le président et le
directeur général d’avoir un regard critique sur les opérations menées. Le document
produit le plus abouti est celui de la Revue critique des opérations MSF-France au Darfour

82
Jean-Hervé Bradol, Rapport Moral 2006, mai 2007, p.13

43
(Soudan) octobre 2003 – octobre 2004 83 . En de nombreux points, il ressemble à une
évaluation réalisée en interne sur une année et sur un terrain d’intervention précis. Pour les
raisons évoquées plus haut, il se présente cependant sous la mention « revue critique » et
répond à une « ambition (…) à la fois plus modeste et plus réaliste ». Sa réalisation est
placée sous la responsabilité du CA et de la présidence. Les termes de références ont été
clairement énoncés. La finalité de l’exercice est celle de l’évaluation, on lui reconnaît des
fonctions explicites de bilan et d’apprentissage. Une équipe d’évaluateurs, n’ayant pas
participé directement aux opérations, a été choisie en interne et la distance critique
nécessaire à l’exercice est assurée par la participation de personnalités extérieures. Dès le
départ, il s’agit « d’identifier nos faiblesses et les pistes pour leur correction ». Les
conclusions du document ne se présentent pas sous la forme de recommandations mais en
comportent quelques-unes. Ce que nous pourrions identifier comme critères d’évaluation
se nomment ici « nouvelle méthode de travail proposée ». Elle est testée pour la première
fois sous cette forme :
« (…) la nouvelle méthode proposée, a pour but d’aborder conjointement et de manière
articulée 3 aspects principaux :
- la lecture du contexte d’intervention et détermination d’objectifs humanitaires dans
ce contexte ;
- la pertinence des activités choisies comme réponse aux questions ci-dessus et
résultats de ses activités ;
- adéquation des moyens et de la structure organisationnelle mis en place avec les
besoins induits par la conduite des activités et la réalisation des objectifs ? » 84

Tout porte à croire que cette nouvelle méthode de travail s’apparente à un début de
politique d’évaluation formalisée qui se défend pourtant de s’appeler ainsi, parce que le
terme et la technique « évaluation » seraient inappropriés aux actions menées. Il reste que
cette démarche se présente comme une initiative nouvelle au sein de MSF. « Effectivement
à MSF, il me semble que l’on n’est pas très familier avec le concept. On n’a pas beaucoup
procédé à de véritables évaluations. Quel que soit ce que l’on met derrière le terme
évaluation, que ce soit évaluation externe, critique interne ou revue critique (…). Donc je
ne suis pas sûr que l’on soit très familier avec la procédure. Par ailleurs, une façon très

83
Dr DANET Corinne, DELAUNAY Sophie, Dr DE POORTERE Evelyn, WEISSMAN Fabrice, Revue
Critique des Opérations MSF-France au Darfour (Soudan), octobre 2003 – octobre 2004, MSF, Paris, 2005,
134 p.
84
Ibidem, p.132

44
simple d’analyser un peu ce que l’on fait, c’est d’avoir un regard critique et de regarder
ses propres résultats. Globalement, c’est être capable de répondre à la question : « est-ce
que ce que je fais marche ou non, est-ce que ça apporte au malade ? » Ce n’est pas
quelque chose qui a été fait par MSF depuis le début de son histoire. » 85 Le deuxième
document produit portant la mention « revue critique » est un document sorti en mai 2007
et intitulé Revue critique des urgences 2006. Ce document d’une soixantaine de pages
rassemble une douzaine d’interventions d’urgence menées en 2006 et se propose de
souligner les points forts et les faiblesses de ces interventions. En l’occurrence, ce
document ne ressemble en rien à une évaluation. Il ne comporte pas de termes de référence
précis et se contente d’utiliser la méthode de travail proposée dans le premier document.
Plus généralement, il étudie la pertinence, l’efficacité et l’efficience de chaque intervention
en quelques pages. Celui-ci formule en revanche ouvertement des recommandations. Mais
le travail est réalisé et commandité par les mêmes personnes, et ne comporte aucune visite
terrain puisque les interventions en urgence sont terminées. Le format « revue critique »
n’a donc pas de contours très définis au sein de MSF. Nous sommes en possession de deux
documents très différents mais portant le même nom. Le premier s’apparente en de
nombreux points à une évaluation, l’autre non. Ils jouent tous les deux le rôle d’un regard
critique porté sur les opérations, mais la qualité du rendu de compte est, elle, très
différente. Ces documents peuvent toutefois s’analyser comme les tâtonnements d’une
nouvelle « méthode de travail » que l’on souhaite mettre en place et qui s’apparente à une
démarche d’évaluation plus systématique des actions.
La dernière initiative est celle de l’institutionnalisation de la démarche d’évaluation qui
s’inscrit plus généralement dans une initiative globale visant à pouvoir rendre compte des
prises de décisions. Jean-Hervé Brabol, dans le dernier rapport moral de mai 2007,
évoquait la mise en place de cette unité chargée d’initier, renforcer et promouvoir la
nécessité de ce retour critique sur les opérations.
« Autour de la direction générale, à l’automne, sera mis en place un groupe de travail de
trois personnes avec une composante financière, une composante en épidémiologie, en
système d’information sanitaire – le système étant l’ensemble des données d’activités des
terrains - une personne du CRASH pour les analyses de contextes et des discussions sur
l’adaptation de l’action à l’environnement social, politique, dans lequel l’action se
développe. La mise en place de ce groupe de travail devrait permettre de simplifier,

85
Voir interview Emmanuel Baron en annexe

45
rationaliser et assurer que cette production de données soit mieux inscrite dans le travail
quotidien et qu’elle constitue moins une surcharge de travail pour les équipes et surtout
que le retour sur les analyses intéressantes que permet le recueil de données soit mieux
diffusé, mieux expliqué aux équipes. Ceci afin que les choix opérationnels s’appuient plus
solidement sur une revue critique de faits solidement construits. » 86
Ce qui est directement visé avec la mise en place de ce groupe de travail, c’est de faire du
retour sur ces analyses que permet le recueil de données des outils utiles à la prise de
décision. Nous pouvons supposer alors qu’un argumentaire plus construit autour des choix
opérationnels effectués, servira au nécessaire rendu de compte évoqué plus haut. A ce jour,
l’échéance qui avait été fixée en mai est arrivée à son terme et l’automne est arrivé sans
voir, à notre connaissance, la mise en place effective d’un tel groupe de travail. Mais ces
initiatives restent la manifestation d’un certain changement, celui d’une volonté de pouvoir
fonder les prises de décisions sur des choix opérationnels solidement construits, pour
mieux pouvoir en rendre compte. Ces initiatives ne voient pas la mise en place d’une
politique réelle d’évaluation des opérations dans leur globalité, mais elles témoignent sans
conteste de l’apparition d’une démarche d’évaluation plus effective, dont quelques grandes
caractéristiques se dessinent.

1.2.Contours de la démarche d’évaluation

Il est dès lors possible de voir se dessiner quelques grandes caractéristiques concernant la
démarche d’évaluation des opérations au sein de MSF. S’il existe une réelle volonté
politique interne de développer une démarche permettant un retour critique plus effectif sur
les opérations, il reste que l’évaluation ne constitue qu’un moyen de parvenir à cette fin.

1.2.1. Une pratique résolument interne

Ces initiatives pour l’amélioration de la qualité des actions ont cette nouveauté de vouloir
permettre un regard plus global sur les opérations menées. La nouvelle méthode de travail
proposée est justement cette analyse plus systématique sur certaines interventions. Elle se
propose d’étudier des notions telles que la pertinence d’une opération, son efficacité, son
efficience. Cette démarche doit être une aide à la prise de décision sur laquelle fonder la

86
Rapport moral 2006, p.1

46
pertinence des choix opérationnels, elle a une fonction de bilan et d’apprentissage qui
amène les opérationnels à tirer des leçons des expériences passées et elle sert au rendu de
compte envers les donateurs et les destinataires auxquels l’aide se destine. Cet exercice de
retour sur les opérations est résolument pensé comme une activité qui doit se réaliser en
interne, parce que sa première vocation est pédagogique. Les personnels de l’exécutif en
charge de ces opérations sont les premiers à qui ces exercices doivent servir. « L’objectif
(…) est de permettre l’identification des points de faiblesse pour permettre leur correction
par les équipes portant la responsabilité permanente de l’exécution de ce type
d’action. » 87 Ainsi, ce type d’exercice visant à juger l’opérationnalité globale d’une
intervention est une démarche résolument pensée comme interne à la structure. Même si
ceux-ci doivent servir au rendu de compte et à l’exigence de transparence, il reste que la
sollicitation d’une personne externe s’avère inappropriée. « Comment veux-tu que
quelqu’un de l’extérieur réponde à la pertinence ? Il faut déjà s’approprier toute la
réflexion interne sur ce qu’est MSF et ce que l’on veut en faire. Comment quelqu’un
d’extérieur qui débarque peut comprendre l’état de la réflexion au jour d’aujourd’hui à
MSF sur la façon dont on définit notre raison d’agir ? » 88 Une personne recrutée à
l’extérieur pour porter un regard sur les activités ne pourrait certainement pas juger de la
pertinence d’une intervention menée par MSF. Les principes d’intervention motivant la
mise en place d’une opération s’apparentent ici à une « raison d’agir » que seuls les pairs
peuvent déchiffrer. Et celui-ci de continuer : « Je pense que la valeur que l’on donne à une
action est intrinsèque. Elle est définie par notre mission sociale. Je ne vois pas qui à part
nos pairs, peuvent savoir si oui ou non, on a été bons. » 89 La façon d’agir, la manière dont
on va mettre en place les actions, est consécutive d’un « état de la réflexion » qu’une
personne extérieure à l’association ne pourrait pas assimiler. « C’est au regard de nos
propres critères que l’on juge cette opération, pas au regard de critères universellement
valables. » 90 Mais ces critères propres à MSF sont visiblement difficilement assimilables
par des personnes extérieures à l’association. Ces dernières ne sont pas susceptibles de
pouvoir apporter la plus-value à laquelle ce regard sur les opérations devrait pouvoir
servir. C’est en ces mêmes termes que s’exprime le Dr Emmanuel Baron : « « (…) le mode
consultant à MSF, ça ne marche pas… La personne qu’on va chercher à l’extérieur pour

87
Dr DANET Corinne, DELAUNAY Sophie, Dr DE POORTERE Evelyn, WEISSMAN Fabrice, Op. Cit.,
p.131
88
Voir interview Fabrice Weissman en annexe
89
Ibidem
90
Ibid.

47
porter un regard sur nos activités, il faut qu’elle ait une vraie plus-value. Souvent les gens
n’arrivent pas à mettre en perspective du déploiement opérationnel et des contraintes de
terrain, les idées, les Benchmarks, les ressources… Ce qu’ils apportent souvent est
présenté de manière brute et froide et ne s’inscrit pas dans la perspective d’un projet. Et
c’est vrai que les personnes les mieux placées sont celles qui ont une idée de ce que c’est
une opération. » 91 Avoir un vécu opérationnel avec l’ONG est une certaine garantie de
savoir mettre en perspective des idées avec les contraintes du terrain. Et celui-ci de
continuer : « (…) le regard extérieur m’intéresse vraiment, mais le but quand même, c’est
que les gens à qui j’ouvre ma porte, m’aide ! Si c’est pour envoyer des mecs qui vont avoir
des idées irréalistes derrière, ça ne nous intéresse pas ! » 92 De ces deux entretiens, il
ressort ainsi que la démarche d’évaluation visant à analyser la politique opérationnelle
d’une intervention dans tous les domaines de son déploiement peut difficilement être
déléguée à un regard extérieur. Le risque est sinon de ne justement pas pouvoir disposer de
cette analyse pertinente qui devrait servir d’aide à la prise de décisions opérationnelles.
Pour autant, l’utilité du regard extérieur et d’une personne externe à l’association est
parfois reconnue et sollicitée à d’autres niveaux. C’est justement dans certaines activités
précises qu’une personne extérieure aura une réelle plus-value dans le regard apporté. Dans
ce cas, on reconnaît à « l’outil évaluation » la fonction qui est traditionnellement la sienne.
« Ce qui n’empêche pas par ailleurs de faire appel à des consultants externes. Ca nous
arrive, dans des domaines très pointus : en logistique, dans le médical bien sûr aussi. Par
exemple là, on ouvre une unité grands brûlés au Kurdistan, c’est pas des activités qu’on a
l’habitude de mettre en place. Donc on va demander à quelqu’un qui travaille dans un
service de grands brûlés de visiter la structure, d’évaluer la prise en charge des grands
brûlés et faire des recommandations. Là on accepte une personne extérieure à MSF sur un
point très technique de nos opérations parce qu’on partage là les mêmes critères
d’évaluation avec la profession. A ce moment-là, on fait appel à des évaluateurs externes
entre guillemets. » 93 Quelques grandes caractéristiques à la pratique de l’évaluation au sein
de MSF se dessinent alors. Même si les contours de cette pratique ne sont pas réellement
définis comme tel, deux niveaux d’analyses différents apparaissent. L’utilisation de la
technique d’évaluation concernant chacune des activités spécifiques déployées par MSF
telles que la logistique, le domaine médical, la sanitation, peut être identifiée comme une

91
Voir interview Emmanuel Baron en annexe
92
Ibid.
93
Ibid.

48
technique appropriée aux activités. Dans ce cas, l’association partage les mêmes critères
d’analyses que le reste de la profession et les personnes extérieures sollicitées sont
susceptibles d’apporter une réelle plus-value dans le regard qu’elles vont porter sur les
opérations. Dans cette perspective, l’utilisation de l’évaluation comme outil permettant de
juger la pertinence, l’efficacité, l’efficience, la cohérence de l’activité est bienvenue en ce
qu’elle permet de questionner les opérations sous l’angle d’une activité précise. Epicentre,
centre de recherche en épidémiologie, joue régulièrement ce rôle pour l’organisation et
continuera sans doute de le faire94 à l’avenir. En 2007 par exemple, une évaluation de MSF
logistique a été réalisée et confiée à des professionnels en approvisionnement et logistique.
A travers ces exemples, il faut noter en quoi l’évaluation n’est pas un outil étranger à
l’association, de même que le recours au regard extérieur. Mais ils sont seulement sollicités
dans des domaines précis où l’expertise de professionnels est requise. En revanche, en ce
qui concerne l’application de la technique d’évaluation sur les aspects plus généraux d’une
opération, sensée renseigner son lecteur sur l’adaptabilité de l’action humanitaire à son
environnement politique et social et déterminer une efficacité, une efficience globale, la
technique apparaît alors inadaptée à la réalité d’une intervention de terrain à MSF. On lui
préfère une analyse moins formalisée portant un regard critique sur les opérations, et
donnant réellement les moyens d’une appréciation de la qualité de la médecine pratiquée.
Cette analyse à vocation pédagogique, à destination des opérationnels chargés de la mise
en œuvre des opérations, ne peut que difficilement être déléguée à une équipe
d’évaluateurs choisie à l’extérieur, et qui viendrait évaluer la politique opérationnelle mise
en œuvre par l’association. Le doute subsiste ici quant à leurs capacités à pouvoir apporter
une réelle plus-value concernant la prise de décision qui devrait fonder les choix
opérationnels ou leur réorientation. Lorsque l’on souhaite porter un regard sur une
opération, l’évaluation ne sera pas la technique employée et le recours à des évaluateurs
externes non plus. Ces derniers ne seraient effectivement pas en mesure de répondre par
exemple à la pertinence de l’action. Nous avions émis l’hypothèse d’une telle
différenciation possible entre les programmes mettant en œuvre des opérations de secours
et des programmes à moyen ou long terme. Cet élément n’a pu être corroboré, mais nous
pensons que si la technique d’évaluation devait être appliquée de manière plus
systématique sur des programmes, elle le serait d’abord sur des programmes de moyen et

94
Voir par exemple les rapports d’évaluation des activités médicales de MSF par Epicentre. Ex : PRIOTTO
Gerardo, KABOYO Winyi, Final Evaluation of the MSF France Trypanosomiasis Control Programme in
West Nile, Uganda, from 1987 to 2002, Epicentre, août 2002

49
long terme pour des raisons évidentes liées aux contraintes pesant sur les terrains dits
« d’urgence ». Il reste qu’une différenciation entre l’évaluation d’une part des activités et
d’autre part des programmes, est un élément d’analyse utile pour comprendre les contours
de la démarche d’évaluation à MSF. Comme nous venons de le voir, l’outil « évaluation »
ne sera utilisé que dans certains cas. Les contours d’une politique de l’évaluation ne
prennent donc pas la forme d’une pratique systématique et formalisée, mais bien plus
d’une démarche que l’on souhaite adaptable aux situations rencontrées.

1.2.2. Une grande flexibilité dans la démarche

Tout au long de notre développement, nous avons donc différencié deux termes, qu’il
convient de clarifier dès à présent. Pour pouvoir parler de l’évaluation à MSF, il nous est
apparu pertinent de faire une distinction entre la technique et la démarche d’évaluation. La
technique renvoie à un schéma évaluatif construit et défini. Nous l’avons appelé l’ « outil
évaluation ». Nous venons de le voir, cet outil est utilisé en pratique dans des circonstances
particulières, plutôt lié à l’analyse d’activités précises. Il est un moyen comme un autre au
sein de l’organisation de permettre un retour critique sur les opérations menées. En quelque
sorte, il est sollicité lorsqu’il est considéré comme l’outil le plus à même de pouvoir
informer sur une situation donnée. Ainsi, nous analysons l’évaluation des actions au sein
de MSF non comme une fin, bien plus comme un moyen. L’évaluation est prise dans sa
forme la plus utilitaire, celle qui permettra à un moment t de rendre compte d’une activité
nécessitant le regard de l’expert. Si nous nous étions bornés à décrire l’utilisation de la
technique d’évaluation, nous aurions manqué un ensemble plus vaste, qui nous apparaît
sous la forme d’une démarche d’évaluation, en ce sens qu’un retour sur les opérations est
de plus en plus pressentit comme nécessaire. Dans cette perspective, une série de mesures
sont mises en place au sein de MSF. Elles s’inscrivent dans une « démarche qualité »
globale visant à pouvoir rendre compte à la fois du volume des activités et de la qualité
opérationnelle. Ceci se traduit par la mise en place d’outils de suivi sur le terrain comme au
siège. Ils seront ainsi à la base des analyses permettant ce retour sur les opérations. Cette
démarche d’évaluation utilise l’ « outil évaluation » de temps à autre. Mais sa première
fonction est de permettre un retour critique sur ce qui a été fait. Elle épouse ainsi les
mêmes contours que l’outil évaluation en ce sens où ses finalités sont les mêmes : tirer des
leçons de l’expérience et permettre un rendu de compte plus systématique. La présence

50
d’une démarche d’évaluation au sein de MSF se lit dans diverses initiatives et les
opérationnels n’ont pas attendus l’utilisation plus régulière d’une technique pour tirer des
leçons de l’expérience et capitaliser, à chaque nouvelle intervention, les enseignements
appris 95 . Ils n’ont pas attendus non plus l’utilisation d’une technique pour questionner
constamment les politiques opérationnelles mises en place, faire preuve d’autocritique,
témoigner d’une certaine lucidité politique et s’interroger sur la finalité et la justification
de l’aide. Les objectifs opérationnels des missions sont ainsi l’objet d’un suivi et d’une
remise en cause régulière. « Quand le desk descend sur le terrain, c’est pour revoir avec
toi les objectifs et leur mise en œuvre. Dans un sens, on pourrait aussi ranger ça dans la
catégorie évaluation, même si ça fait partie du travail normal d’un desk quand t’as une
équipe terrain et une équipe à Paris. Les visites du siège, quand on est sur le terrain, c’est
quelque chose que l’on attend, pour pouvoir discuter sur place des enjeux de la mission,
des problèmes que l’on rencontrent (…) » 96 . De même, à plusieurs moments de son
histoire, MSF a réorienté ses objectifs au regard de son mandat et de la mission sociale que
l’organisation se donne. Au cours de la dernière décennie par exemple, MSF a
« remédicalisé » son rôle. Ce qui a donné lieu à la fermeture de plusieurs missions
travaillant sur les problématiques liées à l’exclusion sociale 97 . Il s’agit ici d’une
redéfinition générale du rôle de MSF et de ce vers quoi l’association tend. Si l’on avait
procédé à une évaluation de ces programmes, personne n’aurait sans doute formulé dans
leurs recommandations leurs fermetures. La fin d’une mission ne répond donc pas toujours
à la nécessité d’une évaluation précise suivant des critères d’efficacité, de pertinence, ou
autres. Elle peut être le fait d’une décision politique, d’un retrait symbolique etc… En ce
sens, l’évaluation n’est pas une démarche systématique au sein de MSF. Elle n’est pas une
simple étape du cycle de projet, elle n’est pas planifiée et elle ne doit pas rentrer dans un
processus routinier. A l’inverse, elle prendrait la forme d’un banal exercice ne permettant
plus de poser un regard critique sur un programme, une activité ou une politique. Sa non
systématisation répond aussi à la nécessité de ne pas confondre les priorités. Au moment
du déclenchement de l’urgence, la première priorité est l’action. « Je crois que lorsque tu
commences l’urgence, l’évaluation ne fait pas partie des priorités, ça c’est clair. Il faut
95
La lecture de la Revue Critique des urgences 2006 nous renseigne par exemple sur la présence de ce
processus diffus. Ces urgences n’ont pas particulièrement fait l’objet d’évaluations stricto sensus. Pour
autant, de nombreuses leçons sont continuellement tirées par les opérationnels. Les politiques opérationnelles
concernant les deux tremblements de terre du Pakistan en octobre 2005 et d’Indonésie en juin 2006 sont
l’illustration parfaite de cet apprentissage quotidien. Les erreurs faites au Pakistan n’ont pas été réitérées à
Java, notamment pour la construction d’un l’hôpital sous tentes.
96
Voir interview F. Weissman en annexe
97
Par exemple les programmes de Madagascar ou Ethiopie

51
d’abord agir… » 98 Cette conception de placer l’évaluation au second plan des priorités de
l’action souligne aussi la nécessité de préserver une réactivité maximale aux interventions.
La venue d’une équipe d’évaluateurs, qu’ils soient internes ou externes à l’association,
serait alors une charge plus qu’un soutien pour les équipes terrain. L’organisation d’une
visite sur le terrain à ce moment précis n’est pas la priorité. La démarche d’évaluation
s’inscrit plutôt au moment de l’intervention dans la mise en place d’indicateurs 99 et de
recueils de données à la charge des équipes terrain, et qui permettront a posteriori une
analyse sur des faits construits. En ce sens, la démarche d’évaluation se lit donc à plusieurs
niveaux et de manière différente. Elle prend les contours d’un processus flexible et
adaptable à la réalité des interventions de terrain. Elle n’est ni systématique, ni budgétée au
moment du déclenchement de l’opération, elle est pensée comme un moment qui doit
permettre un regard critique sur la base d’indicateurs mis en place sur le terrain par les
équipes. Elle répond à des critères propres parce que la réalité des interventions ne permet
pas toujours de les évaluer selon un schéma évaluatif prédéfini. Les effets de cette
démarche peuvent se lire quotidiennement dans le rapport moral du président, dans les
orientations de politique générale, dans les réorientations de politiques opérationnelles ou
dans le maintien d’un sens aigu de l’autocritique…

2. Une démarche appelée à évoluer

La démarche d’évaluation de MSF est appelée à évoluer pour différentes raisons. Les
récentes initiatives mises en place montrent la volonté de se doter des moyens d’avoir un
regard sur la qualité de la médecine pratiquée. Communément, les ONG mettent en place
des procédures d’évaluation leur permettant d’avoir ce retour sur les opérations réalisées.
Si la technique d’évaluation au sein de MSF est peu utilisée et qu’elle est plutôt pensée
comme une démarche générale, il reste que certaines règles se doivent d’être observées si
l’on souhaite élargir le regard sur la globalité de l’activité opérationnelle.

98
Voir interview F. Weissman en annexe
99
Parmi ces indicateurs, on peut citer : MSF/Epicentre, Rapid health assessment of refugee or displaced
populations, 3ème éd., 2006

52
 2.1.Se doter des moyens d’un regard sur la qualité de la médecine pratiquée

L’évaluation des actions n’est pas considérée comme une fin en soi au sein de MSF. Il
s’agit plutôt d’un moyen comme un autre permettant d’initier une démarche d’évaluation
globale répondant à la nécessité de se doter des moyens d’un regard sur la qualité de la
médecine pratiquée. Néanmoins, ce retour critique sur les opérations, s’il peut être une
démarche flexible et adaptable, doit nécessairement suivre quelques principes dans sa mise
en œuvre. La première de ces règles concerne le choix des personnes en charge du pilotage
de ces analyses. Elles ne peuvent pas être à la fois « juge et partie ». Il est indispensable
que les analyses aient recours au témoignage et à l’expertise des personnes en charge de
ces opérations, mais l’exercice d’un regard critique requiert précisément une distance
nécessaire par rapport à l’objet étudié. Seule cette distance permet la création d’un espace
de débat. L’inverse aurait pour conséquence de produire des rapports de bilan légitimant ou
justifiant une politique opérationnelle. Ils n’auraient d’ « évaluation », « revue critique » ou
autre que le nom. Et même s’ils s’efforçaient d’avoir un regard critique sur les
interventions, ils ne permettraient pas réellement l’ouverture d’un espace de débat 100 . Il est
alors indispensable que ces analyses puissent donner lieu à la mise en place de mécanismes
internes discutant de leurs conclusions ou recommandations. Le véritable enjeu pour toutes
les structures et pour MSF aussi se situe dans l’intérêt que porteront les opérationnels aux
analyses ou évaluations produites. Si ces documents mettent à jour des faiblesses, il faut
alors réfléchir à la manière de passer des mots aux actes. Cette partie est sans doute la plus
délicate de la démarche d’évaluation.
Concernant le moment opportun pour la conduite d’analyses critiques sur des urgences, il
est indispensable de ne pas laisser un temps de latence trop long. Bien souvent, les
opérations de secours sont les interventions sur lesquelles il est le plus difficile d’avoir des
données chiffrées fiables. La méthode de collecte d’informations fait alors appel aux
méthodes qualitatives des sciences sociales, comme les entretiens semi-directifs. Cette
méthode est fondée sur le vécu des acteurs et laisse beaucoup de place aux impressions de
chacun. Fabrice Resongles, auteur de la Revue Critique des urgences 2006, témoigne de
cette difficulté : « Notre gros problème était finalement que nous étions confrontés à une

100
C’est la principale faiblesse du document publié récemment en interne et intitulé Revue critique des
urgences 2006. Il a été directement produit par les personnes en charge des urgences. Or, contester ce
rapport revient à s’opposer directement à la fois aux choix opérationnels, à l’interprétation qui en a été faite
et aux personnes qui l’ont produit. Cette revue distribuée à 300 exemplaires est présente depuis six mois sur
le site asso de MSF et consultable en ligne. Pas une seule personne n’a réagi à son contenu.

53
source, une somme d’informations qu’il fallait trier, éplucher, très linéaires, très
parcellaires. En même temps, notre autre moyen de fonctionner était basé sur des
interviews d’où émergeaient essentiellement le ressenti des missions, avec un temps de
latence long, parfois plus d’une année. Nous étions dans ce ressenti où il fallait essayer de
rechercher l’information, pouvoir la corroborer, trouver des preuves et autres, des choses
tangibles. Ca a été effectivement la grosse difficulté de ce travail. » 101 Ce type de
document participant ainsi d’une démarche d’évaluation au sein de MSF a le mérite
d’identifier les faiblesses même de l’exercice. Si la technique de l’évaluation n’est pas
celle qui est privilégiée pour rendre compte de la qualité, il faut toutefois définir un format,
un moment, un cadre aux analyses qui seront menées dans le futur. Il nous semble ainsi
évident que la démarche d’évaluation telle qu’elle se présente aujourd’hui est appelée à
évoluer.

2.2.Des évolutions au sein du mouvement MSF

La façon dont MSF entend évaluer ses actions ne doit pas être complètement dissociée des
autres sections et du mouvement international. Certaines initiatives tendent à s’imposer
d’une part par les instances internationales du mouvement et d’autre part, par une tendance
à l’uniformisation des pratiques entre sections.

2.2.1. L’exemple d’une initiative au niveau international : l’évaluation par les pairs en
intersection

Les initiatives ayant eu lieu récemment sous l’impulsion du mouvement international

donnent à penser que la démarche d’évaluation au sein de la section française de MSF est
appelée à évoluer. En juin 2005, l’ensemble du mouvement MSF prenait la décision de
mener à bien un processus appelé « La Mancha » visant à redéfinir le rôle de MSF, ses
responsabilités et ses limites, et à renforcer le mouvement international et sa gouvernance.
Ce document s’ajoute à la Charte de Médecins Sans Frontières, qui s’était déjà dotée au
milieu des années 1990 du « document de Chantilly », dans lequel « dix principes de
référence » visaient à préciser l’interprétation des principes d’action de MSF et à aider
l’association dans la mise en œuvre de ses programmes et de son discours sur une base plus

101
Interview sur le site asso de MSF

54
harmonisée. Devant l’évolution à la fois de la structure en elle-même et de
l’environnement humanitaire, le processus de la Mancha vise à adapter la structure à une
nouvelle réalité. Le président du Conseil International de MSF, Rowan Gillies, précise :
« Si beaucoup de nos principes de référence n’en ont pas moins gardé toute leur valeur, il
est temps de les redéfinir, les renforcer ou les compléter, de même qu’il est temps d’élargir
nos règles de fonctionnement afin de pouvoir travailler de la meilleure manière possible
au sein de la nouvelle réalité de MSF. La question fondamentale (…) est (…) celle de notre
raison d’être. Et je veux croire que cette raison d’être, c’est un travail pragmatique,
efficace et de qualité aussi bien sur le terrain que dans nos actions de témoignage
(…). » 102 L’élargissement de ces règles de fonctionnement a amené une partie de l’Accord
final à s’intéresser plus précisément à certains points visant la nécessité du rendu de
comptes et l’amélioration constante de la qualité des actions menées par MSF.
Indirectement, ces alinéas engagent l’association sur la voie d’une évaluation plus
accomplie et plus transparente de ses actions. Dans la première partie de l’Accord final
concernant « l’action », il est ainsi explicité : « Tout en consolidant son expérience directe
des stratégies novatrices, MSF doit évaluer son impact, abandonner les stratégies
thérapeutiques et les méthodes d’intervention inefficaces et utiliser au mieux celles qui se
sont avérées efficaces. » 103 L’alinéa 8 de cette première partie de l’Accord énonce aussi :
« Nous devrions rendre publics les résultats et examens critiques de nos actions, les
104
analyser et les documenter (…) » Il s’agit ici de rendre des comptes et d’être le plus
efficace possible dans les interventions menées. Il est un autre élément intéressant justifiant
l’utilité de la démarche, celui de pouvoir rendre des comptes au sein même du mouvement
MSF, et d’en améliorer ainsi la « gouvernance », comme le titre la deuxième partie de
l’Accord : « Se rendre mutuellement des comptes et pratiquer une transparence active au
sein de MSF, tant au niveau des sections que du mouvement international, sont des
éléments essentiels pour améliorer la pertinence, l’efficacité et la qualité de nos
interventions. » 105 Cette évolution s’applique donc au niveau des sections mais aussi du
mouvement. Le processus de La Mancha met ainsi des mots sur un état de fait et vise à
donner aux instances internationales du mouvement les moyens de leurs ambitions. Chaque
membre du Conseil International de MSF, rassemblant les 19 associations nationales, était

102
MSF, My sweet La Mancha, recueil de contributions écrites entre juillet et octobre 2005, décembre 2005,
p.9
103
MSF, Accord de La Mancha, 25 juin 2006, Athènes, trouvé sous :
http://www.msf.fr/documents/base/2006_06_24_FINAL_La_Mancha_Agreement_FR.pdf, p. 3
104
Ibidem
105
Ibidem, p.4

55
déjà tenu de co-signer les comptes consolidés annuels, donc les dépenses opérationnelles
des autres sections. La responsabilité des politiques opérationnelles de chaque section est
de fait partagée alors que, jusqu’à présent, il était difficile d’avoir des informations claires
sur la nature et l’efficacité des opérations de chacune. « Le processus de La Mancha vise à
donner aux instances internationales les moyens d’exercer ces tâches : piloter les grands
axes opérationnels, évaluer l’efficacité des opérations et en rendre compte, analyser enfin
la pertinence des prises de positions publiques. » 106 Une partie de la démarche
d’évaluation des actions tend ainsi à être centralisée et développée au niveau des instances
internationales de MSF. De nouvelles initiatives ont vu le jour très récemment à la suite de
l’Accord de La Mancha. Les Directeurs des Opérations des cinq sections opérationnelles
de MSF et les directeurs des départements médicaux se sont mis d’accord pour conduire
trois évaluations 107 comparant les stratégies opérationnelles de certaines sections. Elles ont
été réalisées en intersections. L’avantage de la formule réside dans le fait de pouvoir
« externaliser » tout en restant en interne. L’une des sections opérationnelles évalue les
activités des autres, alors qu’elle n’est elle-même pas engagée dans les opérations évaluées.
Pour ces trois évaluations, les termes de références ont été élaborés par le Bureau
International et validés par les directeurs des opérations des cinq sections opérationnelles.
Pour autant, « le système mériterait des éclaircissements » 108 comme le souligne Jean-
Marc Biquet, co-auteur d’une de ces évaluations intitulée Evaluation of MSF Aids projects
in Malawi 109 . Dans les faits, personne n’est capable de dire qui est le pilote de ces
évaluations et qui peut légitimement exercer des pressions si l’une d’entre-elles n’aboutit
pas. Il reste que la réitération de ce genre d’initiatives pourrait avoir des conséquences
directes sur la démarche d’évaluation des actions pratiquée au sein de la section française.
L’influence de ce processus pourrait avoir pour conséquence deux scénarii possibles pour
la démarche d’évaluation des actions. Le premier est l’influence que pourrait exercer
l’utilisation de l’évaluation sur la démarche même de la section française et l’appropriation
de cet outil de manière plus systématique comme moyen permettant d’avoir un regard sur
la qualité opérationnelle. Il y aurait ainsi un effet d’entraînement et l’utilisation de la
technique d’évaluation au niveau international insufflerait l’appropriation de l’outil au sein

106
BRADOL Jean-Hervé, « La Mancha à mi-parcours », in : Messages MSF, n°139, fév.2006, p.17
107
L’une porte sur la prise en charge de l’épidémie de choléra lorsque l’urgence s’est déclenchée en 2006 en
Angola, la deuxième sur les stratégies opérationnelles des sections suisse et hollandaise développées au
Myanmar et la dernière s’intitule « Evaluation of MSF Aids projects in Malawi ».
108
Voir entretien téléphonique Jean-Marc Biquet en annexe
109
BEDELL Richard, BIQUET Jean-Marc, CALMY Alexandra, Evaluation of MSF Aids projects in Malawi,
Avr/mai 2007

56
de la section française. Le deuxième scénario envisagé pourrait être le maintien de deux
niveaux différents et celui-ci nous paraît être le plus probable. Le principe de l’utilisation
de la technique de l’évaluation exercée par les pairs dans le cadre d’une politique
internationale serait accepté sans trop de réticences. En dépit des divergences de stratégies
opérationnelles au sein des sections et de certaines différences d’interprétations dans les
principes d’action, il reste que la formule resterait dans le cadre d’une politique
d’évaluation interne globale au sein du mouvement. Autrement dit, « MSF évalue MSF »
et l’emploi de l’outil évaluation ne pose pas de problème majeur. Il laisse toujours la
possibilité aux sections d’avoir en interne la démarche d’évaluation qu’elles souhaitent. En
l’occurrence, l’utilisation de la technique d’évaluation n’étant pas particulièrement promue
au sein de la section française, elle fonderait ses choix opérationnels et exercerait un rendu
de compte plus systématique au moyen d’autres outils, qui tendent plutôt à prendre les
formes plus flexibles de « revues critiques », bilan et diverses analyses. Cette hypothèse
n’est valable que dans le cadre actuel des évaluations, qui ne prévoit pas encore de
mécanismes d’appropriation des recommandations émises au sein de chaque section. La
prise en compte des remarques étant laissée au libre arbitre et à l’hypothétique volonté
politique interne d’en prendre note. Lorsque cette volonté est présente, le fait de ne pas
avoir prévue de système formalisé n’est pas gênant. Le Dr Emmanuel Baron témoigne de
cet intérêt pour la prise en compte des remarques formulées par un regard extérieur : «
Dernièrement, il y a deux évaluations intersections qui ont été faites au Malawi et en
Angola. Ca en fait des rapports plutôt intéressants et pas toujours sympathiques pour
nous. Et bien là, nous, on a pigé des trucs sur lesquels il faudrait qu’on progresse. (…)
cette formule a des avantages. Le mouvement est tellement large, que ce n’est pas toujours
des copains [qui seront en charge des évaluations]. Jean-Marc Biquet, j’en ai beaucoup
entendu parler mais je ne vois même pas à quoi il ressemble. » 110 Toutefois, si un véritable
pilotage des évaluations est mis en place au niveau des instances internationales, cette
formule peut s’avérer être un plus grand facteur de dissonances. Il est toujours plus délicat
de refuser les conclusions d’une évaluation conduite par ses pairs que par une équipe
d’évaluateurs externe. La question de l’externalisation de ces procédures n’est donc pas
close. Tout porte à croire que la mise en œuvre d’une démarche d’évaluation des actions,
tant au niveau international qu’au niveau de chaque section, est appelée à évoluer et à être
précisée dans ses formes et contours.

110
Voir interview Emmanuel Baron en annexe

57
 2.2.2. Uniformisation des pratiques au niveau des entités nationales

Le dernier point qui nous donne à voir une situation en mutation est une certaine
uniformisation des pratiques au niveau des sections opérationnelles. Nous fondons cette
analyse sur l’exemple des sections hollandaises et suisses 111 . Les Hollandais ont vraiment
été précurseurs dans l’appropriation des techniques d’évaluation par rapport aux autres
sections et à l’ensemble du mouvement humanitaire. Avant même l’apparition d’un
véritable « secteur » de l’évaluation, la section hollandaise de MSF convoquait en 1996 de
nombreux acteurs humanitaires à une conférence sur l’évaluation des actions humanitaires.
Il s’en est suivi en 1998 une publication intitulée Mini-Symposium Evaluations and Impact
Studies of Humanitarian Reflief Intervention 112 . Elle reprenait les débats et les questions
soulevées pendant ce colloque. Dans ce document, de nombreux thèmes encore actuels
aujourd’hui sont abordés. On y retrouve les difficultés évoquées quant à l’évaluation des
situations d’urgence avec ces mêmes schémas évaluatifs, les questions liées à la
détermination de l’impact d’une action sur l’état de santé global d’une population, les
doutes émis quant à la plus-value de consultants conduisant les évaluations… En dépit de
toutes ces questions, la section hollandaise a initié la conduite d’évaluations dans ses
pratiques et a produit en 1999 un manuel d’évaluation 113 . Depuis lors, de nombreuses
évaluations, qu’elles soient le fait d’évaluateurs internes ou externes, ont été produites et
une quinzaine d’entre-elles peuvent être par exemple consultées sur le site de l’ALNAP.
D’autres sections opérationnelles suivent aujourd’hui cette tendance de plus en plus perçue
comme nécessaire au sein du mouvement MSF. L’outil permettant de rendre des comptes
et de tirer des leçons des expériences passées est souvent la technique de l’évaluation. La
section suisse de MSF s’est dernièrement dotée d’une unité basée à Vienne en charge des
évaluations de ses actions. Cette cellule a elle aussi produit un manuel d’évaluation publié
au début de l’année 2007 et intitulé Evaluation Manual – A Handbook to initiating,
managing and conducting evaluations in MSF 114 . L’introduction de ce document précise
qu’il ne s’agit pas d’un « guideline », justement parce que l’évaluation des actions ne doit
pas suivre une procédure stricte. Il est reconnu que l’utilisation de la technique de
l’évaluation ne doit pas être imposée comme une ligne directrice. Par conséquent, il n’est

111
Sections pour lesquelles nous avons eu accès à plus d’informations.
112
MSF-H, Mini-symposium on Evaluations and Impact Studies of Humanitarian Relief Interventions, Final
report of the symposium held in Amsterdam, the Netherlands, November 28 and 29, 1996
113
MSF-H, Evaluation Manual. Learning from experience, 1999
114
MSF-CH, Evaluation Manual. A Handbook to initiating, managing and conducting evaluations in MSF,
Vienna Evaluation Unit, 2007

58
pas question de l’appliquer de manière routinière et systématique à la fin du cycle de
projet. Pour autant, la capacité à pouvoir conduire correctement une évaluation est énoncée
comme un élément essentiel de l’amélioration de la qualité des actions et du rendu de
compte. Les critères d’évaluation sont les mêmes que ceux du CAD. On y ajoute par
exemple aussi les taux de couverture de la population, la réactivité, la capacité de
coordination des actions, et le critère de viabilité pour les projets de moyen et long terme.
Tous les critères ne doivent pas être systématiquement observés, tout dépend de ce que
l’on voudra évaluer. Ce document est un guide méthodologique pour optimiser la conduite
d’évaluations, auquel on a ajouté la prise en compte nécessaire de quelques spécificités
propres aux actions de MSF. Plusieurs programmes de MSF suisse ont ainsi été évalués de
la sorte, en suivant les procédures tendant à optimiser la conduite d’évaluation115 . La
personne régulièrement en charge du pilotage de ces évaluations semble d’accord avec la
position de MSF-France qui consiste à avoir une vision flexible de la forme donnée à la
démarche d’évaluation 116 . Cependant, elle insiste aussi sur la nécessité d’avoir une
compréhension similaire de l’évaluation au sein du mouvement. Il y a donc une tendance
générale visant une certaine normalisation des pratiques dans leur ensemble. Vouloir que
toutes les sections évaluent leurs actions en utilisant le même schéma évaluatif participe de
cette tentative d’uniformiser les pratiques au sein du mouvement. L’emploi généralisé de la
technique d’évaluation permettrait peut-être d’avoir une vision plus globale des actions de
MSF parce qu’il suivrait le même format, les mêmes critères, les mêmes étapes. Pour
autant, il n’est pas certain que cette uniformisation amènerait les sections à se poser les
bonnes questions. L’emploi systématique de schémas évaluatifs n’est pas un moyen
nécessairement considéré au sein de la section française comme approprié à l’évaluation
des actions. L’effort d’évaluation est plutôt l’occasion d’exercer un regard critique plus
général sur les opérations et de questionner les choix opérationnels réalisés. Pour autant, il
ne s’effectuera pas nécessairement en référence à un schéma évaluatif prédéfini. Cette
position est compréhensible. Pour la section française, elle correspond justement à cette
volonté de ne jamais traiter une intervention en référence à une autre. Et imposer un
schéma d’évaluation particulier, c’est vouloir appréhender une réalité de terrain par rapport
à des concepts généraux dans laquelle elle ne se laisse pas toujours enfermée. Il reste que
la pratique de l’évaluation se développe de plus en plus, tant dans l’ensemble des

115
Voir par exemple KAMPMÜLLER Sabine, RAFETSEDER Otto, Evaluation and treatment of HIV/Aids
programm, Litchinga/Niassa/Mozambique, MSF-Switzerland, June 2005 ; ou encore: KAMPMÜLLER
Sabine, FOTIADIS Michail, Evaluation Report, Gulu/Northern Uganda, MSF-Switzerland, Octobre 2005
116
Echange de courriels avec Sabine Kampmüller la semaine du 3/10/07 au 10/10/07

59
organisations humanitaires qu’au sein du mouvement MSF. Cet élément nous fait dire que
la démarche d’évaluation au sein de la section française est appelée à évoluer. Cette
probable évolution n’est pas synonyme d’appropriation de la technique d’évaluation, elle
serait plutôt consécutive d’une réelle prise de position sur la façon dont l’association
entend évaluer ses propres actions.

60
 Conclusion

Pour conclure ce travail, nous aimerions revenir sur les hypothèses de départ que nous
avions formulées au moment du recensement des documents portant la mention
« évaluation » trouvés au sein de MSF. La première hypothèse avait été de penser que
l’utilisation de la technique d’évaluation n’était pas une pratique très présente au sein de
l’association. Ce premier postulat se doit d’être maintenant nuancé. Avant même
l’apparition, au milieu des années 1990, de ce que François Grünewald a qualifié d’un
« secteur évaluation de l’humanitaire », Epicentre, Centre de Recherche en Epidémiologie,
était déjà sollicité pour l’évaluation des interventions de MSF. Un document intitulé
Evaluation des interventions en urgence de Médecins Sans Frontières 117 publié en interne
en 1992 atteste de ce rôle d’évaluateur. Pour autant, ce regard porté sur l’opérationnalité
globale des interventions ne s’est pas réitéré régulièrement. Pour la plupart, les évaluations
menées par Epicentre ont été ponctuelles et se sont davantage concentrées sur les aspects
médicaux des activités réalisées. Dans ce cas et dans la mesure où l’évaluation avait été
« déléguée » en externe, l’utilisation de la technique d’évaluation n’a pas posé de
dilemmes majeurs. Finalement, le scepticisme de MSF quant à l’utilité d’employer les
méthodes d’évaluation est plutôt le fait d’une réflexion récente au sein de l’association. Par
ailleurs, il ne s’applique pas de manière indifférenciée et à tous les secteurs. Le principe de
l’évaluation est accepté et l’emploi de la technique est utilisé lorsque l’objet évalué se
trouve être une activité précise et porte sur un aspect particulier d’un programme. Il peut
alors s’agir de l’aspect médical, logistique, de sanitation etc. Dans ces cas de figure,
l’évaluation peut être réalisée en faisant appel à une équipe d’évaluateurs externes. En
revanche, lorsque l’évaluation se donne pour objet des aspects plus globaux de politiques
opérationnelles et lorsqu’il s’agit, en d’autres mots, de juger de la pertinence, de
l’efficacité, de l’efficience d’une intervention dans sa globalité ou d’une politique
opérationnelle, il en est tout autre. Dans ces cas-là, l’emploi de la technique d’évaluation
n’apparaît pas être l’outil le plus efficace et par conséquent, il n’est pas souhaitable de
déléguer cet exercice au jugement d’un regard externe. Deux raisons motivent cette ligne
de fracture. Lorsque l’association souhaite évaluer sa propre politique opérationnelle,
l’élément le plus essentiel est de pouvoir se doter des moyens d’élaborer un regard critique

117
BROWN Vincent/Epicentre, Evaluation des interventions en urgence des Médecins Sans Frontières –
impact des évaluations épicentre, juillet 1992

61
sur les opérations réalisées. Il est donc primordial de pouvoir justement associer les
opérationnels à ce processus. La seule raison d’être de ces exercices est l’élaboration d’un
outil pédagogique leur étant destiné. Ce retour sur les opérations est strictement réalisé en
interne et il ne peut aucunement être délégué à l’appréciation d’un regard extérieur, parce
qu’il suppose d’avoir assimilé quel est l’ « état de la réflexion » sur la « raison d’agir »
motivant les choix opérationnels de l’association. L’inverse introduirait le risque de ne
justement pas pouvoir disposer de la qualité d’un regard sur la médecine pratiquée.
Notre deuxième hypothèse préjugeait de la présence d’une politique d’évaluation
strictement interne à laquelle l’observateur extérieur n’aurait que difficilement accès. Si
ces soixante pages sont les témoins d’une certaine ouverture et transparence, il reste que
nous avons continuellement dû parer à un certain manque d’informations écrites. De
nombreuses fois, nos interlocuteurs évoquèrent l’existence de rapports dont nous n’avons
pas pu retrouver la trace. Nous supposons ainsi qu’il existe des rapports ici ou là, dans les
recoins de certains bureaux, auxquels nous n’avons pu avoir accès. Pour le moins, cet
élément nous renseigne sur le fait que ces documents n’ont pas pour première priorité le
rendu de comptes. Plus qu’une politique d’évaluation strictement interne, nous conclurons
à une politique d’évaluation dont la fonction du rendu de comptes ne semble pas être au
premier rang des priorités.
Enfin, notre dernière hypothèse supposât qu’il eut fallu chercher ailleurs la présence d’une
démarche d’évaluation. Nous espérons avoir montré dans notre deuxième partie les
contours d’une démarche d’évaluation récente et présente, qui se donne pour finalités
celles de l’évaluation mais qui ne se nomme pas comme telle. En ce sens, nous avons
identifié une réelle volonté politique interne d’améliorer la qualité des interventions et de
se doter des moyens de porter un regard sur la médecine pratiquée. Ces initiatives
participent aussi d’une volonté de faire preuve d’une plus grande responsabilité vis-à-vis
des différentes parties. Dans cette démarche cependant, l’utilisation de la technique
d’évaluation n’est pas considérée comme une fin, mais seulement comme un moyen
d’arriver au même résultat. Nous aurions tort d’interpréter cette démarche sous un angle
« culturel », lié à l’identité même de Médecins Sans Frontières, et faisant de cette voie la
simple manifestation d’une originalité récurrente. Si MSF se dirige aujourd’hui dans une
démarche qui suit les contours de l’évaluation sans forcément s’en approprier la technique,
elle est avant tout le fait d’une réflexion liant la nécessité de « redevabilité » avec celle
d’un maintien de ses capacités d’innovation et de réactivité. D’une certaine façon, MSF
suit la tendance du système humanitaire actuel en essayant d’adapter ces nouvelles

62
injonctions à son propre fonctionnement. L’association invente la possibilité d’une
deuxième voie en la modelant suivant sa propre perception des réalités et contraintes de ses
terrains d’intervention. Plutôt que d’envoyer par exemple des équipes d’évaluateurs sur les
terrains d’intervention, l’association tente aujourd’hui de consolider les modes de collecte
d’informations en provenance du terrain, de simplifier et rationaliser leurs synthèses au
siège, de telle sorte que les analyses qualitatives et l’exercice d’un regard critique puissent
se fonder sur des faits solidement construits. Cette amélioration des « outils métier »
permettrait une meilleure lecture des opérations, les moyens d’un regard sur la médecine
pratiquée, une analyse critique plus systématique et un rendu de comptes plus grand.
Revenir sur ces trois hypothèses nous a permis de voir se dégager plusieurs niveaux
d’évaluation. Tout porte à croire que MSF continuera ponctuellement à mandater des
organismes extérieurs comme Epicentre pour mener des évaluations externes, permettant
ainsi d’avoir un regard extérieur sur des aspects précis des activités. Le deuxième niveau
serait celui d’une « évaluation externe en interne » avec la mise en place d’évaluations en
intersections ; elles porteraient indifféremment sur des programmes ou des activités mais
introduiraient un angle comparatif intéressant permettant la confrontation des stratégies
opérationnelles propres à chaque section MSF. Le troisième niveau serait cette démarche
d’évaluation interne, dont il a déjà été question, ayant pour visée un retour critique sur sa
propre politique opérationnelle. La combinaison de ces trois niveaux permettrait
indéniablement à l’association de tirer des leçons des interventions et d’améliorer le rendu
de comptes. Ce faisant, la section française de MSF montre une certaine spécificité dans la
compréhension, l’assimilation et l’appropriation des méthodes d’évaluation. Au regard des
évolutions au sein du mouvement MSF, il est certain que cette démarche d’évaluation est
appelée à évoluer encore. Toute la question est maintenant de savoir comment : vers une
uniformisation des pratiques ou l’affirmation d’une spécificité…

63
ANNEXES

64
 Interview du Dr Emmanuel Baron – Directeur du département médical
Lundi 8 octobre 2007 – Durée : 55 min

Julie Damond : Comment voyez-vous l’évaluation des activités médicales de MSF ?

Emmanuel Baron : Effectivement à MSF, il me semble que l’on n’est pas très familier avec le
concept. On n’a pas beaucoup procédé à de véritables évaluations. Quel que soit ce que l’on met
derrière le terme évaluation, que ce soit évaluation externe, critique interne ou revue critique
comme on n’a pu le faire pour le Darfour en 2003 ou le travail que tu as pu faire sur les
urgences… Donc je ne suis pas sûr que l’on soit très familier avec la procédure. Par ailleurs, une
façon très simple d’analyser un peu ce que l’on fait, c’est d’avoir un regard critique et de regarder
ses propres résultats. Globalement, c’est être capable de répondre à la question : « est-ce que ce
que je fais marche ou non, est-ce que ça apporte au malade ? » Ce n’est pas quelque chose qui a
été fait par MSF depuis le début de son histoire.

J.D. : Vous parlez de MSF-France ?...

E.B. : Non, je parle de MSF en général. Bon sur les autres sections je ne sais pas tout ce qu’ils ont
pu faire vis-à-vis de leurs programmes, mais d’un point de vue médical en tout cas, en terme de
données sorties, de résultats produits, de documents écrits, je n’ai pas vu beaucoup de choses se
faire, ou en tout cas, très à la marge. Sur le plan médical, il y a eu des publications, des essais
menés, des activités sur le terrain qui ont été quantifiées, regardées, décrites, mais je pense que ça
participe d’une idée d’évaluation, mais ce n’est pas réellement un processus d’évaluation de nos
projets. C’est une démarche qui n’a pas été complètement absente dans l’idée, certains l’avaient,
mais en réalité, de façon concrète, c’était quand même pas quelque chose de très fort, tout au
moins sur le plan médical. Le premier vrai travail que j’ai l’impression d’avoir vu de ce point de
vue-là, c’est la revue du Darfour, qui regardait la pertinence, le déploiement des moyens et les
résultats. C’est sur les résultats que moi je peux un peu plus parler aujourd’hui, je pense que les
aspects pertinence opérationnelle, caractère humanitaire de l’action, moyens déployés, ce sont des
choses qui sont un peu plus travailler par le département des opérations. Ca ne veut pas dire que
ces choses n’intéressent pas le département médical, mais nous, sous le vocable évaluation, on va
avoir tendance à y mettre les résultats médicaux de nos actions. Là-dessus les choses bougent et
changent un peu.

J.D. : Cette évolution, elle est souhaitable, réalisable ?...

E.B. : C’est nécessaire, réaliste et réalisable. C’est nécessaire parce que c’est un processus que
l’on doit en premier lieu aux patients que l’on traite. En théorie, il faudrait être capable de
répondre aux malades qu’on accueille dans nos structures de soins et pouvoir leur dire : « ce qu’on
fait, on sait que ça fonctionne, ce n’est pas juste pour ne pas nuire, c’est pas juste pour être là, ni
juste pour faire beau, ou parce que vous souffrez tout simplement… », c’est aussi parce que ce
qu’il y a un résultat qu’on le fait justement. Ca me parait être une attitude responsable que de
regarder un peu ce que l’on fait, son efficacité, son efficience… Deuxième raison, les donateurs à
qui il faut rendre des comptes, à qui il faut expliquer un peu ce que l’on fait, et quels résultats on
obtient avec cet argent. Troisièmement, je pense que – bon, il y a une atmosphère générale en
médecine, qui va toucher aussi les pays en voie de développement et c’est bien légitime – c’est
celle qui fait que les patients vont être amenés à s’organiser, à demander des comptes, à être plus
incisifs vis-à-vis de leur prestataire de soins. Et là il faut aussi être préparé, capable de répondre
sur l’efficacité de ce que l’on fait. Donc il y a une tendance générale à l’expression de la
responsabilité, au rendu de compte nécessaire… Et tout ça fait qu’une association comme la notre
ne peut pas s’exonérer de cette démarche.

J.D. : A propos de l’emploi de critères (efficacité, efficience,…) conviennent-ils à l’évaluation des

actions menées par MSF ?

65
 Mais je pense que si ça ne l’est pas, il faut d’abord dire pourquoi. On n’a pas de malaise avec ça.
Moi je n’ai pas de malaise à expliquer des chiffres qui ne sont pas ceux attendus, à avoir des
indicateurs qui ne renvoient pas à ceux des pays occidentaux. Le principe même est nécessaire et
inéluctable ! Après la façon dont il va s’organiser… je pense qu’il ne va pas falloir faire du
copier/coller tout le temps, il va falloir être un peu aussi un petit peu innovant, différent, essayer
de prendre en compte d’autres arguments, d’autres éléments. Mais au final, moi je vais être
intéressé de comparer des proportions de patients guéris, de regarder quelle est la mortalité dans
les structures de soins dans les hôpitaux, le gain de poids des enfants que je traite pour la
malnutrition. Critiquer l’outil de mesure et la façon dont il est calibré, ce n’est pas trop mon souci
aujourd’hui. Parce que mon souci, aujourd’hui, ce n’est pas de me comparer avec les pays du nord.
Si je peux avoir les mêmes résultats ou des résultats supérieurs, tant mieux ! D’ailleurs, on peut
envisager faire évoluer les pratiques du Nord à travers celles du Sud. Mais l’objectif premier doit
être de comparer que ce que je fais, dans un premier temps, fonctionne et après, peut-être de
comparer avec d’autres institutions dans le même endroit ou même dans des endroits différents.

J.D. : Quelles sortes d’indicateurs prendre en compte pour évaluer les activités médicales ?

E.B. : Moi, outre l’efficacité thérapeutique et le processus médical de prise en charge, il y a deux
autres champs que je serais intéressée de regarder. Le premier, regarder l’impact que nos activités
peuvent avoir, c’est-à-dire savoir si quand on arrive à un endroit à un moment donné, mesurer les
effets escomptés sur l’ensemble de la population, et savoir s’ils sont négligeables, importants, dans
quelle mesure, est-ce que ça a changé, est-ce que les gens ont accès aux services, comment on
s’inscrit dans le schéma de santé publique… Qu’est que notre arrivée change, non pas pour LE
tuberculeux qui vient nous voir – ça m’intéresse aussi – mais pour UN tuberculeux dans le pays, la
ville ou la province dans laquelle on arrive. Est-ce que la perception du soin, le besoin, est-ce
qu’on traite 50% des malades – je ne dis pas que notre objectif doit toujours être la couverture
sanitaire du pays – mais comment on agit sur un schéma. Le schéma de santé publique existe
toujours – dans les situations de conflits c’est peut-être un peu différent – mais en tout cas, je
préférerais savoir quel est l’impact plus que l’effet.
Et puis l’autre point qui m’intéresse de connaître, c’est tout ce qui concerne le processus de prise
en charge. Est-ce que j’ai des indicateurs de fonctionnement de la structure qui me satisfont, est-ce
que les malades attendent des heures et des heures avant d’être pris en charge, est-ce que les
indicateurs me permettant de vérifier l’hygiène et la stérilisation me montrent que ça va
fonctionner, est-ce que les salles de réveil/blocs opératoires sont suffisamment staffées, organisées
comme il le faut, avec le matériel qui faut… Tout ce qui concerne le fonctionnement et
l’organisation des soins. Est-ce que je ne suis pas trop souvent en rupture de stocks de
médicaments, est-ce que je le suis, est-ce que je ne le suis pas et si je le suis, à quel rythme…
Donc il y a toute une série d’indicateurs quand même qui renvoient à des politiques de soins à
terme ou à des principes généraux de la médecine. Ce genre d’information, de culture qu’on
appelle un peu en France la certification des établissements de soins, tout cela n’a pas encore
gagné MSF mais est en train d’arriver…

J.D. : Tous ces éléments par exemple, vous avez le sentiment de les avoir retrouvés dans la Revue
Critique du Darfour ?

E.B. : Pas vraiment non… Et puis ça fait quatre ans que je ne l’ai pas lu, il faudrait que je la relise.
Je la voyais sans doute aussi avec d’autres yeux à l’époque. Non mais la Revue Critique du
Darfour, elle est complète, il y a beaucoup de choses, mais je ne suis pas gênée si elle n’est pas
exhaustive. Je trouve qu’elle témoigne d’une démarche très importante et très intéressante.
Aujourd’hui les choses vont changer pour MSF. Pour une série de raisons, ce n’est plus tellement
possible de rester comme avant. On voit aussi la création en interne d’une petite structure
d’évaluation qui arrive, mais on ne sait pas trop ce que l’on met dedans, ni est-ce que ça va nous
intéresser.

66
J.D. : Et le fait qu’elle soit rattachée à la Direction Générale ?

E.B. : Moi je trouve que c’est exactement là où il faut qu’elle soit. Il y aura comme ça plus de
latitude pour aller demander des informations. Moi je ne vois pas du tout cette cellule comme un
objectif sanctionnant, je le vois comme un organe à qui moi, je vais aller poser des questions,
j’aimerai qu’elle m’aide à mieux analyser mes informations, à comprendre ce que je fais sur le
terrain. Moi je trouve que cette cellule c’est bien qu’elle soit dégagée de la Direction des
opérations.

J.D. : Vous pensez que l’enthousiasme dont vous faites preuve pour toutes ces évolutions, est partagé
à MSF ?

E.B. : Ce n’est pas toujours le cas, donc j’imagine que sur ça aussi.

J.D. : Vous pensez qu’il y a des réticences ?

E.B. : Non, je ne crois pas, mais surtout parce que je pense qu’elle n’est pas bien compris. Je
pense que l’on n’y met pas tous les mêmes choses derrière. Moi j’ai une idée précise sur ce qu’elle
pourrait être, mais ce que ça va être, ça j’en sais rien. J’étais un peu absent des comités de
direction depuis un mois et demi, deux mois, donc je ne sais pas trop où ça en est.

J.D. : Et sur la deuxième revue critique, celle des urgences, qui est beaucoup moins complète, vous en
pensez quoi ?

E.B. : Ben oui, c’est beaucoup moins complet mais voilà des signes encourageants ! Dans un
milieu assez peu habitué à rendre des comptes – si ce n’est aux bailleurs de fonds - les choses
bougent ! Et je me satisfais sans problème de critères assez minimalistes d’activité. Quand on
regardera dans 10 ou 15 ans cette période du milieu des années 2000, on se souviendra qu’il y a eu
une série d’ébauche. Dans des dix ans, on les jugera sans doute primaires, mais ce n’est pas grave,
on est dans le processus d’améliorer tout ça et je ne vois pas du tout comment aujourd’hui on
pourrait revenir en arrière.

J.D. : Pourtant il existe des réseaux, des plates-formes (groupe URD…) qui ont formalisé des
initiatives auxquelles MSF ne participe que partiellement ?

E.B. : D’abord je ne suis pas sûre que MSF en connaisse l’existence, ensuite jusqu’à maintenant,
personne ne s’intéressait à tout ça, il n’y avait pas de responsable… Je ne suis pas sûr que
quelqu’un soit allé à l’extérieur, au contact, éplucher les idées, et ensuite, je pense que la maison a
tendance à penser que les gens qui font ça à l’extérieur sont plus sur un créneau que sur une
volonté de changer les choses. Et puis ces gens, que font-ils, qui sont-ils… Il y a toujours eu des
gens qui venaient de l’extérieur pour faire des travaux d’analyse, de regard sur nos projets…

J.D. : A MSF ?

E.B. : Oui, on avait fait faire par exemple une étude sur l’adhérence aux traitements par un
DESS…Il y avait eu aussi des études anthropologiques faites sur nos activités nutrition… Il y a
des choses qui ont été faites sur le Congo Brazza, un regard extérieur…
Encore une fois, ce n’était pas récurrent, ni organisé. Ce n’était pas sur un mode consultant, le
mode consultant à MSF, ça ne marche pas… La personne qu’on va chercher à l’extérieur pour
porter un regard sur nos activités, il faut qu’elle ait une vraie plus-value. Souvent les gens
n’arrivent pas à mettre en perspective du déploiement opérationnel et des contraintes de terrain, les
idées, les Benchmarks, les ressources… Ce qu’ils apportent souvent est présenté de manière brute
et froide et ne s’inscrit pas dans la perspective d’un projet. Et c’est vrai que les personnes les
mieux placées sont celles qui ont une idée de ce que c’est une opération. Et vous remarquerez, en
France en tous cas, les gens qui analysent, sont des gens connaisseurs du domaine. Pour

67
 comprendre ce qu’est l’aide humanitaire, il ne faut pas juste avoir passé des vacances au Sénégal
ou… bon je caricature. Mais voilà, il faut vraiment avoir conduit des projets, soigner des malades
s’il s’agit d’activités médicales, pour être un peu réaliste.
Dernièrement, on a fait tout un audit interne de MSF logistique en 2007. Et ça on l’a conduit avec
des gens qui savaient ce que c’était que la logistique, l’approvisionnement.

J.D. : Dans ce genre de cas, on porte plus sur des évaluations d’activités et il semble que ce soit plus
facile de faire appel ici à des évaluateurs externes pour la profession qu’ils vont apportés, mais que
penser d’un évaluateur dont c’est le métier, mais qui va porter un jugement sur l’acte médical ou la
médecine que l’on pratique ?

E.B. : Euh… un politologue sur le soin… Là effectivement. Un anthropologue par exemple, j’ai
toujours trouvé ça intéressant d’avoir des anthropologues sur le terrain, mais en réalité, ces gens-là
ne nous sortent rien de pratique. Ils ne nous aident pas, voilà ! Ce sont un peu des gens de
laboratoire. Le problème n’est pas tant que les gens n’aient pas de vécu opérationnel, le regard
extérieur m’intéresse vraiment, mais le but quand même, c’est que les gens à qui j’ouvre ma porte,
m’aide ! Si c’est pour envoyer des mecs qui vont avoir des idées irréalistes derrière, ça ne nous
intéresse pas ! C’est un peu le reproche que l’on a pu faire à Epicentre, notre bras
épidémiologique, c’est d’avoir aujourd’hui des activités qui sont un peu déconnectées du terrain.
Dernièrement, il y a deux évaluations intersections qui ont été faites au Malawi et en Angola. Ca
en fait des rapports plutôt intéressants et pas toujours sympathiques pour nous. Et bien là, nous, on
a pigé des trucs sur lesquels il faudrait qu’on progresse.

J.D. : Mais là, ça reste en interne, d’ailleurs le sous-titre de cette évaluation, c’est « Peer Review »…

E.B. : Oui mais en même temps, ce n’est pas des gens mêlés aux opérations. Et cette formule a des
avantages. Le mouvement est tellement large, que ce n’est pas toujours des copains. Jean-Marc
Biquet, j’en ai beaucoup entendu parler et je ne vois même pas à quoi il ressemble. Alexandra
Calmy, ça fait très longtemps que je ne l’ai pas vu. Mais attention, rien ne sert d’avoir des
évaluations très dures, si derrière, il n’y a pas de côté pratique, que ce n’est pas repris en main.
L’idée générale qui pèse et qui tend à dire que MSF a du mal à faire appel à des gens de l’extérieur
pour regarder ses projets, c’est pas toujours aussi vrai dans la réalité. Mais effectivement, on ne l’a
pas fait sur une véritable évaluation comme tu as pu le faire sur les urgences… On a regardé
ponctuellement sur des points précis. Mais ce n’est pas ça ce que j’appelle vraiment une
évaluation. Donc je reviens sur ce que l’on disait au début et je confirme. On n’est pas très
coutumier de ça. Mais on l’a fait ! Préalablement par exemple sur le Malawi, on avait envoyé
quelqu’un de La Pitié Salpêtrière et on l’a invité à dire ses conclusions au Conseil
d’Administration ! Il a dit ce qu’il avait à dire. Il a un peu critiqué. Mais il aurait pu déglinguer
complètement notre programme devant notre conseil d’administration. Et nous l’exécutif, on
aurait pu se faire descendre en flamme… Mais tout ça ce sont des faits récents, et ce n’est pas
encore ce que j’appelle de l’évaluation bien organisée, bien structurée, avec des
critères…Aujourd’hui, ça commence à mûrir, on voit qu’il y a un fruit qui commence à sortir,
mais on n’est pas encore prêt à le cueillir.

J.D. : Pendant toutes ces années, comment MSF a-t-elle montré la qualité de ses actions ?

E.B. : Et bien, on ne le montrait pas. Je mets au défit quelqu’un de me dire combien de patients on
a traité du palu en 1998 par exemple. Cette information, elle n’existait pas !

J.D. : Cette information, depuis quand peut-on l’avoir ?

E.B. : 2 ou 3 ans…

J.D. : Du fait de… ?

68
 E.B. : Du fait que l’on est commencé à regarder… Et puis surtout volonté politique interne de dire
maintenant… assez causé ! On avait des informations, attention, mais pas partout, pas tout le
temps.

J.D. : Et sur le terrain, ça se traduit comment ?

E.B. : Indicateurs, base de données, analyse,… même si ça reste parfois encore brouillon.

J.D. : Ca met à mal un peu le mythe du docteur qui n’a pas la culture de l’évaluation…

E.B. : Non, ce n’est pas un mythe. Mais c’est inéluctable. Donc autant être dans le train et essayer
de le conduire soi-même, en essayant de formaliser des procédures logiques et adaptées. Là où
MSF sera différent, c’est que ce ne sera pas dans un but sanctionnant, mais dans un but aidant.
Nous les administratifs, ils sont là pour nous aider et on les voit comme tels. Si une évaluation a
des conclusions négatives, c’est aussi pour montrer que peut-être j’ai besoin de plus d’effectifs ou
de moyens pour fonctionner, qu’il faut que je m’organise autrement ou que j’ai aussi de quoi être
en partie content. Moi je pense que c’est un champ qui s’ouvre, c’est encore brouillon, balbutiant,
mais je vois des signes encourageants, sur le plan médical aussi.

J.D. : Concernant la participation des bénéficiaires sur les évaluations qu’on pourrait mener ?

E.B. : Oui, et bien ça aussi, c’est quelque chose qu’il va falloir faire. Que je crois que ce soit utile
ou pas, ça ne sera bientôt plus la question puisque les pratiques vont être celles-ci. Assez
logiquement, évaluer une activité sans demander aux gens comment ils le vivent, eux… D’une
manière assez naïve, je me suis toujours demandé combien de temps les patients attendent en
moyenne avant d’être soignés. Je me dis que lorsque l’on a fait quatre heures de marche pour être
soigné, si on peut ne pas attendre quatre autres heures avant d’être vu par un médecin, c’est pas
mal non plus… Il est évident qu’en tant que responsable, c’est intéressant de vérifier l’efficacité
d’un traitement, mais en tant que médecin, d’un individu face à un autre, il va aussi falloir qu’on
regarde comment les gens apprécient ce service. Un des aspects qui manque, c’est de savoir quel
impact a eu le programme pour une population, il y a aussi ça, qu’il va falloir prendre en compte.
Qu’est-ce que ça change pour les populations qui viennent, comment ils ressentent tout ça,
comment c’est compris. Mais je ne sais pas encore comment, en pratique, ça peut être mis en
place. C’est sans doute là qu’on manque un peu de culture sur le sujet, qu’il va falloir y travailler
et se faire aider. Je crois qu’il faut prendre des gens formés ou que l’on aille se former à
l’extérieur. Moi par exemple, je travaille sur les erreurs médicales, et je m’intéresse à ça dans la
relation à autrui. Ca dépasse le seul champ du soin comme acte technique.

J.D. : En résumé, vous êtes très positif sur le principe, il faut voir maintenant comment ça se met en
place…

E.B. : Moi je pense qu’il faut insister sur une telle démarche à MSF. Je n’ai pas d’idées
préconçues sur la façon dont il faut le faire. Il faut en tout cas s’équiper pour le faire. Je pense que
des gens extérieurs peuvent nous apporter des choses, même si je ne veux pas faire un
copier/coller parfait de ce qui existe, vu les contextes dans lesquels on intervient. Et puis je pense
qu’il faut rapidement que les médicaux en prennent conscience et qu’ils se donnent les moyens de
regarder un peu leurs activités, autrement que sur le mode caritatif traditionnel, sur un mode
d’acteur responsable de ses patients, donc d’avoir un regard critique sur soi-même au mieux, pour
le moins un regard critique tout court.

BONUS : Je me méfie juste des gens qui viennent chasser sur les terres de l’humanitaire pour
des raisons autres que ce que l’on fait vraiment. Moi je reçois souvent des lettres de gens qui
me disent j’ai élaboré un truc super intéressant pour vous. Bien entendu d’emblée je
comprends le contraire. Je comprends, j’ai besoin d’un terrain d’expérimentation pour ma
nouvelle technique. C’est curieux, parce que lorsque l’on vit au quotidien dans cette boutique,

69
on est quand même très critique en interne, le nombre de réunions où l’on se flagelle, il y en a
un paquet. Le meilleur exemple, c’est le rapport moral du président, c’est loin d’être de la
gloriole, c’est une analyse sans concession. C’est précis, direct, concis, et donc de temps en
temps, c’est dur. On est loin d’être dans l’autocongratulation quand on regarde de près.
Souvent les jugements en interne sont les plus durs. Sur l’évaluation au Malawi, les gens
qu’on est allé chercher, ils sont suffisamment proches pour comprendre, mais ils ne le vivent
pas au quotidien. Par exemple, les anciens du terrain sont des gens durs parfois, à juste titre et
c’est bien. Je connais des gens qui sont à MSF mais qui sont durs avec MSF, et puis j’en
connais un peu plus qui sont justes. En même temps, lorsqu’on est fasse à l’extérieur, on se
serre les coudes, c’est une réaction un peu collective, de protection. On ressert les rangs quand
il y a menace. Mais lorsqu’il n’y a pas menace et que ça vient de l’intérieur, c’est acerbe.

Par exemple, nous, on a fait ce rapport sur nos activités médicales, ce n’est pas parfait mais on
commence et après, on verra. Et là on a fait des petites choses, on a demandé à des gens de
l’extérieur et à des gens en interne de critiquer et de poser leur regard sur nos activités. C’est
clair que c’est plus une photographie de l’année sur ce qui a été fait. Ex. Programme
tuberculose, voilà ce qu’on a fait, voilà nos résultats, voilà ce qu’on en pense, et en plus, on y
a ajouté le commentaire de quelqu’un de l’extérieur. C’est déjà le b.a. ba. Mais c’est vrai que
rien n’est dit sur comment on l’a fait. Et je pense qu’il va falloir s’intéresser maintenant au
processus. On a juste des résultats, ça marche, ça marche pas… Mais on ne sait pas si, pour se
faire soigner du palu, il faut graisser la patte au gardien etc… Et toutes les autres questions,
est-ce qu’on a mis les bons moyens, est-ce que ça ne coûte pas les yeux de la tête, est-ce que
c’est pertinent, toutes ces questions, j’espère que la cellule qui va être mise en place va nous
aider à y répondre.

70
 Entretien téléphonique avec Jean-Marc Biquet
Chargé de recherche – Unité de Réflexion sur les Enjeux et les Pratiques Humanitaires (UREPH)
Genève
Jeudi 4 octobre 2007 – Durée : 40 min

« Le fait d’évaluer implique de s’exposer »

La raison de cet entretien téléphonique était de comprendre les conditions de production d’une
évaluation réalisée en interne à MSF intitulée : « Evaluation of MSF Aids projects in Malawi » et
datée d’avril/mai 2007. Cette évaluation portait sur l’analyse des stratégies de prise en charge des
patients atteints du sida, et s’attachait à mettre en évidence les différences opérationnelles entre les
trois sections présentes au Malawi : MSF-France, MSF-Belgique et MSF-Grèce.

Dans le document final de l’Accord de La Mancha du 25 juin 2006, réunissant le mouvement MSF
dans son ensemble, il est stipulé que MSF a pour responsabilité première « d’améliorer la qualité de sa
propre assistance », et de mesurer l’impact des actions menées. L’une des voies potentielles permettant
de rendre compte et d’améliorer la « qualité » s’avère être la pratique plus systématique d’une
évaluation des actions entreprises en développant un processus interne d’évaluation. Dans ce cadre-là,
Jean-Marc Biquet explique que les Directeurs des Opérations des cinq sections opérationnelles et les
directeurs des départements médicaux se sont mis d’accord pour conduire trois évaluations. Deux
d’entres-elles, l’étude de la prise en charge de l’épidémie de Choléra en 2006 en Angola et l’autre
portant sur les actions des sections suisse et hollandaise au Myanmar n’ont, à ce jour, pas pu être
finalisées. La troisième étant celle qui fait l’objet de cet entretien téléphonique.

La question que Jean-Marc Biquet soulève rapidement est celle de l’externalisation « logique » de ces
procédures, pour qui veut conduire une évaluation la plus transparente possible. Pour l’heure la
question n’étant pas tranchée, J.-M. Biquet souligne qu’il a été décidé d’externaliser tout en restant en
interne, et de conduire ainsi des « cross evaluations ». Les évaluateurs sont choisis parmi d’autres
sections MSF. Ici par exemple, l’équipe d’évaluateurs est suisse pendant que les actions évaluées ont
été mises en place par les Belges, les français ou les grecs. Pour autant, le système mériterait de
connaître certains éclaircissements selon J.-M. Biquet, puisque personne n’est capable de dire qui est
le véritable pilote de ces évaluations, qui peut exercer une pression si l’une d’entres-elles n’aboutit pas
etc.

La décision d’évaluer les programmes de ces trois sections dans le cadre de l’évaluation conduite au
Malawi semble n’avoir suscité aucunes réticences particulières. Il semble que cette période soit une
période de « balbutiements », mais il serait « logique » que ces procédures soient à terme réalisées en
externe. Pour l’heure, il semble que la pratique de l’évaluation fasse désormais l’objet d’une
implication croissante de la part des Directeurs des Opérations des sections opérationnelles.

Concernant l’évaluation au Malawi, des Termes de Références (TOR) ont été élaborés, mais ils sont
restés très larges. Elaborés par le Bureau International, ils ont ensuite été validés par l’ensemble des
Directeurs des Opérations.

Aucune indication particulière n’a été donnée concernant le choix préalable d’une méthode
d’évaluation. Il a été convenu que les évaluateurs partiraient en visite terrain pendant quelques
semaines, puis effectueraient une visite dans chacun des sièges des sections évaluées, enfin ces visites
seraient complétées par un véritable travail de documentation.
Compte tenu du fait que les TOR avaient été définis de manière très larges et que les évaluateurs ne
disposaient que d’une visite terrain de trois semaines, il est vite apparu que le travail était
« infaisable » au regard du temps imparti. En ce sens, le document produit ressemble plus à une
photographie des actions à un moment t plutôt qu’à une évaluation se référant à des critères précis.
Voici pourquoi le premier titre de l’évaluation a été doublé de la mention ‘peer review’ qui, selon son
auteur, précise un peu plus le contenu. Le deuxième effet engendré par la définition de TOR un peu
large a été de faire volontairement des « coupes » et de choisir certains angles d’attaques plutôt que

71
d’autres. En ce sens, la transmission mère-enfant du VIH n’a pas été étudiée. L’accent a été mis sur la
capacité de diagnostic de la tuberculose chez les patients atteints du VIH.

A la question « dans votre évaluation, avez-vous rencontré et interviewé les bénéficiaires des
programmes ? », il s’avère que les personnes interviewées ont été seulement les responsables pour la
santé des Districts et des décisionnaires au niveau central. Jean-Marc Biquet estime que la prise en
compte de l’avis des bénéficiaires seraient indéniablement « un plus », que « sur le principe, c’est
toujours bien », mais que ce ne fut pas le cas pour l’évaluation au Malawi.

Le véritable manque identifié, selon l’auteur, est le problème suivant : « quelles suites donne-t-on à
ces évaluations ? Qu’est-ce qu’on en fait ? ». Aucun mécanisme n’a été prévu pour donner à ces
évaluations des suites intéressantes. Sans même parler de mécanismes permettant d’intégrer les
recommandations, aucun espace de débat a posteriori n’a été prévu. Or, « la bonne volonté ne suffit
pas », il est essentiel de déterminer « jusqu’où les gens se sentent concernés ». Ces évaluations sont
laissées à la libre appréciation de chaque section et il est à craindre que celles-ci ne connaîtront pas de
suites pertinentes.

Sur la politique d’évaluation de MSF-suisse, Jean-Marc Biquet reconnaît que jusqu’à maintenant elle
s’est faite de manière plus ou moins informelle par le biais de groupes de travail. Cependant, depuis
2005, MSF-suisse a chargé une personne basée à Vienne de s’occuper plus précisément de toutes ces
questions d’évaluation.

72
 Entretien téléphonique Henri LETURQUE, « Evaluation officer » - ACF-UK
Mercredi 03 octobre 2007
Durée : 1h00

ACF s’est engagé dans une politique formalisée de l’évaluation de ses actions depuis environ 2003, et
en 2006, la section anglaise de ACF s’est dotée d’un bureau travaillant exclusivement sur la mise en
place de pratiques d’évaluation plus systématiques.

ACF conduit depuis peu de temps une vingtaine d’évaluations externes de leurs actions chaque année,
et espère augmenter ce chiffre à une trentaine d’évaluations dans les années à venir.

Elles sont pensées comme des supports opérationnels, plutôt destinées pour le moment à rester en
interne, et sont un moyen pour ACF de mesurer la qualité des actions menées.

A la question « dans quelle mesure ces évaluations externes constituent-elles une plus-value pour
ACF ? », Henri Leturque invoque les raisons suivantes. Elles permettent aux équipes terrain de
prendre un temps de réflexion et la venue d’une personne non opérationnelle suscite souvent une
discussion bénéfique au questionnement nécessaire pour la poursuite des actions.

ACF, qui reçoit une part importante de financements institutionnels, budgète ses évaluations avant
même la mise en place des opérations. Au regard de la théorie de l’évaluation, cette planification en
amont est « logique » de manière à calquer au maximum les termes de référence définis au sein de
l’évaluation aux objectifs de départ.

Il semble que les évaluations externes conduites à ACF se focalisent plutôt sur l’étude des
programmes que sur des activités spécifiques sur lesquelles on a plus souvent une vision plus précise.
Il s’agit d’avoir une visée d’ensemble du programme. Les critères retenus sont ceux définis par
l’ALNAP (mais ACF n’est pas membre de l’ALNAP) : impact, efficacité, efficience, durabilité,
pertinence... Mais il existe une certaine flexibilité dans l’application de ces critères. Pour des
programmes de réponse aux crises, les évaluateurs auront pour consignes d’accorder moins
d’importance au critère de durabilité dans un premier temps. La mesure de l’impact est toute relative.
ACF est consciente que la mesure d’un impact est 1) très difficile, 2) qu’elle est pertinente lorsqu’elle
prend en compte les autres acteurs de l’humanitaire. Cependant, sur tous les autres types de projets, il
y a une réelle volonté de mesurer si la phase d’urgence a réellement préparé le terrain à la phase de
réhabilitation qui, logiquement, doit prendre place tout de suite après.

Au sein du réseau ACF, la pratique de l’évaluation est désormais entrée dans les mœurs, surtout parce
qu’elle suscite un réel intérêt de la part des desks en charge des opérations, des directeurs des
différents secteurs, de toutes les personnes en charge de déterminer les projets opérationnels.
Cependant, la réelle impulsion vient de ACF-France, les autres sections opérationnelles, espagnole et
états-uniennes, l’ayant finalement moins intégrée pour le moment dans leurs pratiques. Néanmoins, il
existe encore un véritable travail de « lobbying nécessaire en interne » pour amener les dernières
« réticences » à céder. Pour que la pratique de l’évaluation suscite un plus vif intérêt et dans un souci
de capitalisation des efforts menés, ACF-UK a mis en place un système original de méta-évaluation,
rapport regroupant les conclusions et recommandations de toutes les évaluations menées dans l’année.
Elle permet d’avoir une visée globale de « ce qui ressort »... Pour autant, cette méta-évaluation reste
encore diffusée seulement en interne. La volonté de transparence connaît quand même des limites.

Concernant le choix des évaluateurs externes, ACF recrute des personnes ayant une expérience de
terrain significative, mais moins de 10% des évaluateurs ont une expérience terrain avec ACF. Ce
choix s’explique par un souci maximal de transparence et découle d’une réelle volonté que
l’évaluation externe soit le moment où une personne extérieure apporte des idées nouvelles.

73
Le rôle des bailleurs dans la mise en place de ce type de procédures est relatif, même si les évaluations
sont aussi un moyen de « montrer » que la qualité des actions menées est réalisée dans la transparence.
Le côté négatif du système est sans doute cette contrainte à la budgétisation. Il est très rare qu’une
évaluation soit menée alors qu’elle n’a pas été budgétée car elle fonctionne aussi en relation avec les
bailleurs de fonds.

Le bureau des évaluations est sur le point de finaliser un outil mettant en place un système d’auto-
évaluation, procédure légère qui pourrait s’adapter au rythme des opérations. Elle s’étalerait sur trois
jours, reprendrait vraisemblablement les mêmes critères d’évaluation et pourrait être mis en place par
les opérationnels pour évaluer en peu de temps la qualité de l’intervention menée.

Henri Leturque reconnaît que « l’évaluation ne sert à rien en soi, mais c’est le fait de mettre en place
une culture de l’évaluation qui est importante ».

74
 Interview de Fabrice Weissman
Chercheur associé à la Fondation Médecins Sans Frontières, CRASH
Lundi 1 octobre 2007

Julie Damond : Dans le cadre de ta fonction, as-tu déjà conduit une évaluation pour MSF ou lorsque
tu étais sur le terrain, as-tu connu une évaluation de l’action à laquelle tu participais ?

Fabrice Weissman : A MSF, tu sais que l’on n’aime pas trop le terme « évaluation » parce que ça
présuppose qu’il y ait une réponse technique aux problèmes que l’on rencontrent. Alors que les
opérations de secours reposent sur des choix qui sont un mélange à la fois de santé publique et de
considérations plus politiques. Et le terme évaluation supposerait déjà que l’on sache, qu’il y ait
une définition exacte de ce qu’est une mission réussie. (…) Il n’y a pas une opération type face à
une situation donnée, il y a différents choix opérationnels qui se proposent. Donc des évaluations à
proprement parler, non, des revues critiques sur ce que l’on a fait, oui, un dialogue permanent avec
le siège, oui, c’est le but d’une visite terrain. Quand le desk descend sur le terrain, c’est pour revoir
avec toi les objectifs et leur mise en œuvre. Dans un sens, on pourrait aussi ranger ça dans la
catégorie évaluation, même si ça fait partie du travail normal d’un desk quand t’as une équipe
terrain et une équipe à Paris. Les visites du siège, quand on est sur le terrain, c’est quelque chose
que l’on attend, pour pouvoir discuter sur place des enjeux de la mission, des problèmes que l’on
rencontrent etc… mais c’est plutôt un échange et une discussion critique sur ce qu’on fait,
comment on le fait, pourquoi on le fait, plutôt qu’une évaluation à proprement parler.

J.D. : Ce que tu décris s’inscrit plutôt dans le cadre du pilotage des opérations en cours. Mais si l’on
souhaite évaluer une action, ne peut-on pas tout simplement l’évaluer par rapport au fait que tu avais
des objectifs de départ, tu les compares à ce que tu as fait, sans forcément vouloir élaborer un
référentiel qui permettrait de mesurer techniquement des résultats. Est-ce que l’on ne peut pas aussi
envisager une évaluation de cette manière-là, en comparant des résultats à des objectifs ?

F.W. : Mais les objectifs peuvent évoluer en cours de route, et puis ce n’est pas parce que tu n’as
pas rempli tes objectifs que c’est du mauvais travail. Il peut arriver qu’en cours de route la
situation évolue, que toi-même tu changes de lecture des enjeux prioritaires. Tu es partie sur une
base de travail mais tu arrives, pour des raisons indépendantes de ta volonté, peut-être parce que tu
as décidé de réajuster ton dispositif opérationnel, à des résultats qui ne sont pas ceux que tu as
anticipé. C’est pour cela que le terme évaluation ne colle pas très bien à ce qu’on fait. En
revanche, les idées de rendre des comptes et d’avoir un regard critique sur les opérations sont
importantes.

J.D. : Donc tu emploierais plutôt le terme de « Revue Critique », comme la Revue Critique des
Opérations MSF-F au Darfour.

F.W. : Oui. Donc à la question, est-ce que j’ai connu des évaluations, je dirais non, j’ai eu affaire
sur le terrain à des équipes du siège. Qu’il s’agisse du desk ou de départements techniques, qui
sont venus nous filer un coup de main pour discuter des orientations. Et j’ai participé à la Revue
Critique Darfour.

J.D. : Quand tu dis « on »n’aime pas trop les évaluations…

F.W. : je pense à MSF en général. Mais ce n’est pas que l’on n’aime pas trop, c’est que le terme
est réducteur par rapport à ce que l’on attend.

J.D. : Cet avis est partagé, à ton avis, par un grand nombre de personnes ?

F.W. : C’est mon sentiment mais peut-être que je me trompe. Ca ne veut pas dire qu’il n’y a pas de
supervision, qu’il n’y a pas de rendus de compte, qu’il n’y a pas de discussions sur les objectifs de

75
 la mission. Mais l’idée d’évaluation, d’avoir une sorte de modèle de ce qu’est une opération
réussie typique… Comment dire… On sait ce qu’est une opération réussie mais il peut y avoir
deux, trois, quatre types d’opérations réussies pour chaque intervention. J’exagère peut-être un peu
mais c’est vraiment ça.

J.D. : Dans les TOR de la Revue Critique des Opérations au Darfour, il est précisé que cette initiative
a lieu parce qu’il y a « une nécessité d’améliorer pour MSF le regard critique sur ses opérations » et
il est dit : « il s’agit d’initier une pratique nouvelle dans ce domaine, le plus souvent présenté comme
celui de l’évaluation. » Mais en quoi peut-on considérer, au regard de ce que tu m’as dit auparavant,
que cette Revue Critique est une « pratique nouvelle » ?

F.W. : Parce qu’il n’y en a pas eu tant que ça de gros travail de mise à plat, a posteriori, d’une
opération. Il y en a eu une sur la Somalie, une autre sur les Grands Lacs, et à ma connaissance
c’est la troisième. C’est le troisième exercice qui se donne pour ambition explicite de porter un
regard critique à la fois sur la pertinence, l’efficacité, l’efficience de l’opération menée. Alors
pourquoi est que ça se développe aujourd’hui ? Je pense que c’est le fruit de l’évolution de la boite
c'est-à-dire avec un budget opérationnel qui a triplé en dix ans, il nous faut gérer une activité qui
nécessite des méthodes de gestion un peu différentes. On fait comme les grands groupes,
industriels ou commerciaux, comme les boites du privé. Face à un développement rapide, (…) il
faut avoir une décentralisation beaucoup plus accomplie, plus large. Dans le privé ils ont des
cellules d’audit interne qui effectuent un contrôle a posteriori. Donc je pense que la volonté
aujourd’hui de développer ce type de Revue Critique est liée à l’évolution de notre structure, à sa
croissance. On ne peut plus piloter les opérations comme on le faisait jusqu’à maintenant.
Aujourd’hui un responsable de projet a plus ou moins la responsabilité d’un chef de mission d’il y
a dix ans, et inversement un Chef de Mission aujourd’hui a la responsabilité d’un Assistant
Responsable de Programme d’il y a dix ans. De facto dans les volumes brassés et les
responsabilités, il y a une tendance, qu’on encourage ici à Paris, à la décentralisation. Et le
contrepoids de cette décentralisation, c’est les procédures d’audit interne.

J.D. : Vous avez choisi trois critères, efficacité, efficience, pertinence…

F.W. : Oui c’est ce que l’on retrouve dans tous les manuels de santé publique…

J.D. : Mais dans ceux qui se focalisent plus particulièrement sur l’évaluation de l’action humanitaire,
on retrouve aussi souvent celui de la viabilité ou la pérennité des actions. Est-ce qu’il pourrait
s’appliquer à l’évaluation des actions menées par MSF ?

F.W. : Pour nous, la pérennité est rarement un critère d’intervention. (..) En règle générale, on
considère qu’on intervient de façon ponctuelle pour répondre à une situation passagère. Les camps
de déplacés au Darfour, a priori, ne sont pas appelés à durer. Ou le jour où la situation sera plus ou
moins stabilisée, éventuellement, ils se transformeront en agglomération urbaine précaire, et ce ne
sera plus des camps de réfugiés mais ce sera des extensions urbaines. Et à ce moment-là, il faudra
réfléchir en terme d’aménagements durables de la carte sanitaire pour faire face à une réalité
démographique. Mais pour l’heure, nous on intervient pour parer au plus pressé et faire en sorte
qu’un maximum de populations déplacées puissent avoir accès aux soins. On n’a pas l’idée de
vouloir inscrire nos opérations dans la durée ou de vouloir changer durablement les situations dans
lesquelles on intervient. C’est un peu différent quand on s’attaque à des projets sur la malnutrition
ou des projets sur le sida, où là, on est sur des grandes problématiques de santé publique, dans des
pays souvent stables, qu’il s’agisse du Niger ou du Malawi, on travaille aussi dans des pays
stables. Là, c’est vrai que l’idée de viabilité ou de pérennisation des actions, des innovations
thérapeutiques est présente. La campagne qu’on va mettre en place sur le Niger pour la réduction
du prix des aliments thérapeutiques, la campagne qu’on va mener également au Malawi, ou en
règle générale sur le sida pour l’accessibilité aux anti-rétroviraux et également sur la
réorganisation du système de soins (…) Dans ces programmes de réponses aux grandes endémies,

76
 sida ou malnutrition, il y a cette prise en compte de la capacité de reprise de nos activités par des
acteurs institutionnels locaux. Ce qui n’est pas le cas dans des situations de crise.

J.D. : A ce propos, l’évaluation des actions ne se portent-elles pas plus sur des programmes de type
Sida que sur des programmes de réponses à des situations de crises ?

F.W. : Peut-être… Mais historiquement, je ne sais pas. Mais oui c’est possible. Mais ça découle
sûrement de considérations très pratiques. C’est moins facile d’évaluer des opérations faites en
situations de guerre. C’est tout à fait possible mais c’est un petit peu plus compliqué, ne serait-ce
que les conditions de sécurité, d’accessibilité. En plus dans des situations d’urgence avec un très
grand nombre de personnes à soigner, en peu de temps et avec peu de moyens, tu n’as pas toujours
le temps de faire des rapports écrits détaillés, d’avoir un bon système de « reporting ». Tu gères
des grandes « masses » dans ces cas-là.

J.D. : Doit-on, de ce fait, planifier une procédure d’évaluation à l’avance, la faire entrer dès le départ,
dans le processus de pilotage des opérations ?

F.W. : Tout dépend ce que tu veux évaluer entre guillemets, sur quoi tu veux porter un regard
critique. Il est clair que si tu veux mesurer l’efficience et l’efficacité d’une action, tu dois disposer
d’outils en place préalablement pour pouvoir la réaliser a posteriori, ne serait-ce que pour assurer
le pilotage au quotidien de ton opération. Les grands indicateurs de santé publique, la mortalité
(…) le nombre d’actes que tu fais… Ce sont des outils qui sont aussi importants pour le pilotage
en tant réel des opérations que pour une évaluation a posteriori. En ce sens, les outils doivent être
mis en place avant la réalisation d’une évaluation. Mais on ne peut pas planifier l’évaluation. Je
crois que lorsque tu commences l’urgence, l’évaluation ne fait pas partie des priorités, ça c’est
clair. Il faut d’abord agir… Quand tu prends les dix priorités en urgence, au sens épidémiologique
du terme, des morts en masse ou des malades en masse, il y a parmi celles-ci la mise en place d’un
système de surveillance épidémiologique, parce que tu as besoin de savoir au quotidien l’état de
santé globale de ta population et comment elle évolue. Donc bien entendu ce sera un outil a
posteriori utile pour conduire ton évaluation, pour savoir si on réduit ou non la mortalité dans tel
ou tel camp. Si on n’avait pas ces outils, ce serait impossible de le dire. Et en même temps, ce
système n’a pas pour vocation de servir à élaborer une revue critique a posteriori, il avait pour
vocation de voir, en temps réel, si nos activités étaient adaptées et si on produisait l’effet escompté
sur la mortalité.

J.D. : Donc, en premier mettre en place des indicateurs de fonctionnement qui permettent de vérifier
l’état de santé de ta population, et en second éventuellement si tu veux mener une évaluation, ils te
serviront à ça… C’est comme ça que tu le vois ?

F.W. : Oui, la raison première à tout ça, ce n’est pas l’évaluation. Ou c’est plutôt l’évaluation en
temps réel… Qu’est-ce qu’on entend par « évaluation »… C’est des indicateurs qui te permettent
de mesurer un aspect de l’efficacité de tes secours. Parce que dans les situations d’urgence, la
préoccupation en général, c’est de faire baisser la mortalité, et pour mesurer ça, il faut des
indicateurs.

J.D. : A ton avis, pourquoi MSF ne fait pas appel à des évaluations/évaluateurs externes ?

F.W. : Je pense que nos critères d’évaluation sont trop personnels pour être confiés à d’autres. Un
évaluateur externe va faire une évaluation au regard de ce qu’il considère lui être ses propres
valeurs. Evaluer, donner une valeur ! Je pense que la valeur que l’on donne à une action elle est
intrinsèque. Elle est définie par notre mission sociale. Je ne vois pas qui à part nos pairs, peuvent
savoir si oui ou non, on a été bons. Ce qui n’empêche pas par ailleurs de faire appel à des
consultants externes. Ca nous arrive, dans des domaines très pointus : en logistique, dans le
médical bien sûr aussi. Par exemple là, on ouvre une unité grands brûlés au Kurdistan, c’est pas
des activités qu’on a l’habitude de mettre en place. Donc on va demander à quelqu’un qui travaille

77
 dans un service de grands brûlés de visiter la structure, d’évaluer la prise en charge des grands
brûlés et faire des recommandations. Là on accepte une personne extérieure à MSF sur un point
très technique de nos opérations parce qu’on partage là les mêmes critères d’évaluation avec la
profession. A ce moment-là, on fait appel à des évaluateurs externes entre guillemets.

J.D. : Mais sur la RC Darfour, on n’avait pas quelques personnes de l’extérieur ?

F.W. : Non. Les quatre personnes en charge du pilotage n’étaient pas de l’extérieur, mais nous on
a discuté avec des gens à l’extérieur quand même, mais ce n’était pas eux qui pilotaient
l’évaluation. Elle s’est réalisée en interne.

J.D. : Comment a-t-elle été reçue cette revue ?

F.W. : Plutôt bien puisque l’on n’a pas mis à nu de gros ratages. C’est plutôt un document qui
retrace l’histoire de l’opération. Au début, il y a eu un peu de réticences, les gens étaient un peu
inquiets de ce qu’on allait pouvoir dire, mais en même temps, il y avait des gens qui étaient
contents qu’on retrace l’histoire critique de cette opération, qu’on repose des questions, qu’on se
redemande si on avait fait les bons choix ou pas, et cette mise en perspective les intéressait. On n’a
rencontré aucun obstacle pratique pour avoir accès à l’info. Donc même si au début, il y avait des
petites inquiétudes, et encore c’était limité à quelques personnes, précisément parce qu’il n’y a pas
eu de gros conflits internes autour de la mission. Il n’y a pas eu de sentiments partagés, d’avoir
complètement raté un truc. Personne n’essayait de se disculper. Globalement, les gens étaient
plutôt contents.

J.D. : Et s’il y avait eu des gens de l’extérieur, est-ce que ça aurait apporté un plus ?

F.W. : Non, je ne pense pas. Sincèrement je ne pense pas. Ca aurait peut-être apporté un plus aux
gens de l’extérieur qui s’intéresse au Darfour, mais pour nous, je ne pense pas. Comment veux-tu
que quelqu’un de l’extérieur réponde à la pertinence ? Il faut déjà s’approprier toute la réflexion
interne sur ce qu’est MSF et ce que l’on veut en faire. Comment quelqu’un d’extérieur qui
débarque peut comprendre l’état de la réflexion au jour d’aujourd’hui à MSF sur la façon dont on
définit notre raison d’agir. C’est super difficile… C’est au regard de nos propres critères que l’on
juge cette opération, pas au regard de critères universellement valables.

J.D. : Mais ces critères dont tu parles, ceux qui sont propres à MSF, sont-ils formalisés ?

F.W. : Oui, ils le sont dans le projet opérationnel, dans le rapport moral du président, dans les
différents débats de CA…

J.D. : Ca ressemble donc plus à des orientations…

F.W. : Oui des orientations de politique générale.

(…)

J.D. : Cette revue critique Darfour, c’est plus un support opérationnel plutôt qu’un document qui sert
à rendre des comptes à l’extérieur.

F.W. : Oui, ce n’est pas un document qui est destiné à être diffusé. Il n’est pas public. Il est
mentionné sur le site et les gens de l’extérieur qui s’y intéressent peuvent le demander. On ne peut
pas le télécharger comme ça. Donc l’enjeu est avant tout interne. C’est peut-être pour ça aussi
qu’on ne fait pas appel à des consultants externes. C’est vraiment au regard de nos propres critères
d’évaluation qu’on juge nos opérations. Donc les gens les plus à même de les réaliser sont les gens
qui ont une certaine expérience de MSF.

78
J.D. : Est-ce que les évaluations menées par ECHO ou d’autres ont été des supports opérationnels ?

F.W. : Je ne sais pas. Mais quand ECHO fait un audit, leur but à eux, c’est de savoir si leur argent
a été bien dépensé au regard de leur propre politique de bailleur. Ce n’est pas de savoir si MSF a
agi conformément ou pas à ses objectifs opérationnels, c’est de voir si MSF a agi en fonction des
intérêts d’ECHO. Donc ils ont leurs propres critères.

J.D. : Donc ça n’a pas d’influence ?

F.W. : Ca peut éventuellement. Mais je n’ai pas d’exemples en tête. Je sais juste qu’il y avait eu
une évaluation d’ECHO dont on a refusé les conclusions.

J.D. : MSF-F a cette spécificité de vouloir réduire au minimum ses financements institutionnels.
Quelle influence sur la politique d’évaluation ?

F.W. : Non, c’est la politique générale du mouvement, où il y a plus de 85% de fonds privés.
Encore une fois, ça, la politique aux bailleurs, on l’a aussi connu à MSF France. Quand des
bailleurs te donnent de l’argent, tu es tenu de rendre des rapports semestriels, puis en fin de projet.
En revanche, ta remarque est juste, le fait que l’on reçoive beaucoup moins de financements
institutionnels, renforcent la nécessité d’avoir des mécanismes d’audit interne plus développés.
Même si ECHO, SIDA, USAID portent un regard critique sur nos opérations au regard de leurs
propres critères, ça oblige à formaliser un rendu de compte bien ficelé, avec des ‘logical
framework’… Ce genre d’exercice n’était pas seulement un exercice bureaucratique, ça permet de
porter un regard sur les opérations. Depuis qu’il n’y a plus ça, on est obligé de mettre en place des
mécanismes endogènes. Mais c’est en cours…

J.D. : Peut-on dire que cette politique en est à ses balbutiements ?

F.W. : Oui, tout a fait.

J.D. : On n’a pas encore formalisé une méthode (cf : les deux Revues Critiques qui prennent des
formes très différentes). Mais ça a vocation à le devenir ?

F.W. : Oui c’est une orientation qui a été prise. De vouloir doter la direction d’une cellule d’audit
interne.

J.D. : Trouves-tu l’idée pertinente de vouloir faire participer les bénéficiaires des programmes à
l’évaluation des actions ?

F.W. : Quand on parle de bénéficiaires, on présuppose que les gens à qui on s’adresse, ont
bénéficié de ce que l’on a fait. Et ce n’est pas forcément le cas. Certains sont peut-être ressortis
avec un faux diagnostic, avec un mauvais traitement. En ce sens, ils sont sortis plus malades qu’ils
ne sont entrés. Donc quand on parle de bénéficiaires, c’est déjà répondre à la question que tu
poses. On peut peut-être parler de populations destinataires… Mais qui sont les destinataires ? Qui
va porter la parole ? Le ministère de la santé ? On peut toujours demander au ministère de la santé
soudanais ce qu’il pense de nos opérations.

J.D. : Tu trouves ça démagogique ?

F.W. : Oui, parce que ça fait l’impasse sur le côté complètement inégalitaire de la relation
humanitaire. Pour moi, le mot d’ « accountability », ce n’est pas un problème, au sens où il n’y a
pas de moyens pour les gens auxquels on s’adresse d’exprimer leur… Comment dire ? L’inégalité
des relations de pouvoir, elle est au fondement de la relation humanitaire, et c’est indépassable.
C’est bien pour ça qu’il faut des mécanismes internes particulièrement développés parce qu’il n’y
a pas cette capacité de départ. On n’est ni une entreprise commerciale de qui on va pouvoir refuser

79
 les produits et s’adresser à un concurrent, ni un élu qui pourrait être viré à la prochaine élection…
Donc on est complètement irresponsable au sens institutionnel du terme. Mais on n’est pas tout à
fait irresponsable quand même parce que si les gens estiment que tu leur fais du tort, ils vont te le
faire savoir. En Somalie, l’ « accountability », elle est très forte. Si la famille du patient estime que
le patient a été mal soigné, ils vont te le faire savoir. C’est finalement lié à la possession d’armes.
Mais l’idée de vouloir institutionnaliser une représentation des bénéficiaires dans les organes
d’audit, c’est pour moi démagogique. Déjà, qui sont les bénéficiaires ? Les vrais bénéficiaires ?
Est-ce que c’est le gouvernement, nos propres démocraties, les gens qu’on a soigné, les expatriés,
le personnel local…
Je pense que c’est recommandé, même plus que recommandé, pour un RT ou un Chef de mission
d’avoir le plus de surface d’échanges possibles avec les gens avec lesquels on bosse, discuter avec
les chefs de quartier, avec les chefs dans les camps par exemple, de la façon dont on organise les
soins, les références, qu’ils fassent valoir leurs points de vue sur la qualité de l’offre de soins qui
leur est proposée. Ca arrive aussi que quelqu’un sur le terrain conduise une sorte d’enquête de
satisfaction. Trouver des façons d’avoir l’opinion des gens sur ce que l’on fait. C’est vital dans le
pilotage au quotidien d’une opération. Mais vouloir institutionnaliser une présence des
bénéficiaires au sein d’une cellule d’audit interne me parait démagogique.

J.D. : Est-ce qu’il y a un risque à trop vouloir prendre les pratiques d’évaluation comme un degré ou
une mesure de la qualité des actions ?

F.W. : (…) On a quand même des données qui existent… Ce n’est pas non plus totalement « olé
olé » notre façon de fonctionner. On essaye de construire des faits sur lesquels on peut porter un
jugement critique sur ce que l’on fait. On a quand même construit des choses concrètes sur les
prestations médicales, sur la mesure de l’état de santé, donc dans ce sens-là, il n’y a pas une
absence totale d’évaluation. Il y a la construction d’indicateurs. Mais attention les indicateurs ne
veulent rien dire sur la qualité. Il faut s’interroger sur la nature des pathologies, la nature des
prescriptions, sur la qualité du diagnostic porté.
Mais il y a quand même l’idée que les critères d’efficacité purement techniques sont insuffisants
pour décider de la qualité de nos opérations. Soit parce que tu travailles dans des conditions de
précarité telles que les standards techniques ne peuvent pas être appliqués (clairement au début de
l’intervention Darfour, on n’était pas à 15 litres d’eau par personne et par jour dans les premiers
temps) mais vu les contraintes auxquelles les équipes ont été confrontées, ils ont fait le maximum
qu’ils ont pu. Et là on peut pas dire pour autant que la qualité n’était pas là. Et puis attention, on
peut très bien faire du bon travail dans un environnement qui en dénature complètement la portée.
L’exemple canonique, c’est les camps en Ethiopie. Ce n’était pas de la mauvaise médecine, on
avait sans doute une bonne efficacité médicale mais qui participait à une politique criminelle.
C’est comme la parabole du médecin dans la chambre de torture. Il peut être tout à fait compétent ;
parfaitement réanimer le type qui est tombé dans le coma après trois chocs électriques. Le
médecin, dans ce cas-là, il a fait du bon travail ou pas ? Attention au geste technique dans
l’environnement politique dans lequel il est fait. Et être conscient du fait que parfois tu disposes
d’un dixième de ce qu’il faudrait théoriquement pour avoir une prise en charge correcte. Donc
faire attention à quelles sont nos priorités.

80
Interview de Thierry Allafort-Duverger, responsable du desk urgences et de Fabrice Resongles,
coordinateur médical d’urgence.
A propos de la Revue critique des urgences 2006 - Interview réalisée par le GUPA, mise en lien
sur le site asso de MSF-France

Salut Thierry… Pourquoi t’es tu lancé dans un tel projet ?

Thierry : Tout d’abord, c’est n’est pas vraiment une première, mais c’est peut-être l’unique fois où
l’on aura essayé de regrouper pratiquement toutes les urgences, (…) sur une année et dans un
document assez concis. On avait fait la revue critique sur l’urgence Darfour uniquement et notre revue
est inspirée en partie de cette revue critique. C’était un travail beaucoup plus lourd, beaucoup plus
long avec beaucoup plus de gens engagés, donc qui allait beaucoup plus dans le détail. Là on a plutôt
essayé de ne pas faire une revue exhaustive et critique des opérations, mais plutôt de sortir quelques
points forts et quelques points faibles. Il s’agissait plutôt d’essayer d’être didactique. Le but c’est de ne
pas reproduire les erreurs qu’on aurait pu faire et de reprendre les points forts, pour nous qui menons
les opérations aujourd’hui et pour ceux qui les mèneront demain aussi. (…) Ces revues critiques, c’est
juste un début, c’est un document assez original à MSF et c’est aussi pour lancer le travail. Je pense
qu’on peut nettement les améliorer ; les améliorer en faisant ces missions d’évaluation juste après les
opérations et en mobilisant plus de personnes. Là c’est Fabrice qui a été mobilisé en permanence mais
sur 4 mois, c’est Julie qui a donné un coup de main sur l’édition, c’est moi qui entre deux missions
terrain relisais les documents. La revue critique Darfour avait demandé beaucoup plus
d’investissement. Donc il faudrait d’abord un investissement un peu plus lourd, un timing, un temps
réel des opérations. Il faut faire cette évaluation à la sortie des opérations. Il faudrait que les gens
soient disponibles alors que beaucoup repartent après coup dans d’autres opérations, ils n’ont pas
beaucoup de temps à accorder pour faire un arrêt sur image de ces opérations. On retrouve la même
base que la revue qu’on avait faite sur le Darfour, la pertinence de nos opérations, l’efficacité de nos
opérations et l’efficience de nos opérations. Alors en terme de pertinence, est-ce qu’on était au bon
endroit, au bon moment, est-ce qu’on touchait les bonnes personnes, est-ce qu’on comprenait notre
environnement. En terme d’efficacité, un minimum de chiffres, pas toujours facile à retrouver, à
récolter, mais si l’opération qu’on a essayé de mener, si elle était pertinente, est-ce qu’elle était
efficace, est-ce qu’on a bien soigné les gens, est-ce qu’on les a soigné correctement, est-ce qu’on a
bien touché les gens qu’on voulait toucher sur tel type de pathologie ou autre. Et sur l’efficience, c’est
surtout autour du déploiement de moyens, est-ce qu’on a déployé les moyens adéquates pour ces
opérations. Est-ce qu’on a déployé trop de moyens, pas assez de moyens, est-ce que les moyens
déployés ont été déployés au bon moment, trop tard, trop tôt. Donc voilà ce qu’on peut retrouver par
urgence, on a essayé de le faire systématique, ça veut dire qu’on retrouve trois à quatre pages sur
chacune des opérations menées.

Quels sont les limites et les points faibles de ce travail ?

Thierry : Là comme c’est sur une douzaine d’urgences, c’est un peu difficile. Je vais élargir.
D’expérience, on pourrait porter des critiques parfois sur notre temps de réaction, de réorientation de
nos projets, sur les compréhensions politiques des environnements dans lesquels on travaille. On
retrouve aussi des erreurs sur la gestion, sur l’efficience de nos opérations, type des
prépositionnements de matériels qui auraient pu être faits ou de matériaux qui n’ont pas été faits qui
vont coûter plus chers. Ca n’empêchera pas l’opération de se faire et de se faire correctement, mais
elle sera plus coûteuse qu’elle n’aurait du l’être. On a aussi des opérations difficiles à mener par peut-
être manque de personnes qualifiées sur le terrain. Alors il faut faire attention quand on parle de
manque de ressources humaines, moi je dirais plutôt que la difficulté ici est de mettre en temps et en
heures les personnes aux bons endroits, beaucoup plus que le fait de ne pas avoir les gens pour faire
ces opérations.

Après 7 ans à la direction des urgences, cette revue critique est-elle aussi celle de ton bilan ?

81
Thierry : Non pas du tout parce que ça fait sept ans que je travaille aux urgences à Paris, et beaucoup
plus si on prend les années de terrain. C’est plutôt que ça faisait un moment qu’on disait qu’on allait le
faire, on a fait celle du Darfour, on fait des bilans toutes les années, ce n’est pas qu’il n’y a rien. Il y a
beaucoup de leçons qui sont tirées par les opérationnels et qui sont mises en œuvre. On pourrait parler
des leçons qu’on a tiré au Pakistan et quand on a dû aller en Indonésie, et ça on le retrouve dans la
revue critique, on a pas fait les mêmes erreurs, on a fait d’autres erreurs mais celles qu’on avait fait au
Pakistan, on ne les a pas faites et ça c’est vraiment le but du jeu. C’est plutôt pour ouvrir le débat,
l’élargir et laisser savoir à tout le monde comment on mène nos opérations, est-ce qu’on pourrait les
mener mieux, et aussi d’avoir un retour. (…) C’est aussi, et ça Fabrice pourrait le dire mieux que moi,
c’est beaucoup de ressenti, et on a du mal à avoir des chiffres synthétiques, c’est pas qu’on n’a pas
d’informations, mais peu de papiers synthétiques. On en parle dans la conclusion sur le côté email, on
reçoit énormément d’informations, c’est pas qu’on n’en a pas, mais j’ai l’impression qu’aujourd’hui,
l’information a du mal à être analysée

(…).

A ton tour Fabrice de nous parler de ce travail dont, je rappelle, tu as été le rédacteur. Comment
as-tu gérer cette masse d'infos et surtout comment as-tu fait le tri entre données "techniques" et
le ressenti des acteurs de ces urgences ?

Fabrice : Je suis content que l’on puisse rebondir de nouveau sur ce sujet, même si Thierry avait eu
l’occasion de l’aborder. Effectivement je pense que ça a été la grande difficulté de ce travail et de
pouvoir le coordonner avec Thierry et Julie. Notre gros problème était finalement que nous étions
confrontés à une source, une somme d’informations qu’il fallait trier, éplucher, très linéaires, très
parcellaires. En même temps, notre autre moyen de fonctionner était basé sur des interviews d’où
émergeaient essentiellement le ressenti des missions, avec un temps de latence long, souvent plus
d’une année. Nous étions dans ce ressenti où il fallait essayer de rechercher l’information, pouvoir la
corroborer, trouver des preuves et autres, des choses tangibles. Ca a été effectivement la grosse
difficulté de ce travail. (…) L’essentiel a été d’être juste, avec les moyens dont on disposait. Je pense
qu’il y a une leçon à tirer de tout ça, c’est de dire : « oui, le travail manque de profondeur » (…).
L’important, c’est de laisser une trace et que ça puisse par la suite aider les personnes qui partent, et en
faire un outil pratique. Pour ce faire, je pense qu’il faut essentiellement arriver, comme le disait
Thierry tout à fait justement, à simplifier nos outils. La grosse difficulté, ce n’est pas que l’on n’a pas
les outils, nous les avons, ils sont là, présents, mais je dirai qu’ils ne font pas sens. Très souvent les
outils perdent totalement leurs sens parce qu’ils sont utilisés de façon très sectorielle par différents
départements. Certes, c’est logique, mais le lien n’est pas forcément fait avec l’opérationnel, ce qui fait
que sur le terrain, on peut ressentir très souvent une perte d’utilisation de ces données au jour le jour,
pour simplement arriver à rendre lisible le programme dans sa continuité et en même temps une
difficulté par la suite en rétrospective pour pouvoir analyser davantage ce que nous avons fait au cours
de ces programmes. (…) Donc je pense qu’il faut accepter et être très humble par rapport à ce travail.
On a tenté d’être juste et j’insiste sur ce mot, parce que je sais et j’espère et justement c’est le but, qu’à
un moment donné, puisse venir derrière des critiques, ça sert aussi à ça, à faire émerger au sein de la
maison un peu de pouvoir de dire les choses. Je pense que parfois la parole est un peu étouffée ou
confinée aux coins des couloirs. Je trouve ça un petit peu dommage. Je pense que c’est ouvert, il faut
l’ouvrir encore davantage, je suis ravie de voir que quelque chose se met en place sur le site asso pour
justement faire naître tout ça. Moi je serais ravi de pouvoir lire des personnes qui sont intervenues, ce
que eux peuvent en penser de ce que l’on a dégagé de ces missions (…). Donc voilà j’aimerai que ça
serve réellement à tout ça.

C'est compliqué de faire la part des choses entre tous ces ressentis ?

Fabrice : Je ne dirai pas que c’est compliqué, je dirai que c’est complexe. J’aimerai que ce soit
compliqué, ça voudrait dire que c’est quelque chose posé tel un puzzle, qu’il suffit de reconstituer les
morceaux pour pouvoir l’analyser. Non, je pense que c’est complexe justement parce que l’on manque
de matière lisible. Et là ça devient complexe parce qu’on touche à l’humain, on touche au ressenti et à

82
tout ce qu’on pu mettre les gens à l’intérieur et le travail qu’ils ont réalisé et on sent que justement
parce qu’on manque d’éléments tangibles, la difficulté est qu’il est très difficile d’aller au fond de
l’analyse. On reste dans le ressenti, c’est certain (…).

Peut-on parler plus précisément d'une de ces missions ? Prenons par exemple la plus
compliquée?

Fabrice : Alors je vais pas parler de la plus compliquée parce que ce serait simple, ça voudrait dire
qu’on avait tous les éléments, je vais parler de la plus complexe. La plus complexe pour moi, c’est
évident, c’est le Nigeria. Simplement, non ! pas « simplement » parce que ce n’est pas simple, on s’en
doute bien, une épidémie de méningite ! Elle sévit au départ sur le sud du Niger et se développe aussi
de l’autre côté donc sur le nord Nigeria. Notre équipe Nigeria est alertée, elle mène le travail avec
quelques difficultés. Nous étions au début de l’année 2006. Suite à ça, il faut pallier à un certain
manque de personnes compétentes. Quand je parle de personnes compétentes, je pense par exemple à
un coordinateur médical qui aurait pu se détacher des urgences à ce moment-là et qui aurait très
certainement pu amener un savoir-faire rapide, ponctuel et mettre en place et cadrer la mission. Or,
très certainement cette mission a manqué à ce moment-là de personnes susceptibles de pouvoir cadrer
et après, on a davantage l’impression, et là je fais attention à ce que je dis parce qu’on aborde le
problème du ressenti, on se rend compte que très souvent cette mission a balbutié entre les opérations
qui tentaient de la mener, un département médical et vaccination qui essayait d’être présent aussi, mais
tout le monde faisait ce qu’il pouvait et on sent bien que quoi qu’il en soit, il y a des manques et qu’à
partir de là, on ne peut pas parler et on ne peut pas dire, que cette mission Nigeria en terme de
vaccination à une épidémie méningite soit efficace. C’est une mission qui a nécessité beaucoup
d’investissement, beaucoup de recherche au départ, finalement peu d’éléments constitutifs qui
permettaient d’avoir une lecture claire, donc il a fallu avoir recours au ressenti. Et là les ressentis,
comme on le citait tout à l’heure, se sont heurtés. Que faire avec ça, comment fait-on entre les
personnes qui se sont investies, qui ont mis de leur personne, qui ont donné beaucoup, et qui, en même
temps, n’ont pas forcément… envie n’est pas le terme…mais pour qui il est toujours difficile qu’on
dise à un moment donné que la mission n’est pas forcément une réussite. En même temps, pour le dire,
il faut avoir les éléments qui l’accréditent et les éléments sont malheureusement sur le Nigeria souvent
manquant. (…) Je pense que ça a été le plus difficile. On a cherché à le faire le plus honnêtement
possible. Je me suis permis de m’appuyer sur ce qui me semblait être une personne ressource c’est-à-
dire, pour mener une campagne de vaccination, il me semblait que la personne qui était la plus à même
de pouvoir avoir une vision intéressante par rapport à ce sujet, était un côté très médical. Ca reste par
excellence quelque chose de très vertical comme programme, donc je me suis appuyée sur les
techniques médicales, notamment sur le volet vaccination pour essayer de retrouver quelque chose qui
puisse à un moment donné, pesé. Mais c’est vrai que ça a été par excellence la mission la plus
complexe à essayer de comprendre. Voilà pour faire court en essayant d’être juste.

A ton tour de conclure. A travers ce travail, ton regard sur MSF a-t-il changé ?

Fabrice : Oui je suis très content d’avoir cette question, je suis vraiment ravie parce que j’ai envie de
dire oui, tout à fait. Je suis quelqu’un vraiment issu du terrain. Jusqu’à maintenant la seule chose qui
m’a amené à MSF, c’était le terrain, c’est un endroit où je me suis épanoui, éclaté, où je pense, comme
beaucoup, et c’est la force de MSF, c’est cette richesse du terrain, où on est confronté à des situations
quelque fois difficiles, mais on va dire qu’on y arrive et c’est là l’essentiel. Etre confronté au siège
pour la première fois et là je remercie Thierry de m’avoir fait découvrir le siège, m’a, en même temps,
apporté un regard tout à fait différent. Le terrain créé du stress, c’est un stress positif, j’ai été très
surpris au contact de la maison de découvrir un stress, qui pouvait être un stress négatif. Quand je
parle de stress négatif, on sent et on parle actuellement de crise au sein de la maison, et je pense que
c’est une excellente chose si ça peut remuer. Du fait de ma présence ponctuelle, puisque je venais de
temps en temps rencontrer les personnes, je me suis rendue compte à quel point la maison était
sectorisée. S’il y avait un mot que je devais retenir de cette expérience, c’est cette notion de
sectorisation, qui m’a posé problème. Je me suis rendue compte, ne serait-ce que pour mener ce
travail, qu’il était très difficile de faire un lien entre les différents départements ou autres desks. Et je

83
me dis, si rien que pour faire ce travail, on a déjà ce type de problème, qu’est-ce qui doit en être quand
le sens même de notre engagement, qui est d’essayer d’être là pour pouvoir défendre, s’engager,
comment on fait ? Concrètement, comment on fait ? On est confronté à de nombreux bruits de
couloirs, de tensions, autres tergiversations, j’ai envie de dire, pour rester relativement politiquement
correct, en tous cas, querelles d’ego, qui très franchement m’ont quelque fois posé problème. Elles me
posent pas problème par rapport à mon travail, elle me pose problème par rapport au sens de ce que je
viens chercher à MSF. C’est pour ça que je suis vraiment content que l’on me pose cette question, elle
n’engage que moi, mais je tiens vraiment à y répondre. Moi ce que je viens chercher à MSF, ce n’est
absolument pas une quelconque réussite ou quoi que ce soit. Je suis toujours assis sur mes fesses et sur
cette chaise, quelque soit le bureau (…). Moi, ce que je viens chercher, et sans tomber dans
l’angélisme, c’est un endroit où certaines personnes se sont réunies avec des engagements communs et
je suis très surpris de voir que, je pense avec le temps, certains ont un peu perdu le sens des
engagements et sont davantage à avoir la peur de perdre leur bureau ou de viser le bureau d’en face. Et
ça très honnêtement, ça me pose franchement problème au sein de l’association. C’est certainement
violent, peut-être un peu caricatural mais tant mieux, c’est ce que je pense, ça m’appartient, je n’hésite
pas à le dire. Comme j’ai toujours dit, moi le jour où je ne sens plus ma place au sein de l’association,
je ferai autre chose, comme je faisais avant. Ca aura été quoi qu’il en soit un moment fort, intéressant,
riche de ma vie parce qu’il m’aura permis de rencontrer des gens riches et intéressants et notamment
sur le terrain et ça restera par contre un grand moment dans ma vie. Et à ce niveau là, je dis merci
MSF. Quelques fois, je suis parti du siège en me disant, non, pas merci MSF.

84
 Bibliographie indicative

Ouvrages

BLANCHET Karl, MARTIN Boris (Dir.), Critique de la raison humanitaire, éd. Le cavalier
Bleu, 2006, 156 p.

BRAUMAN Rony, Penser dans l’urgence, Parcours critique d’un humanitaire, éd. Du Seuil,
Paris, 2006, 269 p.

HOFMAN Elisabeth, « La planification des projets de développement, camisole ou boussole ?

L’articulation entre planification et évaluation dans les stratégies opérationnelles des ONG »,
in : QUEINNEC Erwan, IGALENS Jacques, Les organisations non gouvernementales et le
management, éd. Vuibert, 2004, 318 p.

KLEMENT Dean, QUETIN Etienne, Aide à l’organisation logistique d’une mission, 3ème éd.,
MSF, 2003, 452 p.

PERRET Bernard, L’évaluation des politiques publiques, éd. La Découverte, Paris, 2001

RYFMAN Philippe, Les ONG, éd. La Découverte, Paris, 2004

SIMEANT Johanna, DAUVIN Pascal, ONG et humanitaire, éd. L’Harmattan, Paris, 2004,
276 p.

WOOD Adrian, APTHORPE Raymond, BORTON John (Dir.), Evaluer l’action humanitaire,
éd. Karthala, 2002, 334 p.

Sources imprimées

Assemblée Nationale, 12ème législature, Rapport d’information déposé par la Commission des
Affaires étrangères sur les ONG françaises, n°2250, sous : www.assemblee-
nationale.fr/12/pdf/rap-info/i2250.pdf

BIQUET J.-M., « Les risques quotidiens de dévaluation de la démarche humanitaire », in :

Médecine Tropicale, n°62, 2002, pp. 428-432

BRAUMAN Rony, « L’école des dilemmes », in : vacarme, n°34, hiver 2006, pp.8-14

CAD/OCDE, Conseils pour l’évaluation de l’aide humanitaire apportée dans les situations
d’urgence complexes, 1999, sous : www.oecd.org/dataoecd/11/45/2668696.pdf

CICR, Le code de conduite pour le Mouvement international de la Croix-Rouge et du

Croissant-Rouge et pour les ONGs lors des opérations de secours en cas de catastrophes,
sous : www.icrc.org

85
DEVELTERE Patrick, FONTENEAU Bénédicte, POLLET Ignace, « L’évaluation dans les
ONG belges : entre volonté et contrainte », in : Revue Tiers Monde, oct.-déc.2004, n°180,
pp.800-823

DIAZ Francisco, « Le logisticien humanitaire », in : Sève, n°10, 2006, pp. 43-50

DUBUET Fabien, What is humanitarian accountability?, published in the ICRC publication

FORUM, 2002, sous: http://www.msf.fr

ECHO, Manual for the evaluation of humanitarian aid, 1999, sous:

www.reliefweb.int/library/documents/2001/echo-manual-1999.pdf

Fédération Internationale des sociétés de la Croix-Rouge et du Croissant-Rouge, Lignes

directrices pour l’évaluation des situations d’urgence, octobre 2005, sous :
www.proventionconsortium.org/themes/defaults/pdfs/71600-Guidelines-for-emergency-fr.pdf

F3E, L’évaluation : un outil au service de l’action, IRAM, déc.1996, trouvé sous :

http://www.iram-fr.org/documents/guide-evaluation.pdf

F3E, Prise en compte de l’impact et construction d’indicateurs d’impact, juin 1999, trouvé
sous : http://f3e.asso.fr/methodo/pdf/guideImpact.pdf

F3E, Evaluer : apprécier la qualité pour faciliter la décision, coopérer aujourd’hui n°21,
mars 2001, trouvé sous : www.gret.org/ressource/pdf/cooperer21.pdf

F3E, Compte rendu du séminaire pouvoirs publics/société civile, Les pratiques d’évaluation
des acteurs français du développement et de l’humanitaire, 16-17 décembre 2002, Paris,
trouvé sous :
http://f3e.asso.fr/etudeval/antrans/seminaire%20dec%2002/seminaireevaluationdec02.pdf

GRET, « Evaluer : apprécier la qualité pour faciliter la décision », in : Coopérer aujourd’hui,

n°21, mars 2001, sous : http://www.gret.org/ressource/pdf/cooperer21.pdf

GRÜNEWALD François, « L’évaluation et ses enjeux dans le secteur de l’action

humanitaire », revue des travaux du groupe URD sur la période 1997-2002, nov. 2002, sous :
http://www.urd.org/fichiers_urd/projqual/rechmeth/evaluat.pdf

GRÜNEWALD François, « Vous avez dit évaluation ? », adaptation d’un texte écrit par
François Grünewald en 1995 dans le cadre d’un travail pour le CICR, trouvé sous :
http://www.poluniv-
mpl.fr/UEE2006/telechargement/Francois%20Grunewald/VOUS%20AVEZ%20DIT%20EV
ALUATION.pdf

Joint Evaluation of Emergency Assistance to Rwanda, The international response to conflict

and genocide : lessons from the Rwanda experience, 1996

86
LAVIGNE DEVILLE Philippe, NEU Daniel, « Quelle participation des bénéficiaires dans les
évaluations de projets ? », in : Les Echos du Cota, n°93, déc. 2001, pp. 11-14, sous :
http://www.gret.org/ressource/pdf/quelle_participation_beneficiaires.pdf

MAÏOLA A.-L., « Médecins Sans Frontières et la gestion des catastrophes naturelles :

standardisation et limites de la logistique en situation d’urgence », in : Monde en
développement, n°137, pp. 81-88

MAMOU J., « L’action humanitaire au péril de sa normalisation », in : Médecine Tropicale,

n°62, 2002, pp. 425-427

ORBINSKI James, « On the meaning of Sphere standards to states and other humanitarian
actors », 1998, sous: www.msf.fr

PEROUSE DE MONTCLOS Marc-Antoine, Les ONG humanitaires sur la sellette, Etudes

2005/6, Tome 403, pp.607-616

RUBIO François, ZIEGLE Cécile, Les ressources des ONG et leur contrôle, sous :
www.coordinationsud.org/IMG/pdf/article_rapport_argent_dans_le_monde.pdf

RYFMAN Philippe, « Pratiques de gouvernances », in : Vacarme, n°34, pp.84-89

VILA SAN JUAN Rafael, MSF position vis a vis the SPHERE Project, letter send to
missions, 25/03/03, sous: www.msf.fr

YON Anne-Catherine, « Pour des démarches qualité dans les Organisations de Solidarité
Internationale », in : GRET - Coopérer aujourd’hui, n°46, fév.2006, sous :
http://www.gret.org/ressource/pdf/07668.pdf

ZIEGLE Cécile, Les initiatives pour la qualité portées par des réseaux d’ONG, mars 2006,
sous : www.coordinationsud.org/IMG/pdf/qualité_et_reseaux_ONG.pdf

ZIEGLE Cécile, Démarches éthiques des plates-formes d’ONG et des réseaux : codes de
conduite, chartes, sous :
www.coordinationsud.org/IMG/pdf/demarches_ethiques_des_PFN_et_reseaux_d_ONG_2_P
DF.pdf

Publications internes MSF

BEDELL Richard, BIQUET Jean-Marc, CALMY Alexandra, Evaluation of MSF Aids

projects in Malawi, Avr/mai 2007, 45 p.

BRADOL Jean-Hervé, « Violences humanitaires, amalgames, petits procureur et qualité de

l’aide », in : Messages MSF, n°121, juin 2002, p.11

BRADOL Jean-Hervé, « Extraits du rapport moral présenté à la 33ème assemblée générale »,

in : Messages MSF, n°131, août-septembre 2004, pp.10-14

BRADOL Jean-Hervé, « Action sous pressions », in : Messages MSF, n°137, pp.12-13

87
BRADOL Jean-Hervé, « La Mancha à mi-parcours », in : Messages MSF, n°139, fév.2006,
pp.16-17

BRAUMAN Rony, « La responsabilité humanitaire », in : La sélection du CRASH, texte à

paraître dans le dossier du colloque du CICR de novembre 2001, octobre 2001

BROWN Vincent, Evaluation des interventions en urgence des Médecins Sans Frontières –
impact des évaluations épicentre, juillet 1992

BUARD Vincent, « La Mancha : la fin de la schizophrénie à MSF ? », in : Dazibao MSF,

n°140, pp.10-11

CAMBREZY Christine, DROUHIN Emmanuel, Sécurité alimentaire – Evaluation, vol.1,

2001, 60 p.

Dr DANET Corinne, DELAUNAY Sophie, Dr DE POORTERE Evelyn, WEISSMAN

Fabrice, Revue Critique des Opérations MSF-France au Darfour (Soudan), octobre 2003 –
octobre 2004, MSF, Paris, 2005, 131 p.

DE TORRENTE Nicolas, « The professionalization and bureaucratization of humanitarian

action: some reflections from MSF’s experience », in: La sélection du CRASH, déc.2005,
Paper presented at the conference organized by the SSRC, ‘The transformation of
humanitarian action’, 23/03/05, Washington

DROUHIN Emmanuel, « La techno-bureaucratie et l’action humanitaire », in : Messages

MSF, n°129, avril 2004, pp.19-20

KAMPMÜLLER Sabine, RAFETSEDER Otto, Evaluation and treatment of HIV/Aids

programm, Litchinga/Niassa/Mozambique, MSF-Switzerland, June 2005

KAMPMÜLLER Sabine, FOTIADIS Michail, Evaluation Report, Gulu/Northern Uganda,

MSF-Switzerland, Octobre 2005

KERLEROUX Julie, « Associés pour agir », in : Messages MSF, n°128, mars 2004, pp.1-3

LE PAIH Mickael, « La qualité prise en défaut », in : Dazibao MSF, n°140, avril 2006, pp.7-8

MSF, Evaluation d’une structure hospitalière en pays en voie de développement, 1986

MSF (section hollandaise), Mini-symposium on Evaluations and Impact Studies of

Humanitarian Relief Interventions, Final report of the symposium held in Amsterdam, the
Netherlands, November 28 and 29, 1996

MSF, My sweet La Mancha, recueil de contributions écrites entre juillet et octobre 2005,
décembre 2005

MSF, Accord de La Mancha, 25 juin 2006, Athènes, trouvé sous :

http://www.msf.fr/documents/base/2006_06_24_FINAL_La_Mancha_Agreement_FR.pdf

88
MSF-CH, Evaluation Manual. A Handbook to initiating, managing and conducting
evaluations in MSF, Vienna Evaluation Unit, 2007, 23 p.

MSF/Epicentre, Rapid health assessment of refugee or displaced populations, 3ème éd., 2006,
70 p.

MULLER Cathy, …A propos de la malnutrition adolescente et adulte. Evaluation

rétrospective d’une expérience. Janvier à août 1998. Burundi, MSF-France, 1998

PRIOTTO Gerardo, KABOYO Winyi, Final Evaluation of the MSF France Trypanosomiasis
Control Programme in West Nile, Uganda, from 1987 to 2002, Epicentre, août 2002

RESONGLES Fabrice, Revue critique des urgences 2006, MSF, 2007, 60 p.

SALIGNON Pierre, « Le projet 2004… », in : Messages MSF, n°129, avril 2004, pp.1-5

SALIGNON Pierre, « Comment organiser notre croissance ? », in : Messages MSF, n°140,

mars 2006, pp.31-32

SAUVAGNAC Marc, « Budget en hausse, ressources en baisse », in : Messages MSF, n°141,

juillet 2006, p.25

Publications internes ACF

ACF International Network, Evaluation Policy and Guidelines 2007, 2007

ACF International Network, ACF external Programm evaluation quality assessment form,
2007

Mémoires de fin d’études (non publiés)

GRUOT Guillaume, Evaluation et comparaison économique de deux missions d’urgence

médicales/alimentaires/nutritionnelles au Kenya – Médecins Sans Frontières, Rapport de
stage sous la direction de Sophie Bejean et Christine Peyron, Université de Bourgogne, 2001

LARMOYER Aurélie, Elaboration d’une méthodologie d’évaluation pour Action Contre la

Faim : Enseignements sur la marche à suivre, sous la direction de Alain Rochegude,
Université Paris 1 Panthéon Sorbonne, 2004

Sources audio

ALLAFORT-DUVERGER Thierry, RESONGLES Fabrice, interview réalisée par le GUPA, à

propos de la Revue critique des urgences 2006, en lien sur le site « asso » de MSF :
www.msf.fr/asso

Entretiens

BARON Emmanuel, Directeur du département médical MSF-France, entretien réalisé au

siège de MSF le lundi 8 octobre 2007, durée : 55 minutes

89
BIQUET Jean-Marc, Chargé de Recherche à l’Unité de Réflexion sur les Enjeux et les
Pratiques Humanitaires (UREPH) Genève – MSF-Suisse, entretien téléphonique réalisé le
jeudi 4 octobre 2007, durée : 40 min

LETURQUE Henri, responsable du Bureau des Evaluations pour Action Contre la Faim,
ACF-UK, entretien téléphonique réalisé le mercredi 3 octobre, durée : 1h00

KAMPMÜLLER Sabine, responsable de l’unité d’évaluation basée à Vienne et attachée à

MSF-CH, échanges par courriel la semaine du 1/10/07 au 8/10/07

WEISSMAN Fabrice, Chercheur associé à la Fondation MSF, Centre de réflexion sur

l’Action et les Savoirs Humanitaires (CRASH), entretien réalisé au siège de MSF le Lundi 1er
octobre 2007, durée : 1h15

90
 Tables des matières

Synthèse ..................................................................................................................................... 3
Remerciements ........................................................................................................................... 4
Sommaire ................................................................................................................................... 5
Avant-propos.............................................................................................................................. 6
Introduction ................................................................................................................................ 7

Partie 1 – MSF et l’évaluation : un rapport distancié au concept et à la

technique ......................................................................................................... 11

1. L’évaluation : un concept et une technique formalisée dans le domaine de

l’action humanitaire....................................................................................................... 11

1.1. Adaptation des procédures aux situations d’urgence humanitaire ................... 11

1.1.1. Evaluer l’action humanitaire .................................................................... 11
1.1.2. Prise en compte des spécificités propres aux situations d’urgence .......... 15

1.2. Principes généraux d’une opération d’évaluation : une technique formalisée. 17

1.2.1. Le cadre de l’évaluation : définitions, critères, indicateurs, finalités....... 17
1.2.2. Une temporalité à l’évaluation : étapes préconisées ................................ 21

2. Les réticences de MSF face à l’appropriation de la méthode d’évaluation ...... 25

2.1. L’évaluation perçue comme une technique aux possibilités restreintes........... 25

2.1.1. Un concept inadapté aux actions menées................................................. 25
2.1.2. Une technique qui ne renseigne en rien sur le sens de l’acte ................... 28

2.2. Une vision particulière de la technique d’évaluation ....................................... 30

2.2.1. Un point de vue biaisé au regard de la théorie ......................................... 30
2.2.2. Des justifications à chercher dans la pratique .......................................... 33

Partie 2 : L’évaluation à MSF : institutionnaliser une démarche flexible38

1. Une démarche d’évaluation pensée comme un retour critique sur les
opérations........................................................................................................................ 38

1.1. Développer et améliorer la démarche d’évaluation.......................................... 38

1.1.1. Une démarche identifiée comme nécessaire ............................................ 39
1.1.2. Des initiatives pour la qualité................................................................... 42

1.2. Contours de la démarche d’évaluation ............................................................. 46

1.2.1. Une pratique résolument interne .............................................................. 46
1.2.2. Une grande flexibilité dans la démarche .................................................. 50

2. Une démarche appelée à évoluer........................................................................... 52

2.1. Se doter des moyens d’un regard sur la qualité de la médecine pratiquée....... 53

91
 2.2. Des évolutions au sein du mouvement MSF.................................................... 54
2.2.1. L’exemple d’une initiative au niveau international : l’évaluation par les
pairs en intersection.................................................................................................. 54
2.2.2. Uniformisation des pratiques au niveau des entités nationales ................ 58

Conclusion................................................................................................................................ 61
ANNEXES ............................................................................................................................... 64
Bibliographie indicative ........................................................................................................... 85
Tables des matières .................................................................................................................. 91

92