S’EVALUER OU PERIR

A. Boudchichi El Kadiri
Informatiste spécialisé

Résumé
L’évaluation, en tant que processus de gestion, est un moyen
d’appréciation de la qualité d’une structure. Elle est par conséquent un
moyen de contrôle de la qualité des produits et des services offerts à la
clientèle. C’est un instrument de régulation, voire de contrôle qui détecte
les anomalies ou les déficiences d’un système.
L’évaluation des systèmes d’information et de documentation et plus
particulièrement des systèmes de recherche documentaire nécessite
l’emploi d’indicateurs de performance, et la crédibilité d’une évaluation de
ce type ne se fonde plus sur des opinions ou des impressions subjectives,
mais sur des évidences objectives tirées d’indicateurs quantifiables et

PREAMBULE
Dans ce contexte de mouvance technologique (Autoroutes de
l’information, Internet, W3, systèmes de communication, réseaux téléma-
tiques…), de globalisation et mondialisation de l’économie (libéralisation des
marchés et forte concurrence) qui accompagne ce nouveau «dés»-ordre
mondial, l’évaluation est devenue une condition de survie, pour toutes les
structures, petites ou grandes, simples ou complexes, nationales ou
internationales.
D’où le développement d’un corpus théorique considérable sur les
concepts, les méthodes et techniques d’évaluation des structures et
organisations d’une façon générale.
24 A. Boudchichi El Kadiri

Pour des structures complexes, telles que les systèmes d’information et de

documentation, l’évaluation constitue une préoccupation majeure des
spécialistes des sciences de l’information.

L’évaluation comme processus de gestion

Evaluer une tâche, un objet, une structure, un comportement, c’est avant
tout en déterminer et apprécier les qualités tout en en détectant les défauts.
Or, toute appréciation doit se fonder sur un certain nombre de valeurs, de
critères qui peuvent varier selon les circonstances, l’environnement, les
méthodes et/ou les moyens...
Et si évaluer c’est apprécier la qualité, et si « la qualité est la satisfaction au
plus juste prix des besoins des clients » (Lemaitre P., 1994), peut-on prédire
que l’évaluation est limitée à cela ? Non bien sûr, car l’évaluation reste un
exercice stérile, si elle n’a pas pour objectif de diagnostiquer les problèmes
existants et, par conséquent, d’améliorer le rendement d’un système ou d’un
service (Lancaster F.W., 1978, p. 63).
Le but d’une évaluation est donc de nous informer davantage sur les
capacités et les faiblesses d’un système ou d’un service (Lancaster F.W., 1978,
p. 20).
Par conséquent, l’évaluation et le contrôle de la qualité des produits et des
services offerts à la clientèle restent parmi les priorités accrues des managers
de notre temps, et le contrôle de la qualité constitue l’une des quatre
fonctions majeures de la gestion (planification, organisation, direction et
contrôle). Et dans toute organisation ou structure qui se respecte, l’évaluation
constitue une préoccupation majeure des décideurs et des managers. Un
projet d’évaluation est avant tout une recherche orientée vers l’action, une
lecture rigoureuse et systématique de la vie d’une organisation.
Mais il est difficile de formaliser le processus de prise de décision au sein
duquel on peut atteindre la décision d’évaluer. Selon Danald W. King & C.B.
Edward (1971), il est nécessaire de se poser les questions suivantes :
– Existe-il des évidences matérielles qui prouvent que de meilleures
procédures existent ?
– Y a-t-il avis d’un expert qui prouve que de meilleures procédures
existent ?

RESI n° 11, février 2001

S’évaluer ou périr 25

– Y a-t-il des raisons pour croire que les ressources sont accessibles pour
des recommandations de mise en place, où le management serait prêt à faire
les modifications nécessaires, si l’évaluation le suggère ?
Si la réponse à ces trois questions est oui, l’évaluation est nécessaire
(Danald W. King & C.B. Edward, 1971, p. 6).
Une institution qui ne subit pas d’évaluations systématiques est aveugle. Il
n’y a rien de plus nuisible à l’image d’une profession que des praticiens qui
n’ont que des opinions sur l’efficacité des services à leur clientèle (Cossette
A., 1978, p.116).
Aussi, pour les spécialistes des sciences de l’information, ce phénomène
d’évaluation est au cœur de leurs préoccupations quotidiennes.

L’évaluation des systèmes d’information et de documentation (CID)

Un organisme ou centre d’information et de documentation (OID, CID),
une bibliothèque, centre multimédia ou tout autre entité qui collecte, traite et
diffuse de l’information, est avant tout “un système”, soit un ensemble
d’éléments en interaction dynamique, dans le but de réaliser un ou plusieurs
objectifs (J. de Rosnay, 1975).
D’où l’importance des objectifs dans tout processus d’évaluation, car
« l’évaluation n’est possible que lorsqu’il existe un ou plusieurs objectifs
explicites, en fonction desquels une situation de fait peut être mesurée »
(Menard J., 1978).
Donc, évaluer suppose qu’existent, ou doivent être construits, quelque
part dans l’objet à observer, des indicateurs de performance qui permettront
de connaître des effectifs, des volumes, des durées, des coûts, des usages.
Cette identification ou “criterion problem” est une tâche difficile. Ces critères
ou indicateurs d’activité sont la manifestation d’événements ou la marque
d’objets qui doivent permettre de contrôler le niveau de réalisation des
objectifs.
Ce ne sont pas des mesures, ce sont des variables d’observation que l’on
pourra manipuler, combiner, confronter pour obtenir un résultat.
L’évaluation est d’abord perçue comme un instrument de régulation, voire
de contrôle qui détecte les anomalies ou les déficiences d’un système ; son

RESI n° 11, février 2001

26 A. Boudchichi El Kadiri

rôle ne se limite pas à cet aspect, car si elle est utilisée adéquatement, elle
permet de porter un jugement objectif sur la performance réalisée et facilite
le choix des correctifs les plus appropriés pour améliorer l’efficacité du
système d’information et de documentation (Lajeunesse M. ; L. Wilso, 1984,
p. 43).
Evidement, tous les systèmes ne se prêtent pas à l’établissement
d’indicateurs d’activité qui peuvent permettre d’obtenir des données
quantifiables (Fondin H., 1986, p. 57).
M. Lajeunesse (1978) détermine trois types d’indicateurs en sciences de
l’information, qui sont reliés à trois niveaux possibles d’évaluations des
services d’information.
1. L’évaluation de l’efficacité du système d’information, l’évaluation de son
efficience et l’évaluation de sa valeur.
Le premier type d’évaluation consiste à déterminer le degré de réalisation
des objectifs fixés pour le service ; elle requiert l’emploi d’indicateurs de
performance et d’indicateurs de résultats qui peuvent être internes et
externes. Les indicateurs de résultats internes s’identifient aux produits et aux
services offerts, les indicateurs de résultats externes révèlent dans quelle
mesure les produits et services offerts correspondent aux objectifs et satisfont
les besoins des usagers.
2. L’évaluation de l’efficience ou du coût-efficacité vise à calculer ce qu’il
en coûte en ressources à un service d’information pour atteindre ses objectifs.
3. L’évaluation de la valeur du service d’information ou du coût-bénéfice
de ses activités consiste à mesurer les résultats externes, c’est-à-dire les
avantages que les usagers retirent de son utilisation (Lajeunesse M., 1978,
p. 64).
J. Regazzi J. (1980), en citant Rutehnburg (1969) précise que l’ensemble
des techniques d’évaluation peuvent être classifiées dans l’une ou l’autre
catégorie, nommément « efficiency medels » ou « effectiveness medels ». La
première a pour effet l’évaluation de la valeur ou la performance du système
du point de vue coût. La seconde (mesure d’efficacité) a pour objet
l’évaluation de la capacité du système d’information à fournir des réponses
pertinentes mis à part les coûts.

RESI n° 11, février 2001

S’évaluer ou périr 27

L’efficacité étant définie par Page, Lucie (1992), comme les degrés de
réalisation des objectifs d’une organisation. Elle est une mesure des extrants,
alors que l’efficience calcule ce qu’il en coûte en ressources, pour atteindre
ces objectifs. Et l’évaluation des extrants présuppose l’existence d’objectifs
tangibles, opérationnels et mesurables.
Donc évaluer consisterait à mesurer les outputs en relation aux inputs,
c’est-à-dire les extrants d’une organisation par rapport aux intrants ou, plus
clairement, à mesurer la quantité de services produits par l’organisme, en
comparaison avec la quantité de ressources utilisées (Bonnly C., 1985). Mais
cette conception des choses inspirée de la recherche opérationnelle conduit
le plus souvent à assimiler les bibliothèques et les centres de documentation
à des usines de production ou des supermarchés (Cartier C., 1978), car
l’évaluation réduite à la seule mesure de la productivité pourrait susciter des
aberrations.
Mais quelle que soit la méthodologie d’évaluation choisie, on retrouve
toujours dans sa mise en application un certain nombre de traits communs.
H. Fondin (1986) nous en cite au moins neuf : la définition des objectifs, la
détermination des variables d’observation et l’introduction de ces variables
dans le système à évaluer, l’établissement des outils d’analyse, la collecte des
données et leur analyse, enfin la prise de décision, la mise en application et
le contrôle et, si nécessaire, le changement des variables, c’est-à-dire la
correction des anomalies.
La méthode d’évaluation la plus utilisée et la plus privilégiée dans les
bibliothèques et centres de documentation est celle dont F.W. Lancaster
(1977) est devenu l’ardent défenseur et qui consiste à comparer, à l’aide
d’instruments de mesure, la performance en relation avec les objectifs
poursuivis de façon à en vérifier le degré de réalisation.
Un telle méthode met en lumière la nécessité de réfléchir aux objectifs
fondamentaux du service, de définir, en conformité avec ces derniers, un
programme d’activité cohérent et d’en vérifier régulièrement l’évolution, afin
d’y apporter les ajustements nécessaires (Bonnely C., 1985).

L’évaluation des systèmes de recherche documentaires

Les systèmes de recherche documentaires communément appelés par les
Anglo-saxons « Information retreaval system », constituent le cœur-même de

RESI n° 11, février 2001

28 A. Boudchichi El Kadiri

tout organisme ou système d’information et de documentation. C’est un

ensemble de règles et de procédures exécutées par des hommes ou des
machines pour effectuer toutes ou seulement quelques-unes des opérations
suivantes, indexation ou la préparation de la représentation des documents,
la formulation de la demande ou la représentation des besoins d’information,
l’interaction (feadback) ou la répétition d’une ou de toutes les opérations
précédentes en introduisant les modifications nécessaires en fonction de la
pertinence des résultats obtenus, la construction du langage d’indexation ou
la génération de règles de représentation, soit des documents soit des besoins
soit des deux à la fois (Robertson S.E., 1981, p. 9).
L’évaluation des systèmes d’indexation et de recherche nécessite l’analyse
des indicateurs de performance de ces systèmes, cela implique la
quantification des caractéristiques de performance du système étudié.
L’indicateur de performance est un signe qui permet de reconnaître les
qualités des produits et des services réalisés par un système d’information et
de documentation, il est aussi un indicateur d’efficacité qui révèle le degré de
réalisation d’objectifs opérationnels.
Pour Lajeunesse M. (1978), un indicateur de performance est un indicateur
de résultats (output) et non un indicateur de ressources (input) ; en effet, la
mesure des ressources n’est pas significative de l’efficacité d’un système
(Lajeunesse M., 1978, p. 24). D’où l’importance des indicateurs de
performance dans tout processus d’évaluation.
La plupart des activités de planification, d’analyse et d’évaluation se
servent aujourd’hui d’indicateurs. Et la crédibilité d’une évaluation ne se
fonde plus sur des opinions ou sur des impressions subjectives, mais sur des
évidences objectives tirées d’indicateurs (Gingra P.E., 1977, p. 65).
Et il est évident que toutes les composantes d’un système ne peuvent être
évaluées de la même façon ; la méthodologie et les indicateurs de
performance varient d’une structure à une autre. Ainsi, la mesure de
l’efficacité de tout système nécessite la construction et la validation de
nombreux modèles analytiques.
Et malgré l’apport de l’approche systémique, les mesures risquent d’être
fragmentaires, et on ne peut construire un modèle global d’évaluation
intégrant toutes les analyses des opérations exécutées par le système ; cela
n’empêche qu’on peut opter pour le modèle qui convient le mieux, en

RESI n° 11, février 2001

S’évaluer ou périr 29

fonction des buts et des objectifs qu’on se fixe (Lajeunesse M., Wilson L.,
1984).
Il reste que les deux mesures ou indicateurs de performance les plus
utilisés par les spécialistes des sciences de l’information, pour évaluer
l’efficacité de repérage des systèmes ou services de documentation sont donc
le rappel et la précision. Et ces deux critères sont très valables pour évaluer la
performance des recherches documentaires conduites même dans les
systèmes non automatisés tels les catalogues sur fichier bibliographique
manuel (Swanson R.W., 1975).
Dans l’évaluation de la qualité du système d’indexation et de recherche,
on fait appel à des notions de bruit, de silence, de rappel et de précision.
Rappelons que :

nbre de références non pertinentes

Bruit : x 100 %
nbre de références listées

nbre de documents pertinents retrouvés

Précision : 100 – bruit = x 100 %
nbre de documents retrouvés

nbre de références pertinentes absentes de la liste

Silence : x 100 %
nbre de références pertinentes de la BDD

nbre de documents pertinents retrouvés

Rappel : 100 – silence = x 100 %
nbre de documents pertinents dans la collection

Le rappel et la précision sont deux mesures étroitement liées en ce sens

qu’elles perdent leur signification quand elles sont utilisées isolément.
Lorsque ces deux mesures de performance sont reliées ensemble, elles
constituent des indicateurs valides de la capacité des systèmes de recherche
documentaire à ne repérer que les documents pertinents aux requêtes
exprimées par l’usager (Balcer, 1984).
Et si le taux de rappel et le taux de précision sont des indicateurs valides
de rendement d’un système documentaire, une étude d’évaluation d’un
système doit “disséquer les cas d’échecs” d’une recherche documentaire, les

RESI n° 11, février 2001

30 A. Boudchichi El Kadiri

analyser afin d’en déterminer les causes.

L’analyse des échecs nécessite l’examen des documents en cause et la
manière dont ils étaient indexés. Elle nécessite l’étude de l’énoncé de la
demande, la stratégie de recherche qu’elle a inspirée, les formulaires
d’estimation de pertinence remplis par le demandeur et enfin le vocabulaire
du système. Et ce n’est qu’après l’étude de ces éléments qu’on pourra
déterminer la cause principale des échecs (indexage, terminologie, stratégie
de recherche ou imperfection dans l’interaction usager-système). Et c’est au
moyen d’une analyse approfondie des échecs, effectuée à partir d’un
échantillon convenable de recherches, que l’évaluateur obtiendra une masse
considérable d’enseignements sur les problèmes et les faiblesses du système
étudié (Lancaster M., Wilson L., 1984, p. 54).
En conclusion, on peut dire que l’évaluation s’inscrit au sein du processus
de gestion des services, au niveau de l’étape de contrôle. A ce stade,
l’évaluateur cherche à savoir dans quelle mesure les objectifs qu’il s’est fixé,
lors de la planification de la politique de gestion, ont été atteints.

RESI n° 11, février 2001

S’évaluer ou périr 31

Ce processus d’évaluation nécessite obligatoirement le passage par

plusieurs étapes de mesures et d’appréciation des résultats obtenus.
Références bibliographiques

Balcer, Madeleine (1984). L’Evaluation des services techniques : productivité

et performance, ouvrage collectif l’Evaluation des B.U., Paris, AUPELF,
1984.
Bonnely, Claude (1985). L’utilité des experts-conseils dans l’évaluation des
services et systèmes, in Doc. et Bib., 31 (1), 1985, p. 27-31.
Cartier Céline (1978). L’anti-évaluation et les instruments de mesures des
services dans les bibliothèques de recherche, in ASTED, commission des
bibliothèques de recherche et spécialisées, l’évaluation des services
publics, Montréal, 1978, p. 1-15.
Cossette A. (1978). Evaluation de l’efficacité de la bibliothèque : analyse des
études majeures, in Doc. et Bib., 24 (3), 1978, p.15-128.
De Rosnay Joël (1975). Macroscope, vers une vision globale, Paris, Seuil,
1975.
Donald, W. King ; C.B. Edward (1971). The Evaluation of information services
& products, W.D.C., Inf ressources press, 1971, 306 p.
Fondin, Hubert (1986). Les logiciels de gestion de bases de données comme
outil d’évaluation d’un système d’information, in Documentaliste, 23
(2),1986, p. 56-66).
Gingras P.E. (1977). Le concept d’indicateur appliqué à l’éducation,
Montréal, cadre, 1977.
Lajeunesse M. ; Wilson Lise (1984). L’évaluation des services au public des
B.U : approche méthodologique, ouvrage collectif l’Evaluation des B.U.,
Quebec, AUPELF, 1984, 370 p.
Lajeunesse, Marcel (1978). L’Evaluation de l’efficacité de la bibliothèque :
une approche systémique, Québec, CEGEP, 1978, 282 p.
Lancaster, F.W. (1978). Principes directeurs pour l’évaluation des systèmes
d’information, Paris, UNESC0, 1978, 180 p.

RESI n° 11, février 2001

32 A. Boudchichi El Kadiri

Lancaster, F.W. (1977). The measurement and evaluation of library services,

Washingto D.C, Inf Ress. Press, 1977.
Lemaitre P. ; H.P. Maders (1994). Améliorer l’organisation administrative. Ed.
d’Organisation, 1994, 224 p.
Liboiron, Pierre R. (1990). L’évaluation des collections : les fondements, in
Argus, 19 (1), 1990, p. 3-9.
Menard, J. (1978). S’évaluer pourquoi ? In Documentation et Bibliothèque, 24
(3), septembre 1978, p. 101.
Page Lucie (1992). Méthodes et techniques d’évaluation des services
d’archives : des pistes à développer pour documents historiques, in
Archives, 23 (4), 1992, p. 57-78.
Regazzi, John J. (l980). Evaluating indexing systems : a review after Cranfield,
in The Indexer, 12 (1), april 1980, p. 14-21.
Robertson S.E. (1981). The methodology of information retreaval experiment,
in Info Retreaval Expriment, 1981, p. 9-31. Ruthenburg, Douglas H.
(1969). An efficiency model & performance functions for a information
retrieval system, in Information storage & Retrival, 5 (3), 1969, p. 109-22.
Swanson, Rowena Wass (1975). Performing evaluation study in information
sciences, in J.A.S.I.S., 26 (3), 1975, p. 140.

RESI n° 11, février 2001