statistiques, indicateurs, performance, qualité…

prendre la mesure de la bibliothèque

Pierre-Yves Renard

19 novembre 2009
La politique, c'est l'art de chercher les problèmes, de
les trouver, de les sous-évaluer et ensuite d'appliquer
de manière inadéquate les mauvais remèdes.
Groucho Marx

Page 2

PYR La mesure de la bibliothèque 19_11_2009

 Quelque chose comme 4 messages
› Compter, mesurer (ISO 2789) › Cuisiner (Afnor, ISO & Co)

› Démontrer (ISO 11620)

› Organiser (Qualibib)

Page 3

PYR La mesure de la bibliothèque 19_11_2009

Une approche
bottom-up
à partir des outils
Une approche top-down
à partir des politiques
publiques et de leur
évaluation

Page 4

PYR La mesure de la bibliothèque 19_11_2009

Une approche
« subjectiviste » :
l’activité d’évaluation
s’inscrit dans des jeux
de communication et de
pouvoir
Une approche « objectiviste » :
l’activité d’évaluation vise
l’établissement
d’une vérité
administrative

Page 5

PYR La mesure de la bibliothèque 19_11_2009

 Les changements de paradigmes administratifs

L’administration Le nouveau La coproduction

bureaucratique management public administrative ? ? ?

Indicateurs de suivi Indicateurs de Baromètres de

performance satisfaction ? ? ?

Page 6

PYR La mesure de la bibliothèque 19_11_2009

… les grands débats des bibliothèques sont
souvent une histoire de chiffres

› Les m², les places assises

› Les horaires d’ouvertures
› Le prix des ressources électroniques…
› … et leur consultation
› Les achats de livres des emprunteurs
›…

Page 7

PYR La mesure de la bibliothèque 19_11_2009

Le régime du storytelling…
›Les gens(*) ont peu de temps
›Ils aiment les histoires
›Ils adorent les chiffres
›Les chiffres racontent une histoire

(*) Les décideurs, le public, les

interlocuteurs de la bibliothèque…

Nous sommes passés de l’ère de

la démonstration à l’ère de la
narration

Page 8

PYR La mesure de la bibliothèque 19_11_2009

… et la nécessité de choisir les bons indicateurs

› La bibliothèque est ce qu’elle

peut raconter d’elle-même

› Quelle histoire allez-vous

raconter avec vos chiffres ?
Quels chiffres allez-vous
rassembler pour raconter
votre histoire ?

Documents Prêts
45 230 78 250

Page 9

PYR La mesure de la bibliothèque 19_11_2009

L’utilité d’une culture de l’évaluation pour
les bibliothèques

› La bibliothèque est en concurrence avec les autres services

en matière « d’exposition », en matière de « faire savoir »,
et ce, selon les « cadres » utilisés par l’administration

Page 10

PYR La mesure de la bibliothèque 19_11_2009

Quelle méthode ? Face à la multiplicité des
interlocuteurs…

Page 11

PYR La mesure de la bibliothèque 19_11_2009

Quelle méthode ? Du fait de la diversité des
sources et des contextes…

Page 12

PYR La mesure de la bibliothèque 19_11_2009

Pas de méthode, mais un référent…
› Maître du « système d’information statistique », il/elle
concentre les données recueillies ou produites, les
organise et les met en forme, puis diffuse les résultats

données livrable

Page 13

PYR La mesure de la bibliothèque 19_11_2009

 Compter, et avant de compter, définir
› Cuisiner

› ISO 2789 statistiques internationales

de bibliothèques : le sommaire
› Organiser

– Définitions
‐ Bibliothèques, Collection, Usage et usagers,
Accès et équipement, Dépenses, Personnel
– Utilisation, avantages and limites d’utilisation des
› Démontrer

statistiques
– Présentation des données statistiques
– Collecte des données statistiques
– Annexe A : mesurer l’utilisation des services électroniques
› Compter

– Annexe B : catégories complémentaires recommandées

Page 14

PYR La mesure de la bibliothèque 19_11_2009

 Les statistiques à la poursuite de la réalité
› Cuisiner

› Hier › Aujourd’hui

? ?
› Organiser

?
Lecteurs / livres Utilisateurs / services
› Démontrer

Besoin de données
› Compter

Facilité de la collecte,
clarté des concepts
Page 15

PYR La mesure de la bibliothèque 19_11_2009

 ISO 11620 : construire des indicateurs solides
› Cuisiner

› ni guide d’évaluation, ni catalogue d’indicateurs

– 1. domaine d’application
› Organiser

– 2. référence normative
– 3. définitions
– 4. critères [de recevabilité] et cadre de description [des
indicateurs]
› Démontrer

– 5. emploi des indicateurs

– annexe A : liste des indicateurs
– annexe B : description des indicateurs
› Compter

– annexe C : bibliographie

Page 16

PYR La mesure de la bibliothèque 19_11_2009

 Indicateurs : définition technique,
définition politique…
› Cuisiner

›Définition technique : quantifié, l’indicateur mesure la réalisation

de l’objectif précédemment défini et permet d’apprécier l’atteinte
d’une performance le plus objectivement possible.
› Organiser

›Définition « politique » : mesure que des acteurs, parties

prenantes d’une organisation aux objectifs explicités ou
contractualisés, se sont accordés à utiliser pour rendre compte
› Démontrer

d’un niveau de réalisation ou d’une évolution, en vue de contribuer

au diagnostic ou à l’amélioration des performances.

ISO 11620 aide à construire des indicateurs techniques, pas à

› Compter

définir des indicateurs politiques

Page 17

PYR La mesure de la bibliothèque 19_11_2009

 Indicateurs : des points de vue différents,
l’approche de l’administration
› Cuisiner

Point de vue Catégorie Exemple Exemple

d’objectifs d’objectif d’indicateur
› Organiser

Citoyen Efficacité socio- Améliorer Taux d’emploi

économique l’insertion six mois après
professionnelle le diplôme
des jeunes
Usager Qualité du Accélérer les Durée
› Démontrer

service rendu décisions moyenne de la

judiciaires procédure
Contribuable Efficience de la Réduire le coût Coût d’un
gestion de gestion de impôt par
› Compter

l’impôt contribuable

Page 18

PYR La mesure de la bibliothèque 19_11_2009

 Indicateurs : des points de vue différents,
l’approche « classique »
› Cuisiner

objectifs
› Organiser

ce

eff
en

ica
› Démontrer

rtin

cit
pe

é
moyens résultats
› Compter

efficience
Page 19

PYR La mesure de la bibliothèque 19_11_2009

 Le « carré » de la performance
besoins
› Cuisiner

satisfaction pertinence
› Le carré de la
performance : introduit
les « besoins » résultats objectifs
› Organiser

besoins
› Le carré déplié cohérence
efficience
moyens
› Démontrer

impact

satisfaction

Société besoins objectifs moyens résultats effets

› Compter

pertinence cohérence efficience

Page 20 efficacité
PYR La mesure de la bibliothèque 19_11_2009
Les indicateurs entre nouveau management
public et théorie des incitations

Page 21

PYR La mesure de la bibliothèque 19_11_2009

 Imprimer une logique « évaluation » à la norme
› Cuisiner

4 familles d’indicateurs / approche

balanced scorecard
› Organiser

• ressources, accès et
infrastructure
• utilisation
• efficience
› Démontrer

• potentialités et
développement
› Compter

Page 22

PYR La mesure de la bibliothèque 19_11_2009

Effets indésirables, pervers, secondaires…
des indicateurs

› « payez suffisamment ou ne payez pas du tout »

› Décourager les meilleurs

› Encourager les moutons

(augmenter le taux de césariennes, favoriser la triche…)

Page 23

PYR La mesure de la bibliothèque 19_11_2009

 Le cadre intangible de description des
indicateurs
› Cuisiner

› objectif A
(100)
› Organiser

› domaine d’application
› définition
› méthode
B
› Démontrer

› interprétation des résultats ‐ où A représente un niveau

d’activité ou une quantité
› sources d’actes
‐ où B rapporte A à une unité
› indicateurs associés de moyens (€, ETP,
› Compter

temps…)

Page 24

PYR La mesure de la bibliothèque 19_11_2009

 Qualité et performance 1
› Cuisiner

› Qualiticiens versus performeurs publics : qui inclut

l’autre ?
› Organiser

› Première proposition, la
qualité est centrée sur les
usagers et les processus, la
performance fait référence
› Démontrer

aux missions et aux activités

dictées par les missions
› Compter

Page 25

PYR La mesure de la bibliothèque 19_11_2009

› Cuisiner

Évaluation
de la pertinence
et de la cohérence Résultat
Résultat de l’engagement
attendu voulu
› Organiser

Évaluation
Évaluation
de la satisfaction Qualité ? de la qualité
des besoins et de
l’impact Performance ? de la réalisation
› Démontrer

(efficacité /
des actions
efficience)
menées

Résultat Évaluation Résultat

› Compter

perçu de la qualité réalisé

de la perception
(coïncidence)
Page 26

PYR La mesure de la bibliothèque 19_11_2009

 Contraintes réglementaires, économiques
› Cuisiner

Résultat attendu Résultat voulu

Att. citoyennes, besoins politique
› Organiser

Attendu Voulu
usagers, clients opérationnel
Satisfaction Satisfaction Efficacité Efficacité
du citoyen de l’usager opération. politique
Perçu Réalisé
› Démontrer

usagers, clients prestataire

Résultat perçu Résultat réalisé

global, citoyen Effets indirects
› Compter

citoyen client/usager prestataire politique

Page 27

PYR La mesure de la bibliothèque 19_11_2009

 Qualité et performance 2
› Cuisiner

› Deuxième proposition : la
qualité repose sur des
› Organiser

référentiels externes (exemple

la charte Marianne), la
performance repose sur
l’élaboration de référentiels
internes (à la réalisation
› Démontrer

desquels peut contribuer la

norme ISO 11620)
› Compter

Page 28

PYR La mesure de la bibliothèque 19_11_2009

 L’adaptation de concepts issus du privé
› Cuisiner

› Performance et qualité : des concepts et des outils qui

viennent du privé
› Organiser

› Qualité et performance concourent à l’amélioration des

résultats financiers

Qualité Qualité Intangibilité Public

› Démontrer

des processus de la relation client des processus captif

RAS
› Compter

Réduction Avantage
des coûts compétitif
› Pas de problème, pas d’articulation…
Page 29

PYR La mesure de la bibliothèque 19_11_2009

 Réconcilier performance et qualité
› Cuisiner

› Performance = « qualité au meilleur coût » ?

› Organiser

› L’administration, dans son approche, en particulier des

indicateurs, opère un rapprochement
› Démontrer

› Assumer une complémentarité pratique, car les deux

mettent en œuvre du management

› Savoir ce que l’on fait et pourquoi on le fait

› Compter

Page 30

PYR La mesure de la bibliothèque 19_11_2009

 Une initiative française
› Cuisiner
› Organiser
› Démontrer
› Compter

Page 31

PYR La mesure de la bibliothèque 19_11_2009

 La grande famille des normes…
› Cuisiner
› Organiser
› Démontrer
› Compter

Pas de bon diaporama sans petits animaux

Page 32

PYR La mesure de la bibliothèque 19_11_2009

 Les paradoxes normatifs (rien que ça)
› Cuisiner
› Organiser

› La normalisation › Alors que les bibliothèques évoluent :

suppose : – vite
– du temps – dans des directions différentes
– le consensus – de façon expérimentale
› Démontrer

– du recul
› Compter

Page 33

PYR La mesure de la bibliothèque 19_11_2009

 Dis, comment on fait les normes ?
› Cuisiner

ISO Technical committee Afnor Commission

TC46 : information and générale CG46 :
documentation
information et
documentation
› Organiser

Sub Committee SC8 : Quality –

statististics and performance
evaluation Commission nationale CN8
: évaluation des résultats
 WG2 (ISO 2789)
 WG4 (ISO 11620)
› Démontrer

 WG5 (ISO 9707)

 WG6 (ISO 9230) Expertise, traduit,
 WG7 (TR 28118) vote, propose…
 WG8 (TR11219)
 WG9
› Compter

Page 34

PYR La mesure de la bibliothèque 19_11_2009

Pertinence des normes, aujourd’hui
› Elles existent !
› Elles rendent compte de ce qui peut être clairement et
sûrement calculé et mesuré aujourd’hui (« au-delà »,
rien d’assez solide pour être normalisé). [la
normalisation = lieu de consolidation ? ]
› En tant que normes internationales, elles donnent (ou
devraient donner) un poids supérieur aux mesures et
indicateurs qui en sont tirées, dans le cadre des
discussions budgétaires ou politiques).
› En particulier dans une perspective de comparaison,
elles offrent un langage commun.

Page 35

PYR La mesure de la bibliothèque 19_11_2009

Page 36

PYR La mesure de la bibliothèque 19_11_2009