Vous êtes sur la page 1sur 29

Les indicateurs

1) 2) 3) 4) 5) Quest-ce quun indicateur? Qui utilise les indicateurs? Des indicateurs pour mesurer quoi? Comment utiliser les indicateurs? Quest-ce quun bon indicateur?

RA 21 & 21 novembre 2006

1) Quest-ce quun indicateur? Une dfinition lexicale


Personne qui dnonce un coupable Livre, brochure ou journal donnant des renseignements Instrument servant fournir des indications Substance ajoute en faible quantit une solution et qui change de couleur selon le pH Variable ayant pour objet de mesurer ou apprcier un tat, une volution conomique

1) Quest-ce quun indicateur? Dfinition ISO 8402


Information choisie, associe un phnomne, destine en observer priodiquement les volutions au regard dobjectifs priodiquement dfinis . Suivant cette dfinition, lexistence dinformations numriques et rptes est donc ncessaire pour quune information quantitative soit qualifie dindicateur .

1) Quest-ce quun indicateur? Critres et indicateurs 1750; lat. scolast. criterium, du gr. kritrion, de krinein discerner
Un critre est donc un lment auquel on se rfre pour porter un jugement, une apprciation sur la conformit des pratiques. Il est prfrable de rserver le terme dindicateur aux variables pouvant ultrieurement permettre un suivi de la qualit dans le cadre dun systme de recueil de donnes.

1) Quest-ce quun indicateur?


De l utilisation indicateurs 1/3 Un indicateur suppose lexistence dune question quil contribue clairer
Les chiffres ne parlent pas deux-mmes. Un indicateur donne une indication, cest--dire une information incomplte, mais utile, sur un phnomne, un dysfonctionnement, une situation. Une statistique, un indice simple ou complexe ne constituent pas automatiquement des indicateurs. Ils ne le deviennent que sils fournissent la personne qui en dispose une information significative par rapport ses proccupations. Ce nest pas seulement le rsultat qui est important, cest ce que lon en fait. En outre, la prise de dcision fait habituellement appel, ct du ou des lments de mesure, des lments de principe ou de contexte.

1) Quest-ce quun indicateur?


De l utilisation indicateurs 2/3
Un indicateur na de sens quaccompagn de ses lments dinterprtation, notamment les critres prcis de sa dfinition et le contexte de sa mise en uvre
Les conditions de recueil et de traitement des donnes doivent tre dfinies prcisment, afin dassurer la stabilit et la reproductibilit au cours du temps des informations produites. Le dveloppement des indicateurs ne prend donc tout son sens qu la fin dune priode parfois longue de choix des objectifs atteindre.

1) Quest-ce quun indicateur?


De l utilisation indicateurs 3/3
Les indicateurs peuvent tre lobjet de biais danalyse et les facteurs de confusion dans leur traitement sont frquents
Des rsultats sous-estims, surestims, voire incohrents par rapport la situation relle peuvent conduire lutilisateur de lindicateur prendre des dcisions inappropries.

2) Qui utilise les indicateurs?

Etat tutelle Etablissements Usagers/mdias


Un indicateur n a donc de sens que situ dans un ensemble de communication qui dpasse le strict cadre de l tablissement.

2) Qui utilise les indicateurs?


Etat tutelle 1/2
Le ministre utilise les indicateurs dans le cadre du pilotage national. Il constitue des bases dinformation de rfrence qui servent doutils daide la dcision. Voir INFOCENTRE sur lintranet du ministre.
InPEC : indicateurs pour le pilotage de lcole au collge. (indicateurs de pilotage sur le premier degr et la liaison cole/collge) IPES : indicateurs de pilotage des tablissements secondaire.. ICoTEP : indicateurs commun pour un tableau de bord de lducation prioritaire ACCADEMIA : indicateurs acadmiques pour ladministration centrale, les acadmies et les inspections acadmiques. InfoSUP : base dinformation sur le suprieur. (srie dindicateurs synthtiques et de donnes statistiques sur les tudiants, offres de formation, personnels, patrimoine, finances, recherche, bibliothques) SerAca : indicateurs sur les moyens des services acadmiques. BCP Documents paramtrs : Base centrale de pilotage

2) Qui utilise les indicateurs?


Etat tutelle 2/2
A lchelon du rectorat les IPES et CAP constituent la partie la plus visible des ensembles statistiques qui est (hors cap) galement la partie commune lensemble des acadmies. Les inspections acadmiques, tout en sinscrivant dans le systme gnral dinformation, peuvent produire leur propre base dindicateurs pour piloter le dpartement. La typologie des collges du Vaucluse par exemple sert lInspection Acadmique pour ventiler une partie des moyens. Les indicateurs pris en compte doivent tre observs dans ltablissement comme piste de rflexion car ltablissement se situe ncessairement dans un ensemble plus grand.

2) Qui utilise les indicateurs?


Les tablissements
Utilisent ( ?) les indicateurs pour dgager des pistes pour la construction du projet dtablissement et pour valuer ledit projet.
Mais: Les utilisent-ils au regard de questions pralablement poses? Les utilisent-ils en harmonie avec des ensembles statistiques plus grands qui sont dfinis par la tutelle? Les utilisent-ils avec les lments d interprtation ncessaires leur accompagnement?

2) Qui utilise les indicateurs?


Les usagers les mdias
La publication annuelle des rsultats au bac montre que les tablissement ne peuvent plus se contenter de fonctionner en interne . Les indicateurs utiliss doivent tre regards dans une stratgie de communication interne et externe. A cet gard, le choix des indicateurs est dterminant et il convient de trouver ceux qui permettront aussi dquilibrer dventuels effets positifs. Ce problme est essentiel car un indicateur nest jamais objectif en tant que tel.

3) Des indicateurs pour mesurer quoi? 3.1 Indicateurs d'activit 3.2 Indicateurs de structure (de ressources) 3.3 Indicateurs de processus 3.4 Indicateurs de rsultats

3) Des indicateurs pour mesurer quoi?


3.1 Indicateurs d'activit
De trs nombreux indicateurs dactivit peuvent tre envisags, en fonction des objectifs poursuivis. Lactivit peut tre dcrite de manire globale et/ou par secteurs dactivit. Elle peut tre exprime de manire dtaille ou synthtique, de manire brute ou par rfrence aux cots ou aux structures (productivit). Exemples: nb d heures de cours assures nb de courrier d absences envoy (cot des envois)

3) Des indicateurs pour mesurer quoi?


3.2 Indicateurs de structure (de ressources)
Ils reprsentent les moyens humains, les quipements et les ressources financires ncessaires au fonctionnement de lEPLE. Exemples : nombre de personnels, nombre de matriels pdagogiques.

3) Des indicateurs pour mesurer quoi?


3.3 Indicateurs de processus
Tout processus de prise en charge des lves peut tre dcrit comme un ensemble dtapes dont la succession doit aboutir un rsultat de qualit. Chaque tape constitue ellemme une succession de tches faisant intervenir diffrents acteurs. Exemples : Dlai de prise en charge des lves en difficult et cohrence entre le constat (valuation 6me par exemple) et les modalits de prise en charge Temps de rponse face aux actes de violence, temps de rponse face labsentisme

3) Des indicateurs pour mesurer quoi?


3.4 Indicateurs de rsultats
Les indicateurs de rsultats intermdiaires mesurent lactivit et la qualit des diffrentes tapes des processus.
Par exemple nombres dheures affectes au soutien des lves en difficult. Taux dchec des redoublements nombre dheures de formation continue

Les rsultats finaux traduisent un changement de niveau des lves. Ils rendent directement et prcisment compte de la capacit daction de ltablissement. De nombreux indicateurs de rsultats finaux sont des indicateurs de rsultats ngatifs, tels que les taux de redoublement. Ceci est notamment explicable par le fait quil est beaucoup plus simple didentifier ce qui ne devrait pas se produire que le contraire.

4) Comment utiliser des indicateurs dans une dmarche d amlioration de la qualit? 4.1 Il n'y a pas de qualit sans mesure 4.2 mais elle seule, la mesure ne fait pas la qualit 4.3 La qualit est une variable complexe et multidimensionnelle

4) Comment utiliser des indicateurs dans une dmarche d amlioration de la qualit? Il n'y a pas de qualit sans mesure
Lindicateur a ou peut avoir plusieurs fonctions dans une dmarche damlioration continue de la qualit :
connatre le niveau de qualit initial du processus ; dterminer des objectifs quantifis (il sagit surtout daider dterminer limportance des problmes afin de dfinir les priorits daction) ; vrifier que ces objectifs sont atteints, en mesurant lefficacit des solutions mises en uvre sous la forme de plans dactions ; suivre dans le temps le maintien des rsultats obtenus, cest--dire vrifier la prennit des changements.

4) Comment utiliser des indicateurs dans une dmarche d amlioration de la qualit? mais elle seule, la mesure ne fait pas la qualit
Suppose un engagement institutionnel, une culture collective (travail en collaboration, apprentissage partir des erreurs, etc.), une formation et un soutien mthodologique et logistique, ainsi que des systmes de mesure et de gestion des donnes appropris. La ralisation de ces conditions devrait tre considre comme un pralable toute mise en uvre dindicateurs. Lvaluation requiert de la curiosit et la volont de se remettre en cause. Le recueil des indicateurs est facilit lorsque la politique dvaluation fait partie intgrante du travail quotidien. Toute ralit a une dimension objective et une dimension subjective, et les deux sont importantes. Il est souvent utile de recourir aux mthodes issues des sciences sociales pour interprter les rsultats et favoriser le changement.

4) Comment utiliser des indicateurs dans une dmarche d amlioration de la qualit? La qualit est une variable complexe et multidimensionnelle
Lindicateur peut concerner les diffrents niveaux de la qualit (conformit aux normes rglementaires exigibles, conformit aux recommandations/rfrences professionnelles, dmarche damlioration continue aux fins de rsolution de problme, gestion de risque ou qute dexcellence, etc.). Lindicateur peut aussi sintresser aux diffrentes dimensions de la qualit de la prise en charge des lves : efficacit, efficience, scurit, caractre appropri, disponibilit,accessibilit, quit, performance, confort, personnalisation, etc.

5) Quest-ce quun bon indicateur ?

Un indicateur doit tre simple et acceptable Un indicateur doit tre valid et pertinent Un indicateur doit tre fiable Un indicateur doit tre sensible et spcifique Les rsultats observs doivent tre restitus de faon claire Un indicateur peut avoir des effets secondaires imprvus, ngatifs ou paradoxaux

5) Quest-ce quun bon indicateur ?


Un indicateur doit tre simple et acceptable
Les objectifs de simplicit et dutilit de la mesure doivent lemporter sur le souci de la perfection et de lexhaustivit. Lacceptabilit est une caractristique essentielle dun bon indicateur. Pour quun indicateur soit accept, il faut quil soit simple, mais aussi quil soit oprationnel et crdible. Un indicateur doit tre facile laborer, recueillir et calculer, comprhensible et compris de la mme faon par tous. Les qualits dun indicateur sont en effet largement tributaires de la qualit des donnes

5) Quest-ce quun bon indicateur ?


Un indicateur doit tre valid et pertinent La validit est laptitude de lindicateur reflter ce quil est cens mesurer, cest--dire fournir les repres ncessaires lapprciation de ltat ou de lvolution du phnomne pour lequel il a t choisi. Un indicateur est notamment suppos varier dans le mme sens que ce quil mesure. Un indicateur est pertinent sil permet didentifier simplement des problmes pour lesquels des actions de prvention ou de correction efficaces existent.

5) Quest-ce quun bon indicateur ?


Un indicateur doit tre fiable. .c'est--dire apte une mesure prcise et reproductible
La reproductibilit est la capacit de produire plusieurs fois le mme rsultat lorsque la mesure est rpte dans le temps, dans des conditions identiques et sur les mmes lments. Les sources derreur qui peuvent affecter la fiabilit des mesures sont nombreuses. Elles peuvent venir de loutil de collecte, de la personne qui fournit linformation, de la faon dont elle est demande, etc. Ainsi, lorsque le recueil de linformation ncessaire la dtermination de lindicateur implique la sensibilisation des acteurs (ex. : taux de certains vnements indsirables tabli par dclaration volontaire : bavardages en cours, insultes etc), il est normal dobserver dans les premiers mois des changements importants du simple fait de la mobilisation des acteurs.

5) Quest-ce quun bon indicateur ?


Un indicateur doit tre sensible et spcifique La sensibilit est laptitude varier beaucoup et rapidement lorsque apparaissent des variations, mme de faible amplitude, du phnomne tudi, par exemple en fonction des actions que lon met en uvre. Un indicateur est dit spcifique lorsquil ne varie que si le phnomne ltude subit une modification.

5) Quest-ce quun bon indicateur ?


effets secondaires imprvus, ngatifs ou paradoxaux

Un indicateur peut donner lieu une interprtation errone. Sa signification peut ne pas tre la mme pour tout le monde A force dutiliser un indicateur, on peut finir par le confondre avec le phnomne concern. Si au lieu de rassembler les moyens, de mettre en uvre les pratiques et de sorganiser pour atteindre lobjectif initialement fix pour la dmarche, on ne fait quessayer datteindre une certaine valeur, alors lindicateur perd de sa signification ; il perd sa validit dindicateur.

5) Quest-ce quun bon indicateur ?


Les rsultats observs doivent tre restitus de faon claire
La clart de la prsentation des rsultats des mesures est dterminante pour lutilit et la prennit de la dmarche. Des graphiques montrant lvolution des mesures en fonction du temps, avec des ractualisations frquentes, permettent lquipe en charge dun domaine de disposer dlments de suivi clairs et simples. Le choix du mode de prsentation doit tre adapt laudience vise. La clart des rsultats dpend en grande partie de la clart des objectifs pralablement dtermins et de lengagement des acteurs rendre compte de la ralit de la situation observe.

En conclusion...
Tout projet reposant sur lutilisation dindicateurs suppose au minimum:
Une rflexion initiale relative aux objectifs et au contexte dutilisation. Une rflexion de nature statistique et, parfois donc, un investissement en formation. Une stratgie de communication interne et externe. Une cohrence et une articulation avec les ensembles statistiques institutionnels.