Vous êtes sur la page 1sur 23

Martial DELIGNON

Vice Prsident Evaluation Qualit, Universit Nancy 2


Responsable du CRAQ, PRES Universit de Lorraine
Besanon, vendredi 3 dcembre 2010

De lvaluation laction
ou

Evaluation des formations et des


Comment intgrer
enseignements pour amliorer de la
qualitqualit
et les performances
la dmarche
luniversit

Plan de lexpos

Introduction : lUniversit de Lorraine

1. Le contexte international et national : le processus de


Bologne

2. La dmarche qualit : de quoi parlons nous ?

3. Le pilotage du processus de formation par la dmarche


damlioration continue de la qualit
Conclusion : paralllisme prudent du Secondaire / Suprieur
Quelques recommandations

UDL
Projet de cration dune universit lorraine par fusion
des quatre tablissements actuels : UPVM, UHP, INPL,
N2
UDL =

54 000 tudiants
3 000 BIATOS
3 700 Enseignants Chercheurs et enseignants
82 laboratoires
8 Ecoles doctorales
35 UFR et Instituts
10 coles dingnieurs

La qualit, un axe transversal du contrat 2009 2012


Un Centre de Ressources en Assurance Qualit (CRAQ)

Le processus de Bologne
Le processus de Bologne (29 pays en juin 1999, 47 en
2010) est un engagement construire un espace europen de
l'enseignement suprieur (EEES).
Objectifs : favoriser
- la reconnaissance internationale des
diplmes et
- la mobilit des tudiants et des enseignants
Non pas un systme universitaire unique, mais placer les
systmes
nationaux diversifis dans un cadre commun fond sur
trois points clefs:
LMD : Une organisation des tudes en trois cycles : Licence /
Master /
Doctorat
ECTS : Des outils de reconnaissance acadmiques et
professionnels :
Crdits (European Credit Transfert System),
Supplment au
diplme, Cadre de certification.
ESG : Mise en place dun systme dassurance qualit avec un

La philosophie du processus de Bologne

- Centrer sur ltudiant : axer les formations sur ltudiant et non plus
sur lenseignant (on passe dune logique dapprentissage de savoirs, de transmission
de connaissances une logique dacquisition de comptences, learning outcomes et
dautoformation).

- Employabilit pour chacun des cycles L, M, D = une proccupation


majeure : lisibilit sur le march du travail (supplment au diplme), orientation et
insertion professionnelle sont de nouvelles missions pour les tablissements, partenariat
avec lenvironnement conomique

- Autonomie : les universits sont les acteurs principaux do la


ncessit davoir des tablissements plus autonomes (et donc de nouveaux
modes de management : autonomie = responsabilit = valuation sur lusage des fonds et la
ralisation des objectifs de service public).

- Qualit et valuation : validation par des instances indpendantes


de la qualit des formations pour favoriser la reconnaissance sur le march du
travail et la mobilit internationale des tudiants (confiance rciproque)

Mise en place de rformes dans la plupart des 47 pays signataires


Vers un nouveau paysage de lenseignement suprieur dans toute
lEurope

Consquences sur le contexte national

Passer dune
culture de moyens
une culture de
projets et de
rsultats
2001 - 2006

Rforme de
loffre de
formation
en trois
cycles

Amliorer la qualit
du service public,
dcloisonner les
administrations et
rduire ses cots

Loi sur lorganisation


de la recherche et sa
valorisation +
cration de lAERES

2007

RGPP

LOLF
PRES RTRA 2006
LMD 2002

Autonomie
des oprateurs
et nouvelle
gouvernance
RCE

LRU 2007

Universit

European Standards and Guidelines - ESG


ESG : Les ESG sont les rfrentiels adopts par les ministres de
lespace europen, pour les institutions denseignement suprieur et
les instances qui les valuent et/ou les accrditent.
Elles sont de trois types dexigences :

-Les ESG pour le management interne de la qualit des


institutions denseignement suprieur

(les exigences vis--vis

des tablissements - oprateurs)

- Les ESG pour le management externe de la qualit de


lenseignement suprieur

(modalits dvaluation par des agences

dvaluation)

-Les ESG pour le management externe de la qualit des


agences

(modalits dinscription au registre europen des agences :


indpendance, statut officiel, )
Les ESG = un cadre de rfrences donc impratif mais aussi un espace de
libert ;
Les ESG disent ce quil faut faire mais laissent les acteurs dcider de

Les ESG dans nos tablissements


Les ESG pour lassurance qualit interne des institutions denseignement
suprieur explicitent les attentes dans les domaines suivants :

Politique et procdures pour le management de la qualit : mettre en uvre une politique,

une stratgie et des procdures visant lamlioration continue de la qualit en associant les parties
prenantes = CEFE + Charte qualit

Approbation, examen et rvision priodique des programmes et des diplmes : disposer

de mcanismes officiels pour (procdures dhabilitation en interne et externe) = Conseils + DGESIP

Evaluation des tudiants : MCC, critres, rglements et procdures publis et appliqus de

manire systmatique et constante = Charte et rglement des examens

Management de la qualit du corps enseignant : avoir les moyens de sassurer de la qualit et

de la comptence des enseignants, dvelopper et commenter dans les rapports dvaluation = CNU
+ Commission de spcialistes + CSE - BIP

Outils pdagogiques et soutien aux tudiants : sassurer que les ressources affectes aux
outils pdagogiques et au soutien des tudiants sont adapts chaque programme = Enqutes de
satisfaction + fiches qualit

Systmes dinformation : collecter, analyser et utiliser les informations ncessaires au pilotage

efficace des formations = statistiques socio-dmo + indicateurs de russite et dinsertion prof.

Information du public : rendre publiques des informations jour, impartiales et objectives,

quantitatives et qualitatives, sur les programmes et les diplmes. = internet observatoire BAIP

La dmarche qualit

comme processus damlioration continue

La dmarche qualit : de quoi parlons-nous ?


Elle est souvent synonyme de bureaucratie, technocratie, paperasses,
contraintes cest un des obstacles majeurs sa mise en oeuvre
Le vocabulaire est souvent hermtique pour les non spcialistes :

autovaluation, certification, indicateurs, assurance qualit, normes


ISO 9000, 9001, 14 000, rfrentiels, ESG, cartographie des risques, fiabilisation
des donnes, analyse des processus, procdures, manuel qualit, ranking,
benchmarking, amlioration continue,

Dmystification de la dmarche qualit


En rsum, cest :

Lanalyse (autovaluation ou valuation externe) de nos modes de


fonctionnement (nos processus) pour en amliorer progressivement les
rsultats (performances) par des amliorations (plans dactions)
Dmarche pragmatique guide par une mthodologie simple
11

Mthode PDCA ou la roue de Deming

ACT = dcisions de
nouvelles actions pour
amliorer et corriger
ventuellement = plan
dactions

CHECK = mesurer, vrifier

les rsultats, contrler que le


travail correspond ce qui tait
attendu ; comprendre les carts
par rapport la situation prvue =
autovaluation, production
dindicateurs et analyse.

PLAN = planifier ce que lon

va faire (cahier des charges) ;


fixer les objectifs et mobiliser les
moyens ; mise en mode projet.

DO = Faire, produire, mise

en uvre et pilotage du projet

12

Les formes et domaines de lvaluation


Evaluation externe : intervention dune agence dvaluation externe ( distinguer de la DGES)
-

AERES CTI (Agence dEvaluation de la Recherche et de lEnseignement Suprieur


Commission des Titres dIngnieur)
IGAENR (Inspection Gnrale de lAdministration de lEducation Nationale et de la
Recherche)
Organismes de certification (type AFNOR, si procdure de certification)

http://www.aeres-evaluation.fr/

Evaluation interne : autovaluation

chaque tablissement construit son propre dispositif dvaluation : indicateurs, tableaux de


bord, audit, analyse de processus

Lvaluation sexerce

- par rapport des normes ou des rfrentiels dfinis de manire externe (normes ISO,
standards europens de lENQA, Qualicert pour les IAE, ) ou
- par rfrence des objectifs fixs par ltablissement (politique dtablissement, CQD)

Les domaines concerns : la formation, la recherche, le pilotage

(Gouvernance systme organisationnel, RH, Finance, Immobilier, SI, SCD, )

Dispositif institutionnel dvaluation franais


Evaluation par les pairs et habilitation par le ministre tous les 5 ans

AERES + CTI
-- Formation
-- Recherche
-- Pilotage

- Autovaluation des
formations, des quipes de
recherche et de ltablissement
- Bilan du contrat
- Indicateurs de performance
- Projet stratgique

DGESIP

Habilitations des diplmes


Dotation (modles SYMPA)
Contrat quinquennal

Etablissement

Evaluation des Enseignants


Chercheurs tous les 4 ans par le CNU

Diverses modalits dapplication de la


dmarche qualit
La dmarche qualit se dcline sous diffrentes formes selon les
secteurs dactivits :
-

Dmarche de certification en rfrence des normes ou des


rfrentiels : labellisation, accrditation pour certains laboratoires, centre de
formation continue, instituts ou coles ; audit

Analyse de processus : topographie de processus, cartographie des risques,

Mise en mode projet : diagramme de Gantt, comitologie, plan dactions, lettres

Construction de tableau de bord : suivi de ralisation des objectifs par

Mise en assurance qualit du processus de formation

description de procdures

de mission

rapport des cibles, fiabilisation et partage de donnes, construction dun SI

Retour dexpriences
La dmarche qualit doit sadapter son objet et aux
valeurs de ltablissement :
-

Promouvoir la culture qualit en rapport avec les


objectifs de ltablissement : forger un consensus autour des

missions de ltablissement et se concentrer sur la capacit au changement


(favoriser linnovation) ; plusieurs cultures selon les pays et les tablissements :
excellence scientifique (ranking) ou qualit de services par exemple (PDCA)

Evaluer par rapport aux objectifs de ltablissement

Analyser limpact des valuations (cots / avantages,

Garantir le suivi du rsultat :

(pas
dans labsolu) en garantissant lindpendance des valuateurs et en se mfiant
des indicateurs quantitatifs simplistes (complexit des processus de formation)

complexit, frquence, .), viter la bureaucratisation des procdures


(application stricte de normes)
processus damlioration continue, il
ne suffit pas dvaluer mais boucler la roue de Deming

La dmarche damlioration continue

Lvaluation

au service du pilotage

du processus de formation
17

Le rle de la CEFE : dfinir les principes


communs
Mobiliser et associer toutes les parties prenantes au sein dune
Commission dEvaluation des Formations et des
Enseignements
Missions et composition de la CEFE
- elle est compose dtudiants, denseignants et de Biatos (tous
dsigns par le CA) + quelques experts et les services en charge de
lvaluation (Observatoire, Cellule dAide au Pilotage)
- elle intervient en amont et en appui la dmarche du VP Evaluation
Qualit (rle de rflexion, accompagnement, validation des propositions)
- elle labore une charte de lvaluation (valide par les conseils) : dfinir
les valeurs et principes qui balisent les pratiques de lvaluation et de la
dmarche qualit
charte de lvaluation

18

Les axes stratgiques en formation pour 2011


La dmarche qualit est au service des objectifs et dune stratgie :

Amliorer la qualit de service : accueil public (charte Marianne)


Augmenter le taux de russite en licence
Crer des diplmes conjoints et doubles diplmes
Professionnaliser nos tudiants (stage en licence et suivi du stage en master,
certifications langues et C2i, BAIP)

Accrotre la part des ressources propres (FTLV, TA, Contrats PS)

19

Le systme de management de la qualit


dans le processus de formation
Commission CEFE X + Charte X

Rapports de lAERES X

Tableaux de bord formation L X

Auto valuation

Population et
Indicateurs X
Conditions dtudes
M2 09

M2 CA N2 07

Commission
consultative

Evaluation des
formations et
des enseignements
L1 AES EFE L1 10

Conseil dUFR
X

Contrats
dobjectifs
et de moyens
X

MD

Insertion 6 N2CA
Professionnelle X
Enqute dvaluation
du processus de formation
par les enseignants X Y
Enqute dvaluation
du processus de formation
par les BIATOS

Fiches qualit XY

dont kit qualit :

CEVU X
CA
X

- Respect charte qualit


- Rfrentiel X
- Runion
commission consultative
- Transfert fiche qualit
- Bonus Qualit Formation
-Plan Russite en licence
- Appui logistique de la
CAP, du SEIP et du CRAQ

20

Identit de problmatique : Secondaire versus


Suprieur
Beaucoup de convergences entre le secondaire et le
suprieur
Mesure de la performance par des indicateurs de
rsultats des lyces (pour rendre compte des rsultats du service
public et alimenter la rflexion sur lefficacit)

Taux de russite au bac


Taux daccs de seconde et de premire au bac
Proportion de bacheliers parmi les sortants
Puis pondration de ces rsultats pour mesurer la
valeur ajoute par le lyce (en mesurant le niveau initial des
lves et leurs caractristiques sociodmographiques)

Dispositifs de soutien la qualit de la formation


des lves (accompagnement individualis, travaux sur projet,
groupes de soutien, conseils de classe, discrimination positive, )
21

Conclusion :
Quelques rflexions sur notre dmarche
Privilgier les dmarches incitatives et lappropriation progressive.
Favoriser le partage des bonnes pratiques en sappuyant sur lexistant et
les initiatives locales.
Etre prestataires de services et doutils au service des acteurs et non
donneurs dordres.
Eviter les dmarches centralisatrices et autoritaires.
Rflchir aux effets pervers des systmes de notation (Ranking)
Prfrez un langage qui encourage et dynamise par rapport des termes
normatifs.

Culture organisationnelle partage et non culture du rfrentiel !


22

Eviter que la recherche de la conformit ne


remplace la rflexion sur la pertinence
J. Lanares VR Universit. de Lausanne

FIN