Martial DELIGNON Vice Prsident Evaluation Qualit, Universit Nancy 2 Responsable du CRAQ, PRES Universit de Lorraine Besanon, vendredi

3 dcembre 2010

De lvaluation laction
ou

Evaluation des formations et des Comment intgrer enseignements pour amliorer de la qualit et les performances la dmarche qualit
luniversit

Plan de lexpos

Introduction : lUniversit de Lorraine

1. Le contexte international et national : le processus de Bologne

2. La dmarche qualit : de quoi parlons nous ?

3. Le pilotage du processus de formation par la dmarche damlioration continue de la qualit

Conclusion : paralllisme prudent du Secondaire / Suprieur Quelques recommandations

UDL
Projet de cration dune universit lorraine par fusion des quatre tablissements actuels : UPVM, UHP, INPL, N2 UDL = 54 000 tudiants 3 000 BIATOS 3 700 Enseignants Chercheurs et enseignants 82 laboratoires 8 Ecoles doctorales 35 UFR et Instituts 10 coles dingnieurs

La qualit, un axe transversal du contrat 2009 2012 Un Centre de Ressources en Assurance Qualit (CRAQ)

Le processus de Bologne
Le processus de Bologne (29 pays en juin 1999, 47 en 2010) est un
engagement construire un espace europen de l'enseignement suprieur (EEES). Objectifs : favoriser - la reconnaissance internationale des diplmes et - la mobilit des tudiants et des enseignants Non pas un systme universitaire unique, mais placer les systmes nationaux diversifis dans un cadre commun fond sur trois points clefs :

LMD : Une organisation des tudes en trois cycles : Licence / Master / Doctorat

ECTS : Des outils de reconnaissance acadmiques et professionnels : Crdits (European Credit Transfert System), Supplment au diplme, Cadre de certification.
ESG : Mise en place dun systme dassurance qualit avec un rfrentiel commun : les European Standards and Guidelines

La philosophie du processus de Bologne

- Centrer sur ltudiant : axer les formations sur ltudiant et non plus sur lenseignant (on passe dune logique dapprentissage de savoirs, de transmission de connaissances
une logique dacquisition de comptences, learning outcomes et dautoformation).

- Employabilit pour chacun des cycles L, M, D = une proccupation majeure :

lisibilit sur le march du travail (supplment au diplme), orientation et insertion professionnelle sont de nouvelles missions pour les tablissements, partenariat avec lenvironnement conomique

- Autonomie : les universits sont les acteurs principaux do la ncessit davoir des tablissements plus autonomes (et donc de nouveaux modes de management :
autonomie = responsabilit = valuation sur lusage des fonds et la ralisation des objectifs de service public).

- Qualit et valuation : validation par des instances indpendantes de la qualit des formations pour favoriser la reconnaissance sur le march du travail et la mobilit
internationale des tudiants (confiance rciproque)

Mise en place de rformes dans la plupart des 47 pays signataires Vers un nouveau paysage de lenseignement suprieur dans toute lEurope

Consquences sur le contexte national

Passer dune culture de moyens une culture de projets et de rsultats

2001 - 2006

Loi sur lorganisation de la recherche et sa valorisation + cration de lAERES

Amliorer la qualit du service public, dcloisonner les administrations et rduire ses cots
2007

Rforme de loffre de formation en trois cycles

LOLF
PRES RTRA 2006 LMD 2002

RGPP
LRU 2007

Autonomie des oprateurs et nouvelle gouvernance RCE

Universit

European Standards and Guidelines - ESG

ESG : Les ESG sont les rfrentiels adopts par les ministres de lespace europen, pour les institutions denseignement suprieur et les instances qui les valuent et/ou les accrditent. Elles sont de trois types dexigences :

- Les ESG pour le management interne de la qualit des institutions

denseignement suprieur
oprateurs) (les exigences vis--vis des tablissements -

- Les ESG pour le management externe de la qualit de

lenseignement suprieur
(modalits dvaluation par des agences dvaluation)

- Les ESG pour le management externe de la qualit des agences

(modalits dinscription au registre europen des agences : indpendance, statut officiel, ) Les ESG = un cadre de rfrences donc impratif mais aussi un espace de libert ; Les ESG disent ce quil faut faire mais laissent les acteurs dcider de comment faire en fonction des contextes.

Les ESG dans nos tablissements

Les ESG pour lassurance qualit interne des institutions denseignement suprieur explicitent les attentes dans les domaines suivants :

Politique et procdures pour le management de la qualit : mettre en uvre une politique,

une stratgie et des procdures visant lamlioration continue de la qualit en associant les parties prenantes = CEFE + Charte qualit

Approbation, examen et rvision priodique des programmes et des diplmes : disposer de mcanismes officiels pour (procdures dhabilitation en interne et externe) = Conseils + DGESIP Evaluation des tudiants : MCC, critres, rglements et procdures publis et appliqus de
manire systmatique et constante = Charte et rglement des examens

Management de la qualit du corps enseignant : avoir les moyens de sassurer de la qualit et

de la comptence des enseignants, dvelopper et commenter dans les rapports dvaluation = CNU + Commission de spcialistes + CSE - BIP

Outils pdagogiques et soutien aux tudiants : sassurer que les ressources affectes aux
outils pdagogiques et au soutien des tudiants sont adapts chaque programme = Enqutes de satisfaction + fiches qualit

Systmes dinformation : collecter, analyser et utiliser les informations ncessaires au pilotage efficace des formations = statistiques socio-dmo + indicateurs de russite et dinsertion prof . Information du public : rendre publiques des informations jour, impartiales et objectives, quantitatives et qualitatives, sur les programmes et les diplmes. = internet observatoire BAIP

La dmarche qualit

comme processus damlioration continue

La dmarche qualit : de quoi parlons-nous ?

Elle est souvent synonyme de bureaucratie, technocratie, paperasses, contraintes cest un des obstacles majeurs sa mise en oeuvre Le vocabulaire est souvent hermtique pour les non spcialistes :
autovaluation, certification, indicateurs, assurance qualit, normes ISO 9000, 9001, 14 000, rfrentiels, ESG, cartographie des risques, fiabilisation des donnes, analyse des processus, procdures, manuel qualit, ranking, benchmarking, amlioration continue,

Dmystification de la dmarche qualit

En rsum, cest :

Lanalyse (autovaluation ou valuation externe) de nos modes de fonctionnement (nos processus) pour en amliorer progressivement les rsultats (performances) par des amliorations (plans dactions) Dmarche pragmatique guide par une mthodologie simple
11

Mthode PDCA ou la roue de Deming

ACT = dcisions de
nouvelles actions pour amliorer et corriger ventuellement = plan dactions

PLAN

= planifier ce que lon va faire (cahier des charges) ; fixer les objectifs et mobiliser les moyens ; mise en mode projet.

CHECK = mesurer, vrifier les rsultats, contrler que le travail correspond ce qui tait attendu ; comprendre les carts par rapport la situation prvue = autovaluation, production dindicateurs et analyse.

DO = Faire, produire, mise

en uvre et pilotage du projet

12

Les formes et domaines de lvaluation

Evaluation externe : intervention dune agence dvaluation externe ( distinguer de la DGES)
AERES CTI (Agence dEvaluation de la Recherche et de lEnseignement Suprieur Commission des Titres dIngnieur) IGAENR (Inspection Gnrale de lAdministration de lEducation Nationale et de la Recherche) Organismes de certification (type AFNOR, si procdure de certification)

http://www.aeres-evaluation.fr/

Evaluation interne : autovaluation

chaque tablissement construit son propre dispositif dvaluation : indicateurs, tableaux de bord, audit, analyse de processus

Lvaluation sexerce
- par rapport des normes ou des rfrentiels dfinis de manire externe (normes ISO, standards europens de lENQA, Qualicert pour les IAE, ) ou - par rfrence des objectifs fixs par ltablissement (politique dtablissement, CQD)

Les domaines concerns : la formation, la recherche, le pilotage

(Gouvernance systme organisationnel, RH, Finance, Immobilier, SI, SCD, )

Dispositif institutionnel dvaluation franais

Evaluation par les pairs et habilitation par le ministre tous les 5 ans

AERES + CTI -- Formation -- Recherche -- Pilotage

DGESIP

Habilitations des diplmes

- Autovaluation des formations, des quipes de recherche et de ltablissement - Bilan du contrat - Indicateurs de performance - Projet stratgique

Dotation (modles SYMPA) Contrat quinquennal

Etablissement

Evaluation des Enseignants Chercheurs tous les 4 ans par le CNU

Diverses modalits dapplication de la dmarche qualit

La dmarche qualit se dcline sous diffrentes formes selon les secteurs dactivits : Dmarche de certification en rfrence des normes ou des rfrentiels : labellisation, accrditation pour certains laboratoires, centre de
formation continue, instituts ou coles ; audit

Analyse de processus : topographie de processus, cartographie des risques,

description de procdures

Mise en mode projet : diagramme de Gantt, comitologie, plan dactions, lettres

de mission

Construction de tableau de bord : suivi de ralisation des objectifs par

rapport des cibles, fiabilisation et partage de donnes, construction dun SI

Mise en assurance qualit du processus de formation

Retour dexpriences
La dmarche qualit doit sadapter son objet et aux valeurs de ltablissement :
Promouvoir la culture qualit en rapport avec les objectifs de ltablissement : forger un consensus autour des missions de ltablissement et se
concentrer sur la capacit au changement (favoriser linnovation) ; plusieurs cultures selon les pays et les tablissements : excellence scientifique (ranking) ou qualit de services par exemple (PDCA)

Evaluer par rapport aux objectifs de ltablissement (pas dans

labsolu) en garantissant lindpendance des valuateurs et en se mfiant des indicateurs quantitatifs simplistes (complexit des processus de formation)

Analyser limpact des valuations (cots / avantages, complexit,

frquence, .), viter la bureaucratisation des procdures (application stricte de normes)

Garantir le suivi du rsultat : processus damlioration continue, il ne suffit pas

dvaluer mais boucler la roue de Deming

La dmarche damlioration continue

Lvaluation

au service du pilotage

du processus de formation
17

Le rle de la CEFE : dfinir les principes communs

Mobiliser et associer toutes les parties prenantes au sein dune Commission dEvaluation des Formations et des Enseignements
Missions et composition de la CEFE - elle est compose dtudiants, denseignants et de Biatos (tous dsigns par le CA) + quelques experts et les services en charge de lvaluation (Observatoire, Cellule dAide au Pilotage) - elle intervient en amont et en appui la dmarche du VP Evaluation Qualit (rle de rflexion, accompagnement, validation des propositions) - elle labore une charte de lvaluation (valide par les conseils) : dfinir les valeurs et principes qui balisent les pratiques de lvaluation et de la dmarche qualit charte de lvaluation

18

Les axes stratgiques en formation pour 2011

La dmarche qualit est au service des objectifs et dune stratgie :

Amliorer la qualit de service : accueil public (charte Marianne) Augmenter le taux de russite en licence Crer des diplmes conjoints et doubles diplmes Professionnaliser nos tudiants (stage en licence et suivi du stage en master,
certifications langues et C2i, BAIP)

Accrotre la part des ressources propres (FTLV, TA, Contrats PS)

19

Le systme de management de la qualit dans le processus de formation

Commission CEFE X + Charte X Rapports de lAERES X Auto valuation

Tableaux de bord formation L X

Population et Indicateurs X Conditions dtudes
M2 09 M2 CA N2 07

Commission consultative

Conseil dUFR
X

Evaluation des formations et des enseignements

L1 AES EFE L1 10 MD

Insertion 6 N2CA Professionnelle X

Enqute dvaluation du processus de formation par les enseignants X Y Enqute dvaluation du processus de formation par les BIATOS

Fiches qualit XY

Contrats dobjectifs et de moyens X

dont kit qualit :
- Respect charte qualit - Rfrentiel X - Runion commission consultative - Transfert fiche qualit - Bonus Qualit Formation -Plan Russite en licence - Appui logistique de la CAP, du SEIP et du CRAQ

CEVU X CA X

20

Identit de problmatique : Secondaire versus Suprieur

Beaucoup de convergences entre le secondaire et le suprieur Mesure de la performance par des indicateurs de rsultats des lyces (pour rendre compte des rsultats du service public et alimenter la
rflexion sur lefficacit)

Taux de russite au bac Taux daccs de seconde et de premire au bac Proportion de bacheliers parmi les sortants Puis pondration de ces rsultats pour mesurer la valeur ajoute par le lyce (en mesurant le niveau initial des lves et leurs caractristiques sociodmographiques)

Dispositifs de soutien la qualit de la formation des lves (accompagnement individualis, travaux sur projet, groupes de
soutien, conseils de classe, discrimination positive, )

21

Conclusion : Quelques rflexions sur notre dmarche

Privilgier les dmarches incitatives et lappropriation progressive. Favoriser le partage des bonnes pratiques en sappuyant sur lexistant et les initiatives locales.

Etre prestataires de services et doutils au service des acteurs et non donneurs dordres.
Eviter les dmarches centralisatrices et autoritaires.

Rflchir aux effets pervers des systmes de notation (Ranking)

Prfrez un langage qui encourage et dynamise par rapport des termes normatifs.

Culture organisationnelle partage et non culture du rfrentiel !

22

 Eviter que la recherche de la conformit ne remplace la rflexion sur la pertinence J. Lanares VR Universit. de Lausanne

FIN