Vous êtes sur la page 1sur 32

l l l l

l l l l Veille & Analyses RegaRds cRoisés suR la qualité en éducation et formation

Veille & Analyses

RegaRds cRoisés suR la qualité en éducation et formation

Compte-rendu du Séminaire du 22 & 23 novembre 2011 Service Veille & Analyses AQÉ Institut Français de l’Education - ENS – Lyon

du 22 & 23 novembre 2011 Service Veille & Analyses AQÉ Institut Français de l’Education -

Sommaire

l

page 3 : Introduction

l

page 4 : II - Les attentes des partenaires de l’éducation en matière

de qualité.

l

page 4 : A) Conférence de Marc Demeuse

l

page 6 : B) Contrepoints (K.Rodet, B. Meyrand & F.Mongenot)

l

page 8 : III - La qualité dans la formation des adultes

l

page 8 : A) Conférence de Jean Clenet

l

page 9 : B) Contrepoints (S. Safi, O.Grange)

l

page 9 : IV - La qualité dans les organisations éducatives

l

page 9 : A) Conférence de Alain Bouvier

l

page 11 : B) Contrepoint (L. Evans)

l

page 12 : V - L’approche qualité dans l’enseignement superieur

l

page 12 : A) Conférence de Andrée Sursock

l

page 14 : B) Contrepoint (L. Evans)

l

page 15 : VI - La pedagogie universitaire

l

page 15 : A) Conférence de Jacques Barrier : « La démarche

qualité de la CIDMEF »

l page 18 : B) Conférence de Vincent Wertz : Une pédagogie active

pour renforcer la qualité : expérience de l’École polytechnique de

Louvain (EPL)

l page 21 : VII - Savoir, savoir-faire, compétence : que peut-on

attendre d’un dispositif éducatif de qualité ?

l

page 21 : A) Conférence de Xavier Roegiers

l

page 24 : B) Contrepoint (A.Grimand)

l

page 25 : VIII - Conclusion

l

page 27 : IX - Bibliographie

: VIII - Conclusion l page 27 : IX - Bibliographie 2/32 l l l l

2/32

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

i - introduction

Par olivier rey, Responsable du Service Veille et Analyse, IFÉ

Matthis Behrens devait initialement être des nôtres avant de devoir se désister du fait d’obligations liées à sa fonc- tion institutionnelle de directeur de l’IRDP. Je voudrais quand même lui faire une place dans ces journées en citant ce qu’il écrivait en introduction de l’ouvrage sur la qualité en éducation, qu’il a dirigé en 2007.

« Le terme de qualité revêt des significations tout à fait différentes en fonction des intérêts des acteurs concer- nés. Il désigne à la fois le produit ou les services ainsi que le fonctionnement d’une institution, dans un contexte sociétal », écrivait-il. « S’agit-il par exemple de la qualité d’un service ou d’une prestation ou de la qualité de l’insti- tution ? Existe-t-il une qualité intrinsèque à une prestation donnée ? ».

Dans le monde de l’éducation, la qualité a été longtemps définie par les moyens que l’on donnait aux dispositifs éducatifs. Moyens en termes de ressources pédago- giques, mais aussi en terme de temps d’enseignement ou de formation, de niveau de formation des enseignants, etc.

Dans d’autres domaines professionnels, les normes de qualité se déclinent également en terme de procédures et de moyens mis en œuvre, même s’il est souvent prévu une phase d’évaluation a posteriori, toujours délicate à apprécier.

Dans tous les cas, l’idée que l’on ne juge de la qualité de l’éducation qu’à l’aune d’une obligation de moyens reste frustrante et ne satisfait pas grand monde, à commencer par les partenaires de l’éducation qui sont tous, à un titre ou un autre, des commanditaires de prestations éduca- tives.

Depuis une quinzaine d’années, en revanche, la tendance dominante est de passer d’une régulation par les moyens

à une régulation par les résultats, d’une appréciation par les inputs à une appréciation par les outputs.

La qualité d’une séquence de formation, d’un dispositif d’éducation, d’un établissement voire d’un système édu- catif s’apprécierait en fonction des performances de ceux qu’ils forment.

En clair, la qualité d’un établissement voire d’un ensei-

gnant se jugerait à l’aune des performances de ses élèves

à un examen ou une lors d’autres procédures d’évalua- tion comparables.

Pourtant, là aussi, de nombreux experts et acteurs de l’éducation dénoncent le simplisme et la grossièreté des indicateurs utilisés qui, en outre, ne permettent pas de cor- riger les diagnostics qu’ils permettent parfois de dresser. Évaluer n’est pas nécessairement former.

Dans tous les cas, on voit bien qu’il faudrait passer d’une approche externe de la qualité à une appréciation de ce qui pourrait constituer la qualité au cœur même du proces- sus d’apprentissage et de l’acte professionnel d’éducation.

Vaste défi, car on est ici généralement dans des interac- tions qui se laissent difficilement objectiver dans quelques données quantifiables. Le ministère vient récemment de nous demander de préparer une note sur la créativité et l’innovation dans l’éducation. C’est assurément de qualité qu’il s’agit, mais combien éloignée d’une approche qu’on pourrait résumer en quelques consignes !

C’est une autre façon de dire qu’on ne saurait sans doute approcher la qualité en éducation et formation sans l’enga- gement des professionnels de l’éducation et de la forma- tion eux-mêmes, qui sont sans doute les seuls à pouvoir éventuellement, mais ce n’est pas simple, mettre en mots ce qui constitue la richesse d’une action de formation.

C’est ce à quoi ces journées entendent modestement contribuer en confrontant quelques réflexions de cher- cheurs, d’acteurs et de praticiens de l’éducation à tous les niveaux pour voir, au delà de nos univers évidemment différents s’il y a quand même quelques lignes de force communes qui pourraient se dégager en terme de qua- lité, avec la conviction que nous avons encore beaucoup à apprendre en la matière.

Je vous remercie encore une fois d’avoir accepté de faire ce bout de chemin avec nous.

Nous allons maintenant avoir le plaisir d’accueillir Marc Demeuse, qui ouvre la première partie de ces rencontres, en introduisant le thème des attentes des partenaires de l’éducation en matière de qualité.

Il nous a semblé important d’avoir des témoignages des collectivités locales et du monde socio-économique, qui attendent un certain nombre de choses de l’éducation, mais aussi auparavant d’écouter un chercheur, qui est directement impliqué depuis de nombreuses années dans de nombreux projets avec divers partenaires et qui peut donc avoir un regard théorique et réflexif, sur cette ques- tion de la qualité, avec une solide expérience au niveau local, national et même international.

l l l l

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

3/32

du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité

ii - Les attentes des partenaires de L’éducation en matiÈre de quaLité

A) Conférence de Marc Demeuse

marc demeuse est psychologue et statisticien. Il est professeur à l’université de Mons (Belgique), en faculté de psychologie et des sciences de l’éducation. Direc- teur de l’Institut d’administration scolaire, impliqué dans plusieurs projets et réseaux de chercheurs au niveau européen.

1) QuELQuES ÉLÉmENtS dE dÉFINItIoN

La qualité est aux frontières de plusieurs concepts qu’il convient de distinguer. Le terme « changement » s’entend comme la modification d’une situation initiale ; avec le terme « innovation », la modification introduite comporte des éléments nouveaux ou rend la situation nouvelle ; quand cette modification génère une « amé- lioration », elle implique le changement d’une situation initiale inadéquate dans la perspective d’un modèle at- tendu et l’évaluation des progrès réalisés, et elle s’inscrit dans une logique d’émancipation sociale.

Le terme “évaluation” rapporté à la qualité des dispositifs d’éducation et de formation peut être appréhendé avec la définition fournie par Stufflebeam et ses collègues en 1980, comme un « processus par lequel on délimite, obtient et fournit des informations utiles permettant de juger des décisions possibles ».

Cette évaluation implique à la fois le commanditaire et des intervenants extérieurs dans la définition de l’objet d’évaluation et de ses objectifs, mais aussi dans sa mise en œuvre. Il ne s’agit donc ni d’évaluation complè- tement externe, ni d’évaluation complètement interne, mais d’un dispositif formel mixte et négocié. Elle requiert la délimitation préalable de ce qui constitue son objet, à partir par exemple de la définition proposée par Beckers et al. (2003) :

« Les dispositifs de formation (ou pédagogiques)

consistent le plus souvent en un agencement de res-

), in-

formatives (documents, médias…) et humaines (les for- mateurs, les apprenants…), de méthodes et de procé- dés (des techniques de formation)… le tout étant struc- turé dans le temps selon les options stratégiques […] ».

sources matérielles (locaux, matériel, didactique,

Le concept de dispositif prend aussi le sens proposé par Vanderdorpe (cité par Lenoir et al., 2003, p. 46) « d’un environnement aménagé de manière à offrir à certaines actions ou certains événements des condi- tions de réalisations optimales ».

2) uNE modÉLISatIoN utILE (maIS SImpLIFICatrICE)

Ces éléments de définition permettent d’aborder dans un deuxième temps la question du modèle à construire pour évaluer la qualité d’un dispositif. L’intérêt d’une telle modélisation réside dans l’organisation générée à l’aide de critères qui permettent à la fois de simplifier et d’expliquer les données.

Dans cette perspective, le modèle de Bouchard & Plante (2002) constitue une tentative utile. Il est consti- tué de neuf grandes dimensions qui interrogent d’abord les besoins en terme de pertinence et les contraintes en termes d’à-propos, qui s’intéressent à la cohé- rence des liens entre l’organisme, le service et le pro- gramme. L’examen des résultats fait émerger d’autres dimensions que sont l’efficacité au regard des objec- tifs poursuivis, l’efficience des moyens mis en œuvre, la synergie développée entre les intervenants et la durabilité. Les deux dernières dimensions concernent l’impact du dispositif sur l’environnement et la flexibi- lité de l’organisme qui démontre une capacité plus ou moins forte à ajuster le dispositif.

3) uNE dÉmarChE gLobaLE, La rÉFÉrENtIaLISatIoN

S’appuyer sur une telle modélisation permet de dispo- ser d’un canevas formel pour évaluer la qualité, mais une démarche qualité rationnelle et construite ne peut faire l’économie d’une appréhension plus globale, ni en particulier du recours à la référentialisation, comme le montrent les travaux de Figari & Tourmen (2006). Évaluer, ce n’est pas uniquement mesurer, c’est aussi (et surtout) définir l’objet à évaluer, le situer dans un contexte et en repérer les acteurs, en fixer les réfé- rents, élaborer des critères et des indicateurs d’éva- luation, renseigner les indicateurs avec les données correspondantes et enfin interpréter et restituer les résultats. Dans cette démarche, la construction d’un référent, comme un ensemble de repères permettant de mettre en perspective ce qui est fait par l’école avec ce qui devrait être fait et ce qui est prétendument fait, en sollicitant des sources externes telles que les lois et décrets, des sources internes telles que les projets et des sources expertes assimilées aux « bonnes pra- tiques ».

sources expertes assimilées aux « bonnes pra- tiques ». 4/32 l l l l Compte-rendu du

4/32

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

L’évaluation doit permettre de dépasser le constat et d’aller au diagnostic : il s’agit d’aller plus loin que la description d’un problème et de ses causes en identifiant d’une part les exigences et les objec- tifs par rapport auxquels on évalue et d’autre part les indicateurs qui témoignent de la réussite ou de la non-réussite : le référentiel ne préexiste jamais complètement, certains éléments sont propres à la situation. Le diagnostic, orienté vers l’action, doit ensuite permettre de faire évoluer le système.

4) La pLaCE dES ChErChEurS Et dES CommaNdItaIrES

L’articulation entre les commanditaires (dans le domaine de l’éducation) et les chercheurs n’a rien d’évident. En Belgique francophone, les demandes exprimées par les commanditaires ont évolué pour aller plus explicitement vers une aide à la décision. Autrement dit, on est passé d’un questionnement descriptif (comment ça marche et pourquoi ?), à un questionnement régulateur (comment faire pour que ça marche ?), à une approche plus prospective (comment faire pour que ça marche mieux ?).

5) QuELQuES ILLuStratIoNS à travErS uN parCourS pErSoNNEL

Cette analyse s’appuie sur une expérience de plus de 20 ans, en Belgique et à l’international. L’auteur évoque ainsi l’évolution des demandes et des tra- vaux auxquels il a pu participer.

Au début des années 1990, c’est principalement l’approche descriptive qui était privilégiée, comme dans le cas de l’évaluation de la qualité de l’ensei- gnement en sciences en Communauté française de Belgique. Il s’agissait alors surtout d’analyser des données à l’issue d’enquêtes et de les interpréter [1990] sans pour autant observer un véritable im- pact sur le système, ni même sur la manière dont il était pensé.

C’est peut-être avec l’enquête IEA Reading Litte- racy [1991] qu’un premier changement s’est opéré. Face aux résultats peu satisfaisants et surtout à leur publication, on assiste à une première réaction du politique qui… limite les subsides de recherche dans le domaine de l’évaluation.

Parallèlement à cela, l’auteur participe à une vaste entreprise : exploiter le recensement décennal dans le domaine de l‘éducation et de la formation [1998], mais aucune application pratique n’en tire profit.

À la fin des années 1990, est mise en place, en Bel-

gique francophone, une nouvelle politique d’éduca-

tion prioritaire (discriminations positives) [1998]. Les chercheurs de plusieurs universités sont sollicités pour apporter leur soutien technique sur la base de connaissances scientifiques (encore rares) pour mettre en place de manière pratique ce qui a été décidé au niveau politique. Marc Demeuse consacre

à ces travaux sa thèse de doctorat, en 2002, et

coordonne les actualisations successives de l’indice socio-économique de référence permettant encore aujourd’hui la répartition des moyens aux établisse- ments scolaires.

Au niveau européen, la qualité devient aussi une préoccupation et naissent en 2000 les premiers

« indicateurs européens de la qualité » [2000]. De

nombreux indicateurs n’en sont pas vraiment, mais

il importe alors d’indiquer l’importance de certains

domaines pour lesquels aucune donnée n’est en- core disponible, notamment dans le domaine de l’apprentissage des langues ou, plus largement, de l’apprentissage tout au long de la vie. L’assurance qualité préoccupe d’autres organismes, comme par exemple la Chambre de Commerce et d’Industrie de Paris qui a développe, d’abord pour son usage interne, un test de français langue étrangère (TEF de la CCIP). Il s’agit de concilier de nombreuses pré- occupations : pédagogie, psychométrie, politique, sécurité et… marketing [2000 à ce jour].

Si les indicateurs européens de la qualité étaient nés des préoccupations de la Commission euro- péenne, c’est à l’initiative de chercheurs que les indicateurs européens d’équité [1998-2006] ont vu

le jour. Cette initiative, initiée au sein d’un groupe

ad hoc de l’OCDE, a ensuite pu être « vendue » à la Commission européenne et financée par le pro- gramme Socrates.

A côté de la production d’indicateurs, il importe de

réfléchir à leur utilisation. C’est ce qui a été deman- dé par le Haut Conseil de l’Évaluation de l’École en 2005. Un document intitulé « Lecture des indica- teurs internationaux en France » (HCEE) a permis à l’auteur et à Jean-Richard Cytermann de présenter une synthèse des indicateurs disponibles et de leur (més)usages. Dans la même veine, à la demande du Parlement européen cette fois [2007], un travail critique a été entrepris à partir d’une communication de la Commission européenne au Conseil des Mi- nistres et au Parlement lui-même. Ce texte, portant sur l’équité et l’efficacité des systèmes éducatifs, s’il permettait de mettre en évidence les relations pos- sibles entre ces deux dimensions, n’était pas exempt

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL

Regards croisés sur la qualité en éducation et formation

5/32

du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité

de considérations idéologiquement marquées.

Le développement des demandes liées à la prospec- tive s’accentue à partir des années 2000, sans doute à la suite de la publication des premiers résultats de PISA, bien peu favorables au système éducatif belge francophone. Un « Contrat pour l’Ecole » voit le jour sous la plume du Gouvernement et prévoit explicitement de commander une étude de faisabi- lité relative à création de bassins scolaires [2005]. Celle-ci impliquera de nombreux chercheurs de plu- sieurs universités, mais ne connaîtra pas vraiment de mise en œuvre, notamment parce que l’idée fon- damentale (mise en place de structures spatiales de proximité) contredit l’organisation en piliers verti- caux des réseaux d’enseignement. Une autre étude est aussi commandée à propos de la révision de la politique d’éducation prioritaire. Il s’agit de prépa- rer la mise en œuvre d’un système d’encadrement différencié [2007] qui, lui, verra le jour en 2009. Durant la même période, le projet EuroPEP voit le jour. C’est un projet européen, financé lui-aussi par le programme Socrates. Une douzaine d’équipes de recherche s’attache à analyser les politiques d’édu- cation prioritaire ciblées en Europe. Ces travaux donnent lieu à deux ouvrages en français (Demeuse, Frandji, Greger et Rochex, 2008, 2012) publiés par l’INRP puis l’IFE et de nombreuses autres publica- tions.

D’autres travaux, consistant à soutenir un réseau d’enseignement particulier sont aussi menés depuis 2009, s’intéressant à la fois au pilotage du système à travers la mise au point d’outils d’aide à la décision et à l’amélioration des programmes d’enseignement en sciences. Ces recherches, impliquant un travail « rapproché » avec le système d’enseignement et ses structures, constituent une voie privilégiée per- mettant aux chercheurs de disposer d’informations et de tester directement leurs hypothèses en vraie grandeur, ce que ne permettrait naturellement pas une recherche exclusivement fondamentale. Ces travaux sont facilités par l’implication des chercheurs dans la gestion même du système, par exemple à travers leur participation à la Commission de Pilo- tage du Système éducatif ou à la mise en place de la formation continue des enseignants.

D’autres travaux plus ponctuels, mais très proches de ceux entrepris dans le monde scolaire, viennent compléter les préoccupations en matière de qua- lité. Ainsi, la Police fédérale sollicite-t-elle en 2011 les chercheurs pour procéder à une évaluation des écoles de police.

B) Contrepoints (K.Rodet, B. Meyrand & F.Mongenot)

1) KarEEN rodEt, rESpoNSabLE du SErvICE « StruCturatIoN dE L’oFFrE dE FormatIoN » à La dIrECtIoN FormatIoN CoNtINuE dE La rÉgIoN rhôNE-aLpES

Le rôle de la Région et ses modalités d’action

Le rôle de la Région, sa volonté en matière de forma- tion professionnelle continue et ses attentes sont de plusieurs ordres. Il s’agit :

de structurer une véritable offre de formation en se posant les questions liées aux niveaux de qualification nécessaires et au public visé ;

de proposer une offre qui répond aux besoins identi- fiés des individus et des entreprises, ce qui n’est pas facile ;

de s’assurer de la collaboration des réseaux prescrip- teurs (le pôle emploi par exemple), des organismes de formation et des différents financeurs.

Quelle est l’approche de la Région en matière de qualité ?

Afin de réduire les interruptions des parcours de for- mations et d’améliorer la politique de la Région, il a été décidé d’agir au niveau des actions de formations et de travailler en concertation avec les réseaux en éta- blissant une charte qualité permettant d’élaborer une démarche qualité expérimentée sur trois ans avec la création d’un référentiel.

La Région intègre quatre « axes qualité » dans ses cahiers des charges pour acheter de la formation :

assurer la personnalisation des parcours de formation (personnaliser la formation) ;

accompagner le stagiaire pendant la période de mise en activité ;

ajuster et renforcer les partenariats sur les territoires (travailler notamment avec les prescripteurs et les autres organismes de formation) ;

mettre en place un dispositif d’évaluation (mesure et analyse des résultats et prise en compte pour améliorer l’offre de formation).

Les attentes de la Région au travers du cahier des charges

• Assurer la personnalisation des parcours de forma- tion :

− proposer une formation adaptable à chaque apprenant ;

− mettre en œuvre la formation de façon personnalisée ;

mobiliser les ressources nécessaires à l’atteinte des objectifs de la formation par les stagiaires.

des objectifs de la formation par les stagiaires. 6/32 l l l l Compte-rendu du séminaire

6/32

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

• Accompagner le stagiaire dans la période de mise en activité :

− organiser la recherche des lieux de stage ;

− définir clairement les objectifs de formation de chaque période en entreprise ;

assurer un suivi des différentes périodes de stage.

• Ajuster et renforcer les partenariats sur le territoire :

établir des relations partenariales avec les prescripteurs ;

développer des relations partenariales avec les autres organismes dans l’organisation de forma- tions ;

développer des relations partenariales avec les autres acteurs externes en vue de contribuer à la politique de formation/insertion professionnelle.

• Mettre en place un dispositif d’évaluation :

mesurer et analyser les résultats des actions de for- mation ;

− apprécier l’impact des formations ;

piloter la dynamique d’amélioration en continu.

Ces attentes sont traduites dans les critères de jugement des offres : moyens engagés pour personnaliser les par- cours stagiaires, qualité de l’organisation de l’alternance, existence et efficacité d’un dispositif d’évaluation de la formation, partenariat avec les acteurs économiques, les acteurs de l’orientation, l’appareil de formation.

Problématique pour la Région : veiller à une mise en œuvre de l’offre de formation conforme aux attentes

− déconcentration des services au bénéfice d’un pilo- tage opérationnel ;

réalisation de contrôles (que deviennent les sta- giaires ? emplois ?) ;

réalisation et partage des données de suivi (typologie des publics et bilans des programmations.

2) bErNard mEyraNd, rESpoNSabLE dE L’aC- tIoN ÉduCatIvE pour La maIrIE dE LyoN Et aSSoCIatIoN aNdEv (aSSoCIatIoN NatIoNaLE dES dIrECtEurS d’ÉduCatIoN dES vILLES)

Quel est l’apport des collectivités territoriales dans l’édu- cation et la formation ?

Les systèmes de formation étant décentralisés dans les régions, la diversité d’approches proposées empêche toute comparaison et confrontation des actions mises en place.

La réaction de la mairie à cette problématique est de

proposer une démarche atypique : un « projet éducatif local » dont l’objectif est de former des citoyens dans la société. Malheureusement, nos ambitions sont plus avancées que les outils disponibles. Par ailleurs, les moyens de la ville ne sont pas à la hauteur en terme d’évaluation des actions mises en place.

La mairie souhaite observer les pratiques efficaces dans l’éducation nationale et faire des comparaisons avec les actions de collectivités mais les dispositifs ac- tuels ne permettent pas d’analyse opérationnelle.

La ville de Lyon a, plus que d’autres municipalités, la main sur la distribution des moyens financiers (20 millions d’euros dont 2/3 pour les ressources édu- catives) mais les difficultés résident dans l’ana- lyse des résultats et l’impossibilité d’en mesurer l’efficacité faute de temps, malgré des partenariats forts entre les structures éducatives et les collecti- vités territoriales.

Il manque un point de vue d’ensemble sur les in- dicateurs qui permettrait de mieux normaliser les actions et leur efficacité.

À

d’un

formations.

ce

jour,

véritable

l’ANDEV

milite

pour

la

observatoire

des

actions

création

des

et

3) FrÉdÉrIQuE moNgENot, dIrECtrICE pÉ- dagogIQuE dE L’ÉCoLE roCKEFELLEr

L’École Rockefeller est une école de formation professionnelle pour les carrières sanitaires et so- ciales qui propose des formations en alternance. C’est un centre de formation très ancien, qui a connu beaucoup de transformations et une diver- sification des pistes d’entrée vers les métiers du sanitaire et social.

L’École a des valeurs professionnelles, la dimen- sion humaine est importante, avec la conviction de faire de la qualité mais il est aussi nécessaire de pouvoir vérifier cette conviction. Le résultat des formations est l’obtention de diplômes mais aussi l’implication dans l’emploi. De nombreuses inter- rogations ponctuent donc le développement d’une labellisation qualité pour les formations de l’école :

Il est important de maintenir un projet cohérent :

− capacité à travailler sur la médiation ;

− capacité à analyser les besoins et les résultats ;

capacité à innover dans un contexte de concur- rence entre organismes de formation ;

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

7/32

du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité

capacité à s’adapter aux différents commandi- taires (ministère, région, employeurs, etc.).

Globalement, se pose le problème de l’évalua- tion et de l’écart entre le déclaratif et le résultat constaté. Par ailleurs, quelle est la légitimité de l’évaluateur sur des champs aussi variés (médi- cal, financier, pédagogique, technique, etc.) :

peut-on faire évaluer par une commission d’éva- luation ou bien par un seul évaluateur ?

Quelle exploitation des résultats, comment s’en ré-emparer notamment avec une telle transversa- lité des partenaires et prescripteurs ?

Comment vivre la démarche qualité : la qualité doit être une dynamique interne, comment s’arti- cule t-elle avec une évaluation externe pour ne pas être uniquement sur de la démonstration ?

Enfin, dans le cadre d’une approche par compé- tences : comment garantir une formation de pointe tout en gardant un sens global ?

l l l l

iii - La quaLité dans La formation des aduLtes A) Conférence de Jean Clenet

Jean clenet est professeur en sciences de l’éducation, directeur de l’équipe Trigone-CIREL, université Lille 1.

Jean Clénet n’est pas un spécialiste de la qualité mais il base ses réflexions sur un certain nombre d’expériences. Il se positionne donc davantage comme « citoyen averti » que comme chercheur. Il s’intéresse à la formation des adultes dans le cas de l’alternance dans l’enseignement supérieur. La qualité en formation des adultes s’articule autour des trois « con » auxquels fait référence le titre de son intervention « Concevoir - construire - conduire la qualité en formation des adultes » :

Concevoir : la conception implique les acteurs et les actions pour des finalités à penser, les finalités sont multiples ;

Construire : la construction d’artefacts qui conviennent doit s’appréhender en lien avec le type d’organisation (top-down ? bottom-up ?)

souhaitée. La conception collective est une nécessité pour réussir ;

Conduire : la mobilisation des personnes pour une action collective qui engage tout un cha- cun ;

Il s’agit toujours d’une déconstruction plus ou moins réfléchie dans des contextes particuliers et singuliers.

La qualité est multidimensionnelle et complexe (cf. Aristote), cette complexité la rend ni décou- pable ni prévisible. Complexité ne veut pas dire compliqué : la complication génère de la contre- productivité alors que la complexification relève de l’humain (E. Morin).

Clénet distingue trois types de qualités :

la qualité prescrite : elle est plutôt formelle, prévisible et calculable ;

la qualité représentée : elle est davantage subjective, idéalisée et s’inscrit dans une temporalité ;

la qualité conçue, à concevoir : elle est com- prise, négociée et « convenable » et offre beaucoup d’incertitudes.

La question de la qualité concernant la formation des adultes peut se résumer à savoir « comment partager le pouvoir de former ? », en renouvelant les conceptions des formations, en en repensant les finalités et en adaptant les stratégies de for- mation. Il convient de passer de modèles stan- dard fermés à des modèles inventifs ouverts de pilotage et de stratégie. Autrement dit, d’un sys- tème compliqué à un système complexe, souple et productif.

La démarche traditionnelle (cadrage, transmis- sion de l’information, application, contrôle) tient peu compte des facteurs humains et favorise une organisation rigide et excluante. Le contrôle en est le mode de gestion principal. Ce système est au final contre-productif.

La démarche “inventive” (dynamique de ré- seaux, apprentissages situés, choix des res- sources pertinentes, etc.) permet une meilleure compréhension des acteurs et des situations en choisissant des moyens en adéquation avec les buts recherchés. La démarche est davantage col- lective (co-construction des problèmes, co-éva- luations, régulations

des problèmes, co-éva- luations, régulations 8/32 l l l l Compte-rendu du séminaire du 22 et

8/32

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

B) Contrepoints (S. Safi,

1) SuSaNa SaFI, du CEFI FormatIoN EmpLoI

CEFI Formation Emploi est une association d’éco-

nomie sociale et solidaire qui contribue depuis 1987

à l’accès à l’emploi et au développement des com-

pétences des chercheurs d’emploi. Les domaines d’intervention du CEFI concernent notamment l’al- phabétisation, la lutte contre l’illettrisme, le français langue étrangère.

L’expérience dont nous fait part Susana Safi porte sur la question des normes qualité qui ont longue- ment interrogé les membres de l’association lors de leur publication. La position du CEFI aujourd’hui est de s’appuyer sur les normes comme s’il s’agissait d’un horizon vers lequel il convient d’avancer sans pour autant rentrer dans une démarche de certifica- tion. Il s’agit de préserver une certaine souplesse et de miser aussi sur l’intelligence pédagogique des

acteurs. Pour expliquer cette position, elle insiste sur l’importance de pouvoir réajuster en permanence les interventions et sur le fait que ces réajustements ne sont pas nécessairement compatibles avec la tem- poralité moins élastique à laquelle un organisme cer- tifié est contraint. Elle met en évidence également la vulnérabilité conjointe des professionnels et des publics accueillis, et en particulier les inquiétudes des salariés de l’association vis-à-vis de la généra- lisation des normes. Elle souligne enfin la difficulté

à dépasser la satisfaction immédiate des publics

dans l’évaluation pour mesurer plus finement la « réussite ».

2) oLIvIEr graNgE, dIrECtEur dE FoCaL, SErvICE dE FormatIoN CoNtINuE dE L’uNIvErSItÉ LyoN 1

FOCAL est le service de formation continue de l’université Claude Bernard Lyon 1, dont la mission générale est de favoriser le développement des activités de formation continue et d’éducation per- manente que toutes les composantes de l’Université sont en mesure de proposer à des partenaires des secteurs industriels ou de services ainsi qu’à des demandeurs individuels.

Pour Olivier Grange aussi, il convient de rester prag- matique et de privilégier un référentiel évolutif par rapport à une norme. Le service Focal a conçu dans cette perspective une charte qualité qui porte à la fois sur le pilotage, sur la satisfaction perçue de la

formation et sur l’individualisation des parcours. Il souligne toutefois les difficultés concrètes liées à l’accueil de publics très hétérogènes et celles liées à la sous-mobilisation des publics internes à l’uni- versité : les 50 licences professionnelles recrutent dans d’autres écoles, dans d’autres formations (BTS notamment), chez les demandeurs d’emploi, via les employeurs, etc.

l l l l

iV - La quaLité dans Les organisations éducatiVes A) Conférence de Alain Bouvier

alain Bouvier a été Membre du Haut Conseil de l’Éducation (HCE) de 2005 à 2011. Son intervention propose de réfléchir à la qualité du système éducatif français à travers une généalogie des missions et tra- vaux réalisés par le HCE pendant les 6 années où il a exercé son mandat.

1) LE haut CoNSEIL dE L’ÉduCatIoN : uNE autorItÉ admINIStratIvE INdÉpENdaNtE pour ÉCLaIrEr LES dÉbatS pubLICS

Le HCE était une autorité administrative indépendante, créée en novembre 2005 par le Parlement à la suite des travaux de la Commission Thélot et de la promul- gation conséquente de la Loi d’orientation et de pro- gramme pour l’avenir de l’école du 23 avril 2005. Elle est composée de neuf membres nommés pour 6 ans, leur mandat est non révocable. Sur les neuf membres en question, trois sont désignés par le Président de la République, deux par le Président de la chambre des députés, deux par le Président du Sénat et deux par le Président du CES. Le premier Haut Conseil de l’Éduca- tion a été présidé par Bruno Racine.

Bien que le HCE ne soit pas la seule autorité adminis- trative indépendante, cette forme d’externalisation de- meure relativement méconnue dans la culture française et reste en tout état de cause singulière. Le HCE joue un rôle exclusivement consultatif, il est chargé d’éclai- rer les débats publics. Ses travaux doivent donner lieu à trois types de livrables : un rapport annuel au Président de la République (ex. Les résultats de l’école), un avis sur les expérimentations (article 34 de la loi 2005) et un

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

9/32

du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité

avis à la demande du ministre (ex. sur le socle com- mun ou la formation des enseignants). Le travail est organisé autour de séances hebdomadaires en pré- sentiel, complétées par des lectures individuelles et des échanges à distance, via internet. Les membres réalisent également de nombreuses auditions et des visites sur le terrain.

Les principaux travaux du HCE depuis 2005 sont les suivants : « Avis sur le socle commun », « Avis sur la formation des enseignants », « Rapport sur l’ensei- gnement primaire », « Avis sur les programmes du primaire », « Rapport sur l’orientation », « Rapport sur l’enseignement professionnel », « Avis sur la réforme des lycées », « Avis sur l’usage des nouvelles tech- nologies », « Rapport sur le collège », « Rapport sur les indicateurs », « Rapport sur la mise en œuvre du socle commun », « Bilan sur les expérimentations (article 34) ».

2) LE SoCLE CommuN dE CoNNaISSaNCES Et dE CompÉtENCES : uN FormIdabLE rÉvÉLatEur du SyStèmE ÉduCatIF

La mise en œuvre du Socle commun, largement ac- compagnée par le HCE, est un exemple révélateur des contradictions qui nourrissent le système éducatif français et consécutivement de sa difficulté à produire de la qualité de façon durable.

Inscrit dans la loi du 23 avril 2005, le Socle commun de connaissances et de compétences a vocation à constituer un pacte entre la Nation et l’École autour de ce qui peut être garanti à tous les élèves ; il fait entrer l’école de plain pied dans une nécessaire obligation de résultats.

Le décret d’application paru en juillet 2006 au BOEN tient compte de l’avis préalable formulé par le HCE et en traduit l’esprit. Les 7 piliers finalement retenus traduisent en effet assez bien les registres « fonda- mentaux » proposés par le HCE : langue française ; mathématiques ; langue vivante étrangère ; technolo- gie de l’information et de la communication ; culture humaniste et scientifique pour le libre exercice de la citoyenneté. Il s’agit ainsi de déterminer ce que nul n’est censé ignorer à la fin de la scolarité obligatoire sous peine de se trouver marginalisé.

Si, comme dans le cas de l’enseignement supérieur, les travaux du HCE permettent de croire à une cer- taine réussite du système éducatif français en terme de « massification », ils montrent que la démocratisation scolaire est défaillante depuis plus de 15 ans : l’école ne permet pas en effet de réduire les inégalités, elle

accentue au contraire les différences. Trois éléments marquants viennent soutenir cette analyse d’une école en panne :

− le flux des 150 000 élèves d’une classe d’âge qui sortent chaque année du système sans qualification ni diplôme ;

les résultats PISA, qui ne semblent pas trouver d’écho auprès des enseignants, mais qui montrent très clairement que les écarts entre les jeunes Fran- çais sont de plus en plus importants.

les rapports des Inspections générales qui montrent qu’on ne sait à peu près rien des acquis des élèves français, ni des stratégies de compensation entre les disciplines (cf. RIES n°43, 2006).

3) bILaN dES rÉSuLtatS dE L’ÉCoLE 2007 - L’ENSEIgNEmENt prImaIrE

Ce premier rapport annuel sur l’enseignement primaire, échelon jusque là négligé des différents travaux sur la scolarité obligatoire, a aussi été l’occasion de définir le rôle même du HCE et de déterminer le format de livrai- son du rapport. L’objectif retenu a été de rédiger un rap- port lisible par tous les Français, présentant clairement et succinctement les résultats des analyses effectuées. Les conclusions, en 2007, font ainsi état de constats douloureux :

les résultats sont très contrastés à l’issue du pri- maire : 60 % obtiennent des résultats acceptables ou satisfaisants ; 25 % ont des acquis fragiles ; 15 % connaissent des difficultés sévères ou très sévères ;

− les difficultés identifiées en début de scolarité s’ag- gravent avec le temps ;

− le redoublement précoce est inefficace ;

− les cycles ne sont pas vraiment mis en œuvre ;

− les outils d’évaluation restent peu utilisés ;

les premiers apprentissages à l’école maternelle sont déterminants mais insuffisamment pris en compte ;

le pilotage est défaillant à plusieurs niveaux : pas de pilotage national du premier degré ni de pilotage de proximité, pas de formation des maîtres, etc.

4) La pourSuItE dES travaux du hCE

Deux écueils du système éducatif français ressortent

de tous les travaux réalisés par le HCE depuis sa créa- tion :

le poids du diplôme dans l’accès au premier emploi et consécutivement la marginalisation quasi défini- tive des non diplômés ;

le fait que les résultats des élèves ne sont pas uni- quement corrélés au niveau socio-économique des familles : autrement dit, les enfants d’enseignants réussissent mieux que les enfants de cadres.

réussissent mieux que les enfants de cadres. 10/32 l l l l Compte-rendu du séminaire du

10/32

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

Bilan des résultats de l’école 2008 - L’orientation scolaire

L’orientation est un sujet complexe qui touche chaque année 1,2 millions d’élèves. Les travaux du HCE mettent en évidence la pluralité des acteurs publics et privés concernés, et en particulier le rôle des régions, des employeurs, et des différents réseaux professionnels. En Rhône Alpes par exemple, une vingtaine de réseaux interviennent sur ce sujet, un quart relèvent de l’éducation nationale.

Les recommandations émises par le HCE sont al- lées dans le sens d’un traitement interministériel de l’orientation. Trois délégués interministériels à l’orientation se sont succédés depuis.

Bilan des résultats de l’école 2009 - L’enseignement professionnel

L’enseignement professionnel en France concentre

de graves difficultés ; ce n’est par exemple pas le cas en Suisse. Les publics sont vulnérables

les sorties sans

diplôme sont trop nombreuses, les jeunes sans emploi en sortant de la voie professionnelle sont aussi trop nombreux.

(absentéisme, décrochage,

),

Bilan des résultats de l’école 2010 - Le collège

Le collège unique n’est pas véritablement en place. Malgré des acquis majeurs, il est en panne. À la question de savoir s’il convient de rétablir des filières et une orientation précoce, toutes les com- paraisons internationales fournissent clairement une réponse négative.

Bilan des résultats de l’école 2011 - Les indicateurs relatifs aux acquis

Les travaux du HCE montrent que les indicateurs LOLF fournis au Parlement par le Ministère de l’éducation nationale sont partiels et peu exigeants et que leur fiabilité est sujette à caution, essentiel- lement pour des raisons de méthode. D’autres indi- cateurs existent toutefois : les indicateurs Cèdre réalisés par la DEPP s’avèrent plus rigoureux et gagneraient à être rapprochés des enquêtes PIRLS et PISA.

Bilan des résultats de l’école 2011 - Mise en œuvre du Socle commun

Le bilan réalisé par le HCE sur la mise en œuvre du Socle commun, six ans après le vote de la loi, est mitigé. Le déploiement reste en effet partiel, plus marqué dans les écoles primaires que dans les col- lèges, caractérisé par une résistance passive de la part des inspecteurs généraux et des IPR de cer- taines disciplines (dont les programmes n’ont pas été revus) et un laisser-faire du ministère.

D’importants besoins ont été mis au jour, en parti- culier dans les domaines suivants : outils pédago- giques, formation des enseignants, formation des cadres, explication aux parents.

Travaux sur les expérimentations (article 34)

L’évaluation par le HCE de la mise en œuvre de l’ar- ticle 34 de la loi Fillon de 2005 ne donne là encore pas lieu à satisfaction. Cet article, autorisant les éta- blissements à contourner la loi pour mener des ex- périmentations, est très peu utilisé six ans après son vote : 0,5% des écoles primaires et 8% des EPLE. La mobilisation s’avère très variable d’une académie à l’autre ; les évaluations, au delà de la simple sa- tisfaction des équipes éducatives impliquées, sont rares et ne présentent quasiment jamais un carac- tère scientifique.

5) EN guISE dE CoNCLuSIoN

Ces six années de travail pour la première manda- ture du HCE ont convaincu ses membres que deux mesures prioritaires pouvaient promouvoir un sys- tème éducatif plus efficace et plus équitable :

créer l’école du Socle commun, pour limiter la coupure entre le primaire et le secondaire et aug- menter la cohérence de l’ensemble ;

créer une agence indépendante pour éclairer la société, les élus et les décideurs.

B) Contrepoint (L. Evans)

Linda evans est PhD, Professeure à l’université de Leeds.

Linda Evans axe son intervention sur la question de la qualité dans les organisations éducatives en Angleterre. Le contrôle de cette qualité passe prin- cipalement par les inspections : il s’agit d’inspec- tions d’établissements effectuées par un service

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

11/32

du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité

centralisé (Ofsted). Les inspections sont régu- lières et les rapports sont rendus publics. Suite au White paper de novembre 2010 intitulé « The importance of teaching », les inspecteurs devront se concentrer principalement sur l’enseignement et les apprentissages selon quatre catégories (contre 27 jusqu’alors) : niveau des élèves ; qualité de l’enseignement ; leadership et administration ; comportement et sécurité des élèves. La fréquence des inspections dépendra de la qualité de l’éducation qui y est dispensée.

Le contrôle de la qualité de l’éducation passe aussi par :

- le contrôle sur les enseignants ;

- le leadership (les chefs d’établissement ont plus de pouvoirs qu’en France) ;

- le contrôle sur les chefs d’établissements et le contrôle sur le curriculum.

l l l l

V - L’approche quaLité dans L’enseignement supérieur

Laure Endrizzi (IFÉ) introduit la deuxième journée en remarquant que si la première tournait autour des thèmes de l’enseignement scolaire et de la formation professionnelle, la tonalité de cette deu- xième journée sera dominée par l’enseignement supérieur, au niveau européen.

A) Conférence de Andrée

Sursock

andré sursok est expert auprès de nombreux organismes nationaux et transnationaux sur l’éva- luation de la qualité de l’enseignement supérieur, Senior Advisor à l’EUA (Association des universités européennes).

Outre ses responsabilités au sein de l’association des universités européennes (EUA), Andrée Sur- sock siège au sein de l’agence d’évaluation en Belgique francophone, occupe les mêmes fonc- tions en Suisse et a des responsabilités compa- rables au Portugal.

L’EUA regroupe 850 membres, dont les établisse- ments universitaires et les conférences de prési- dents d’université.

A. Sursock a commencé à travailler à l’EUA en 2001 sur le thème de la qualité. L’idée de départ était la suivante : la problématique de l’évaluation avait été prise à l’envers dans la plupart des pays européens, en créant des agences nationales alors qu’il fallait d’abord que les universités se respon- sabilisent. Le groupe de suivi du processus de Bo- logne, en 2003, a repris cette idée dans le commu- niqué de la conférence de Berlin et a reconnu sur cette base le rôle des institutions universitaires en matière de qualité.

L’EUA a également beaucoup œuvré pour créer un cadre européen en matière de qualité, c’est-à-dire un référentiel européen qui constitue en quelque sorte une charte qualité et un registre européen qui liste les agences d’évaluation, qui ont été évaluées sur la base des standard européens de l’évalua- tion. (cf. les « guidelines »).

Andrée Sursock a présenté à l’automne 2011 un rapport de l’EUA dans le cadre de l’étude « exa- ming quality culture », qui fournit l’armature de son intervention.

Un des objectifs de cette étude était d’identifier dans quelle mesure les démarches qualité débouchent sur une culture de l’évaluation ou si, au contraire, elles s’étiolent dans des procédures bureaucra- tiques (ex. : quel espace laissé à la créativité ?).

Cette étude a été menée en deux phases. D’abord un questionnaire auprès des universités (222 uni- versités dans 36 pays européens ont répondu) avec un rapport téléchargeable sur le site de l’EUA, qui se concentre sur les instruments utilisés pour la mise en œuvre du référentiel européen.

Ensuite une deuxième partie menée par A. Sur- sock, plus qualitative, consistant à interviewer 59 personnes dans 10 universités sélectionnées parmi les répondantes. Son mandat consistait à détermi- ner ce qui favorisait la culture de la qualité, s’il y en avait une, et quel lien avec les instruments pouvait alors exister.

La première difficulté consistait à identifier les per- sonnes qui s’occupent vraiment de la qualité dans les universités, en touchant «la base» pour ne pas se contenter de la parole officielle des présidents.

ne pas se contenter de la parole officielle des présidents. 12/32 l l l l Compte-rendu

12/32

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

A la fin de chaque entretien, il était demandé à chaque personne de définir sa propre conception de la quali- té et les réponses ont été assez transparentes. Ainsi, si dans un établissement, la plupart des enseignants, convaincus de la qualité de leurs prestations péda- gogiques, expliquaient qu’il n’était pas nécessaire de faire évaluer leur enseignement par les étudiants, on pouvait en déduire qu’il n’y avait pas de culture de la qualité dans l’université ! Certains enseignants du supérieur considèrent qu’ils n’ont pas à tenir compte de la pédagogie dans leur enseignement, ce dernier étant jugé forcément de qualité. En tout état de cause ils récusent aux étudiants le droit ou la capacité à porter un jugement sur l’enseignement dispensé.

Les universités sélectionnées pour l’étude quali- tative étaient originaires de 10 pays : Autriche, Es- pagne, Finlande, France, Royaume-Uni (Angleterre et Écosse), Hongrie, Irlande, Lituanie, Portugal et Suède.

L’EUA avait réalisé un bilan des dix ans de réformes en Europe (rapport Trends 2010) et avait constaté que les 10 pays qui ont fait l’objet de l’étude quali- tative avaient affiché des priorités cohérentes avec leurs réponses dans l’enquête Trends, avec notam- ment beaucoup de réformes en matière de qualité. Depuis, les effets de la crise économique et les pro- blèmes de financement sont allés de pair avec de nombreux changements au niveau de la gouver- nance et du management.

Cette métamorphose de l’enseignement supérieur en Europe peut être caractérisée par un glissement vers une gouvernance externe ; une plus grande autono- mie et une demande d’« accountability » (exigence de reddition des comptes), une diversification des sources de financement, une plus grande exigence pour les postes administratifs de haut niveau, moins de collégialité et une importance croissante des équipes présidentielles.

60% des établissements répondants à Trends 2010 ont affirmé que l’amélioration des processus de qua- lité interne était le résultat plus important parmi l’en- semble des réformes qui ont marqué les dernières années.

En revanche, seuls 28% des réponses françaises ont placé la qualité en tête des changements ressentis (contre 55% pour les questions liées au rapproche- ment ou aux relations avec le monde économique). Dans la plupart des pays, l’approche qualité semble corrélée avec un intérêt pour l’international. Or, en France, l’internationalisation semble être subie plu-

tôt que voulue, avec le sentiment que l’on n’a pas besoin de faire un effort pour être visible et attractif au niveau international.

Cette frilosité française concernant la qualité se tra- duit également dans les réponses détaillées dans l’enquête Trends 2010. Ainsi, 49% des répondants français déclarent utiliser régulièrement les éva- luations des étudiants contre 81% en moyenne en Europe, 13% pratiquent une évaluation interne obli- gatoire des enseignants-chercheurs contre 63% en Europe, etc.

Quels sont les grands enseignements de l’étude « Examining Quality Culture » ?

1) QuELLE INtroduCtIoN d’uNE dÉmarChE QuaLItÉ ?

Pour réussir l’introduction d’une démarche qualité, on peut distinguer deux façons de procéder.

Une démarche « bottom up » d’une part, avec impli- cation limitée de l’équipe présidentielle, à partir d’un noyau de promoteurs de la qualité au sein de la com- munauté universitaire. C’est la démarche qui semble la plus efficace, même dans un grand établissement.

Une démarche « top down» d’autre part, avec un aspect formel collé de l’extérieur et qui apparaît comme une corvée pour les acteurs, sans s’intégrer dans le quotidien et peut même se heurter à des blocages de la part des enseignants-chercheurs.

Ici se pose la question du rôle de l’agence d’éva- luation nationale, dans la définition des démarches internes de l’évaluation. Dans la mesure où la moitié des universités semble se conforme aux exigences de leur agence d’évaluation nationale, il apparaît im- portant de mieux adapter les normes des agences à la réalité des établissements, afin que les universités s’en saisissent avec réussite.

Le danger à éviter est d’amener les universités à mettre en œuvre une démarche qualité avec le seul objectif d’afficher une démarche qualité formelle pour respecter les normes de l’agence nationale !

Pour contourner ce danger, certaines institutions dis- tinguent la notion de « quality assurance » de celle de « quality enhancement ». La première désigne le seul processus de mise en conformité avec les exigences des agences nationales, alors que la deuxième recouvre plutôt ce que les établissements mettent en œuvre pour leur propre développement.

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

13/32

du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité

2) La NÉCESSItÉ d’ImpLIQuEr touS LES aCtEurS

Une des grandes leçons du projet est que la réussite d’une démarche qualité est très dépendante d’une base démocratique. Sans démocratie, au niveau du pays et de l’établissement, la réussite est compromise faute d’appropriation de la démarche par les acteurs de l’université.

Lors de la fusion de deux universités par exemple, ceux qui avaient l’expérience de la qualité ont échan- gé avec ceux qui n’en avaient pas et ont convenu de ne pas aller trop vite afin que l’ensemble des acteurs concernés puissent s’intégrer de concert dans la dé- marche.

3) La CompLExItÉ du rôLE du SErvICE QuaLItÉ

C’est un des résultats les plus intéressants de l’en- quête. Il s’avère que les « bons » responsables qua- lité ont des compétences assez complexes. Ceux qui avaient réussi étaient souvent ceux qui continuaient à faire autre chose que de la qualité. Autrement dit, il convient d’éviter le modèle du technicien de la qualité.

Parmi les compétences exigées du responsable quali-

té, il faut être à même de remplir les tâches suivantes :

interpréter les normes nationales en matière de qualité pour les adapter à son institution ;

les expliquer au sein de l’institution et de les faire accepter par diverses catégories de personnes :

l’équipe dirigeante, les personnels académiques, techniques et administratifs et les étudiants ;

− surveiller et identifier les problèmes ;

− collecter les résultats ;

assurer la qualité des instruments.

L’évaluation des enseignants, souvent par question- naires, est le point le plus répandu sauf en France. Ils méritent d’être largement améliorés et accompagnés par d’autres outils d’évaluation.

Les indicateurs de performance sont un grand sujet de discorde. Ils doivent être flexibles et adaptables aux différences disciplinaires.

4) LES CaraCtÉrIStIQuES d’uNE boNNE dÉmarChE QuaLItÉ

Une démarche réussie repose la plupart du temps sur la combinaison de plusieurs bons instruments : il ne suffit pas de faire un questionnaire d’évaluation des enseignements pour avoir une démarche qualité.

La démarche doit également s’appuyer sur des res- ponsabilités et des liens hiérarchiques clairs, tout en permettant l’engagement de la communauté universi- taire, avec des marges de contestation et de discus- sion pour permettre une certaine flexibilité d’adapta- tion.

Les démarches qualité qui réussissent le mieux sont celles qui ne se limitent pas au respect formel des exigences nationales des agences qualité.

Il faut qu’elles s’appuient sur les valeurs académiques et n’apparaissent pas comme une démarche adminis- trative qui s’oppose à la créativité et l’initiative.

B) Contrepoint (L. Evans)

Quelques mots sur l’approche qualité dans l’enseignement supérieur au Royaume-Uni

Qu’est-ce que la qualité dans l’enseignement supé- rieur ? Cela concerne-t-il l’université, les enseignants, la recherche, les étudiants, tout l’ensemble ? L. Evans préfère parler d’une micro-perspective et considérer l’implication de tous les acteurs, dans le cadre du tra- vail par exemple.

Le système d’évaluation de la qualité, au Royaume- Uni, est basé sur le Research Assessment Exercise (RAE), réalisé tous les 5 à 6 ans, le prochain devant avoir lieu en 2014. Ce dispositif a changé de nom et s’appelle The Research Excellence Framework (REF).

Son fonctionnement est le suivant : chaque univer- sité qui souhaite être évaluée dépose un dossier qui comprend :

- une description/un compte rendu de l’environne- ment (dans le département universitaire) de la recherche ;

- les quatre articles ou livres des universitaires pu- bliés pendant la période du recensement (2008- 2013) et considérés comme les meilleurs

- Les niveaux de qualité sont représentés par une échelle, comportant jusqu’à quatre étoiles, sans que l’on sache exactement ce que signifient ces niveaux (il n’y a pas de critères précis) :

- quatre étoiles : la recherche est « world-lea- ding »,

- trois étoiles : la recherche démontre une certaine excellence au niveau international, mais qui ne mérite néanmoins pas d’être considérée comme « world leading ».

pas d’être considérée comme « world leading ». 14/32 l l l l Compte-rendu du séminaire

14/32

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

C’est chaque université qui décide ce que sont les niveaux acceptables de son point de vue, et donc quels sont les dos- siers des universitaires qu’elle va présenter à l’évaluation (c.- à-d. estimer ses chances d’être bien reconnue pour avoir les subventions correspondantes).

Par exemple, l’université de Warwick a décidé de n’inclure dans son dossier que les universitaires qui ont publié au moins quatre articles de niveau 3 étoiles.

Qui décide de la qualité ? Un jury de pairs, pour chaque matière, est chargé de lire les ouvrages publiés dans la pé- riode précédant le dépôt des dossiers (c’est à dire la période écoulée depuis l’évaluation précédente). Bien entendu les membres du jury appartenant à l’université étudiée sont exclus du jury.

En théorie, on juge la qualité de l’article, sans prendre en compte la revue dans laquelle il a été publié.

Chaque université est classée dans chaque champ discipli- naire :

Pour les sciences de l’éducation par exemple, voici le clas- sement 2008 des quatre premières universités :

1) London Institute of Education 2) Oxford 3) Cambridge 4) Leeds et Bristol, ex æquo

La question qui se pose ensuite est « comment améliorer la recherche et les chercheurs ? »

Le champ du développement professionnel des chercheurs devient un nouveau champ d’étude et d’action. Une nou- velle revue a même été créée : The international journal for researcher development.

On considère la professionnalité des chercheurs sous l’angle de la professionnalité restreinte ou de la profession- nalité étendue (Hoyle, 1975).

• Professionnalité restreinte : l’enseignant …

− exerce son métier de façon intuitive ;

utilise des compétences fondées sur des expériences pratiques ;

− ne réfléchit pas sur la façon dont il exerce son métier pas plus qu’il ne l’analyse ;

- n’est pas en intelligence avec ses propres perspectives et attitudes ;

- est conservateur (trice), évite les changements.

• Professionnalité étendue : l’enseignant …

− exerce son métier rationnellement ;

utilise des compétences qui sont fondées tant sur la

théorie que sur les expériences pratiques ;

− réfléchit souvent sur la façon dont il exerce son métier et l’analyse ;

démontre de l’intellectualisme concernant l’exercice de son métier ;

expérimente des nouvelles idées.

C’est un continuum qui pourrait être utilisé pour les cher- cheurs ainsi que pour les enseignants. Il existe parmi tous les chercheurs et chez chacun d’entre eux selon les sujets. Le trajet du développement professionnel est celui qui va de la professionnalité restreinte à la professionnalité étendue. Le développement professionnel est multidimensionnel.

ll l l

Vi - La pédagogie uniVersitaire A) Conférence de Jacques Barrier :

« La démarche qualité de la CIDMEF »

Premier médecin à faire un DEA de sciences de l’éducation à Nantes avec Marguerite Altet, Jacques Barrier est favorable à une grande coopération avec les organisations internationales.

1) Qu’ESt-CE CE QuE La CIdmEF ?

Il s’agit d’un réseau médical, 120 facultés de médecine (40 pays), avec des conseils pédagogique, d’évaluation et scientifique. La CIDMEF met en place une démarche qualité pour la formation médicale dans l’espace francophone.

La CIDMEF, c’est 30 ans d’existence avec une démarche qualité implicite au démarrage pour nos formations (sponta- néité de la démarche qualité basée sur le consensus).

Les points à améliorer ont conduit à des opérations concrètes de la CIDMEF :

élaboration des référentiels et des répertoires en éducation en santé (pédagogie et organisation) ;

aide à la formation pédagogique des formateurs (sémi- naires) ;

structuration pédagogique des facultés de médecine (bureaux de pédagogie) ;

organisation de congrès de formation et recherche en éducation dans les sciences de la santé.

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

15/32

du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité

2) LE CoNStat daNS LES FaCuLtÉS FraNCophoNES

Parmi les facultés du Nord, il y a une démarche qualité inégale : le Canada est très actif ainsi que la Belgique, et la France mais dans une moindre part. Parmi les facultés du sud, au Vietnam, au Cambodge, en Afrique du Nord et subsaharienne ou à Haïti, on constate peu de démarches explicites.

Un constat préoccupant et problématique : des pro- blèmes d’organisation facultaire, un mauvais recru- tement des enseignants, une formation pédagogique insuffisantequi génère une insatisfaction des étudiants.

Cette situation nous place dans une impasse curricu- laire face à l’explosion des connaissances, et tend à privilégier les contenus par rapport aux compétences.

Nous constatons également une explosion de facultés privées parfois commerciales (ex. Cameroun) avec des effets délétères sur la qualité des médecins formés.

Le cadre global de référence

Quels sont les enjeux ?

En médecine, les universitaires sont très conscients de l’importance des résultats et on entend beaucoup parler de performance, d’impact, de résultat et de cer- tification (Evidence based medical education, S. Peter- sen MMJ, 1999 ; Outcome-based medical education, Harden 1998)

Que souhaitons nous obtenir ? Un processus ou un résultat ? Une opération peut réussir mais le malade peut mourir.

Quelle qualité pour les médecins ?

L’assurance qualité des médecins formés et l’imputabi- lité sociale des facultés des sciences de la santé sont aujourd’hui débattues par les associations de patients qui font irruption dans les hôpitaux.

Nous sommes face à deux grands enjeux actuels :

Premier enjeu : L’enseignant doit tenir compte des données de psychologie de l’apprentissage. Le paradigme de psychologie cognitive : l’étu- diant doit être actif et l’enseignant doit activer les connaissances antérieures de l’étudiant. Les apprentissages doivent être contextualisés et favo- riser la structuration des connaissances d’action et

du raisonnement. L’enseignant doit également hié- rarchiser et valider les connaissances des appre- nants.

L’enjeu de l’engagement professionnel : l’ensei- gnant doit susciter une vocation professionnelle et la développer chez les étudiants (cf. CanMEDS 2000) et doit développer des compétences qui vont en faire un médecin fournisseur de soins, mais aussi un décideur, un gestionnaire, un com- municateur, un leader au sein de sa communauté. Par ailleurs, le professeur clinicien a un double rôle :

soins aux patients et apprentissage des étudiants. Nous reconnaissons que ce rôle n’est pas équilibré car les médecins délaissent l’enseignement au pro- fit du rôle de clinicien.

Le deuxième enjeu : les objectifs de formation.

L’approche par compétences est une donnée nou- velle et difficile à mettre en œuvre en médecine. C’est une révolution pour le responsable d’ensei- gnement : ne plus travailler tout seul dans sa ma- tière et tenir compte des compétence attendues par la communauté. Il doit également travailler à rebours pour trouver les éléments qui vont lui per- mettre d’aboutir au résultat attendu au lieu d’empiler les connaissances à partir de la première année.

Les référentiels mis en place par la CIDMEF et le plan d’action

Quels sont les standards de qualité ?

Les normes de base (« must ») et les normes optimales (« should ») existaient déjà mais il fallait les appliquer aux normes pédagogiques malgré les difficultés.

Les standards de base

Niveaux de compétence (groupe de Charamande, 1990) conçus et évalués par la CIDMEF :

niveau 1 : compétence pédagogique minimale, prendre en charge des étudiants, tenir compte des instructions des responsables ;

niveau 2 : compétence pédagogique des titulaires (enseignants généralistes) ;

niveau 3 : compétence pédagogique approfondie dans un domaine particulier (par ex : TICE).

La formation au professionnalisme a été à l’origine de recommandations : en effet, le rôle professionnel reste à développer afin d’offrir des véritables formations pro- fessionnalisantes aux futurs médecins.

formations pro - fessionnalisantes aux futurs médecins. 16/32 l l l l Compte-rendu du séminaire du

16/32

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

Exemple de recommandation : éviter des personnes ressources extérieures. Chaque enseignant doit inté- grer des principes de qualité qui en font un modèle de rôle.

Nous avons cependant observé de nombreux freins au processus de la démarche qualité : la notion de curri- culum caché et les conflits d’opinions professionnelles.

Pour faire face à ces problèmes, l’institution doit chan- ger et imposer des principes de révision des organi- grammes de faculté.

Actuellement, il existe un organigramme des structures. Le doyen a dans son exécutif des comités d’évalua- tion des programmes et des recherches, eux-mêmes entourés de secteurs pédagogiques et des structures d’évaluation interne.

Comme il n’existe pas de référence dans la littérature, les modèles restent à inventer.

Ce qui existe (rarement) :

− un comité des programmes opérationnel ;

− une structure pédagogique ;

− un bureau pédagogique ;

une structure d’évaluation interne (à Montréal, par exemple, chaque heure de cours est évaluée).

La CIDMEF a créé un groupe d’études sur l’évaluation de l’enseignement, dénommé EVALENS. Il travaille sur l’évaluation des interventions pédagogiques et des étu- diants. C’est un conseil pédagogique qui évalue des en- seignements et des apprentissages.

Si on veut obtenir une notion d’efficacité, il faut évaluer pour décider et pour changer les situations. Il faut aussi responsabiliser les étudiants dans leurs taches d’évalua- teur (nécessité d’être formés). Il faut par contre éviter de faire remplir des questionnaires pour remplir des ques- tionnaires, sans rétroaction sur l’enseignement.

Est-ce qu’on n’évalue pas un peu trop les facultés par les étudiants qui risquent de se lasser et de ne plus vouloir participer ?

La création d’une grille d’évaluation validée par les étu- diants a permis d’élaborer des recommandations pour une mise en application pratique (2007).

Une dernière opération est l’évaluation des programmes des facultés, à la demande de la direction de celles-ci par un groupe d’évaluateurs externes international. Ce n’est pas un système d’accréditation. Les deux objectifs de

l’évaluation des programmes sont de contrôler la qualité et d’aider les facultés à s’améliorer. Il n’y a pas d’agence d’évaluation dans tous les pays (ex. : en Afrique).

Évaluer un programme, c’est porter un jugement sur sa valeur ou son mérite, ses structure et résultats. La CIDMEF propose une démarche volontaire de l’évaluation formative (non sanctionnant) avec une rétroaction donnée au président de l’université et au doyen. Il ne s’agit pas de comparer avec les autres universités car il n’existe pas de référentiel absolu.

Les étudiants font leur rapport de leur côté qui est envoyé aux évaluateurs, pas à leurs professeurs ni à leur doyen. La norme est un besoin prioritaire de la société dans le domaine de la santé.

37 facultés sont actuellement évaluées par la CIDMEF mais on constate une utilisation inégale des recomman- dations. Dans certaines facultés le rapport reste dans le tiroir du doyen mais parfois, les résultats sont excellents grâce à la mise en œuvre du processus.

Quel est l’impact véritable ?

Notre système d’évaluation des programmes fait bouger les facultés et les normes ont évolué avec le concept de responsabilité sociale des facultés (voir le travail de l’OMS qui parle d’accountability).

Un autre concept novateur a consisté à élaborer une charte d’éthique pour les facultés des sciences de la santé (conférences internationales des doyens de méde- cine, de pharmacie et d’odontologie) par l’intermédiaire d’un groupe de travail composé de 50 référents interna- tionaux chargés de rédiger cette charte (il s’agit plus d’un engagement moral des facultés que d’un texte légal ; elle est disponible sur le site de la CIDMEF). Cette charte est actuellement peu utilisée mais elle est reconnue.

3) rÉSuLtatS Et dISCuSSIoNS

Un groupe de travail s’est mis en place sur la lutte anti- fraude et anti-plagiat chez les étudiants (quid des ensei- gnants chercheurs ?) car il s’agit d’un véritable problème pédagogique et de société pour la recherche.

La faculté doit être une organisation apprenante qui pla- nifie son évolution et ses propres apprentissages au fil de l’eau avec un conseil de gouvernance. Cela doit conduire à une gouvernance collaborative plutôt que hiérarchique en utilisant la notion de leadership.

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

17/32

du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité

B) Conférence de Vincent Wertz :

une pédagogie active pour

renforcer la qualité : expérience

de l’École polytechnique de

Louvain (EPL)

Vincent Wertz est professeur à l’école polytechnique de Louvain (UCL) et prorecteur à l’enseignement et à la formation à l’Université catholique de Louvain

Cette intervention présente un retour d’expérience sur la réforme pédagogique à UCL. Expérience menée à l’École polytechnique de Louvain (UCL), au début des années 2000.

L’ UCL (28 000 étudiants) comprend 14 facultés dont l’EPL (1800 étudiants et 68 profs, avec ce qu’on pourrait appeler des « Prépa intégrées »). Au début des années 2000, au moment où la réforme a été mise en place, la structure de formation était relativement proche du système des écoles d’ingénieurs françaises : deux an- nées de prépa (1 er cycle) puis trois années de formation d’ingénieurs. Contrairement aux écoles d’ingénieurs françaises, l’EPL est passé au système LMD ou plus exactement BMD : bachelor, master, doctorat.

1) CommENt S’ESt FaIt LE ChaNgEmENt, QuEL ImpaCt Et QuEL LIEN avEC La dÉmarChE QuaLItÉ dE L’ENSEmbLE dE L’uNIvErSItÉ ? pourQuoI ChaNgEr ?

L’ EPL a longtemps été dans un processus de ques- tionnements réguliers, tous les cinq ans, pour s’adapter à des situations changeantes, mais il s’agissait plutôt de micro adaptations, de quelques changements ponc- tuels : remplacement d’un cours par un autre, intro- duction d’un chapitre dans un cours, glissement d’un semestre à l’autre.

A la fin des années 1990, plutôt que de faire à nouveau une micro-modification, l’équipe d’enseignants prépa- rant les programmes s’est interrogée sur la qualité de la formation, et s’est finalement décidée à tout mettre sur la table et à envisager l’éventualité d’une réforme plus profonde.

de la non mobilisation, dans les dernières années de formation, des connaissances supposées acquises en première année ;

du manque de compétences de niveau plus élevé, se- lon la taxonomie de Bloom (réflexivité, esprit critique, rigueur).

De plus, les milieux professionnels recrutant des ingé- nieurs exprimaient le besoin d’avoir des communicateurs, des leaders capables de travailler en équipe. Or, l’ECL ne formaient pas suffisamment à ces compétences.

On note une certaine résistance au changement. En fait, la plupart des enseignants sont passés par un cer- tain système avec lequel ils ont réussi. Or, ce qui a bien marché pour eux, alors qu’ils faisaient partie de la tranche supérieure des étudiants, ne marche pas pour l’ensemble des étudiants. Un bon étudiant réussira quel que soit le système d’enseignement. Ses capacités d’auto-appren- tissage sont telles qu’il pourra apprendre. Il a été difficile de le faire comprendre aux collègues. Car il faut imaginer des étudiants différents de ceux qu’ils ont été eux-mêmes.

2) QuE FaIrE pour ChaNgEr ?

Le choix a été d’adopter une approche système, en consi- dérant qu’un système d’éducation comprend plusieurs composantes :

en entrée : étudiants, professeurs, de la matière à malaxer ;

− en sortie : l’objectif d’avoir des ingénieurs compétents ;

au milieu : un processus et là il faut un modèle pour piloter le système le mieux possible.

S’il est difficile de changer les individus (professeurs, étu- diants), on peut changer le modèle d’apprentissage. Le plan de travail a été défini sur quatre temps :

− définir les objectifs et les contraintes : Qu’est-ce qu’un ingénieur compétent ? Quel doit être le taux d’enca- drement, quelle est l’offre de locaux, etc. ;

avoir une idée plus claire de ce qui se passe dans le processus d’apprentissage ;

− définir un dispositif-type qui soit bien dans la ligne du modèle d’apprentissage fixé préalablement ;

cela ne se passe pas sans un nécessaire changement de mentalités. Il fallait donc prévoir une formation des enseignants pour la mise en œuvre de cette nouvelle méthode.

Les objectifs ainsi définis ont été envisagés selon cinq dimensions :

 

Méthodologique

Malgré la conviction d’être de bons enseignants,

l’équipe ressentait un sentiment d’insatisfaction relative-

des stratégies effectives de résolution de problèmes sont appliquées ;

ment important, devant le constat :

les étudiants sont capables de s’auto-évaluer.

− du manque de motivation des étudiants ;

− du manque de motivation des étudiants ; 18/32 l l l l Compte-rendu du séminaire

18/32

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

• En terme de contenus

− des modèles sont construits et exploités ;

la rigueur mathématique est maîtrisée.

• Socio-relationnelle

les étudiants sont devenus acteurs de leur éduca- tion ;

les étudiants sont heureux d’apprendre.

• Éthique

les étudiants sont conscients du rôle et de la res- ponsabilité des ingénieurs dans la société.

• En général

− la qualité de la réussite est améliorée ;

− le recrutement est amélioré ;

la motivation des étudiants a augmenté.

Ces objectifs doivent être opérationnalisés :

compétences ou acquis d’apprentissage ?

− objectifs intermédiaires en fin de première année, en fin de premier cycle ;

cette opérationnalisation doit se faire pour chaque matière.

Il convient d’être conscient des contraintes existantes :

ne pas consommer plus de ressources (d’encadre- ment) que précédemment ;

durée du travail étudiant : quel nombre d’heures de travail imposable aux étudiants compte-tenu du temps légal de travail (35 ou 40 heures) : on s’est calé sur cette durée légale ;

problèmes de locaux.

3) La QuEStIoN SuIvaNtE ÉtaNt dE SavoIr CommENt FoNCtIoNNE L’apprENtISSagE ?

Malgré quelques propos du type : « l’enseignant a le savoir et le transmet par rayonnement », « on évite les réformes » et autres résistances au changement, il fal- lait se mettre d’accord sur un modèle - sans dire que c’était le meilleur (pas de modèle plus pertinent qu’un autre).

Le choix s’est porté sur un modèle socioconstructi- viste contextualisé, dont la philosophie générale est la suivante : les méthodes pédagogiques sont ancrées dans un contexte qui vise à se rapprocher du réel, des situations professionnelles. Elles mobilisent des com- pétences visant des objectifs de haut niveau ; elles re- posent sur des interactions entre les divers partenaires de la relation pédagogique qui conduisent à la pro- duction de « quelque chose » de personnel (nouvelles connaissances, rapports, présentations, prototype, etc.). Ainsi, les étudiants construisent leurs savoirs à partir des savoirs existants, en interaction avec leurs

pairs et en étant confrontés à des situations qui font sens.

Le dispositif type adopté est donc l’apprentissage actif (constructivisme), en groupes (socioconstructivisme), par problèmes et par projets (contextualisé), autrement appelé l’APP. Ce fut la ligne directrice pour l’enseigne- ment des deux premières années.

4) L’a.p.p.

Le dispositif comporte quatre phases :

cappropriation : on lit un contexte et on cherche à en extraire les éléments importants (motivation et engagement des étudiants) ;

analyse des problèmes sous toutes leurs formes, identification des enjeux, notamment ceux d’ap- prentissage ;

résolution du problème, formulation, pour mise en œuvre, acquisition des apprentissages ;

retour sur les apprentissages par la réalisation :

l’important c’est l’apprentissage qui a été mobilisé pour résoudre le problème plutôt que le résultat lui- même.

On est dans un modèle d’apprentissage actif, l’essen- tiel étant d’apprendre à apprendre plutôt que la trans- mission du savoir ou l’acquisition des connaissances. Les connaissances étant en pleine évolution, ça ne sert à rien d’accumuler des connaissances qui seront ob- solètes dans quelques années, il faut savoir comment acquérir des nouvelles connaissances. Le travail en groupe permet d’atteindre un niveau de maîtrise qu’on n’atteindrait pas seul : émulation entre pairs, appro- priation des connaissances par explicitation à l’autre, meilleure maîtrise de la communication, coopération, leadership.

Cependant, ce n’est pas parce qu’on travaille en groupe qu’on est évalué en groupe. Il est nécessaire de bien expliquer que chacun devra rendre compte individuel- lement de l’acquisition des apprentissages, tout en évi- tant l’écueil suivant (les étudiants se leurrent souvent) :

la résolution du projet n’est pas le but ultime.

La mise en œuvre du dispositif

Pour chaque activité, il a fallu définir des objectifs spé- cifiques, trouver un bon projet, un bon problème per- mettant d’atteindre ces objectifs : « un bon problème est un problème qui a été travaillé en équipe d’ensei- gnants ». On apprend à collaborer entre enseignants. On a aussi bien des interactions qui peuvent s’étaler

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

19/32

du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité

sur un semestre, comme des actions qui viennent se greffer à tel ou tel moment stratégique du projet, per- mettant une cohérence globale des apprentissages, sur le semestre.

Au niveau de l’équipe d’enseignants, il est nécessaire :

de formuler des objectifs en termes d’acquis plutôt que de contenus (ce fut une révolution en 2000, mais cela devient un standard un peu partout) ;

− de se concerter à l’intérieur d’une même matière ; de se coordonner entre plusieurs matières (les acti- vités proposées aux étudiants doivent faire sens) ;

de discuter d’enseignement entre collègues (même discipline ou autre), ce fut une nouveauté.

Les difficultés rencontrées dans la mise en œuvre d’un tel projet :

collectiviser les expériences (bonnes ou moins bonnes) ;

éviter le morcellement des activités (coordination d’autant plus importante) ;

étaler ces activités dans le temps pour équilibrer la charge de travail pour les étudiants.

5) LE mÉtIEr d’ENSEIgNaNt S’EN trouvE-t-IL ChaNgÉ ?

Cela change fondamentalement le métier d’enseignant, qui devient « concepteur d’occasions d’apprendre ». L’enseignant devient un scénariste et les élèves sont acteurs de la pièce. Cela suppose que l’enseignant abandonne son rôle d’acteur principal, renonce au cours magistral. Il change de fonction, devient tuteur, « facilitateur », travaillant sur du diagnostic. Cela de- mande sans doute une formation, pour aider à ce chan- gement.

Par le travail avec de petits groupes, on voit mieux les problèmes que peuvent avoir les étudiants. Dans le même temps, les cours qui sont maintenus deviennent des cours de restructuration, qui viennent après les ap- prentissages pour aider à refaire les liens entre appren- tissages. Cette façon d’envisager le cours est beaucoup plus épanouissante ; l’essentiel des apprentissages est fait, les étudiants peuvent comprendre, discuter.

Une des grosses difficultés de l’APP, c’est l’évaluation :

il faut concevoir des dispositifs corrects pour évaluer les compétences transversales, transdisciplinaires, comportementales, peu compatibles avec un examen en salle, un travail écrit.

6) ESt-CE QuE CELa marChE ?

Une étude d’impact

L’idée a été de s’inspirer des études d’impact, et pour ce faire, un groupe a été constitué avec pour tâche de réaliser cette étude d’impact et voir si ce projet était positif.

Le groupe a conçu une série d’outils et indicateurs :

questionnaires, épreuves test aux étudiants de troi- sième année pour mesurer la rétention des connais- sances acquis en première année, dans les années qui ont suivi la réforme (avant et après la réforme).

Sur les 80 compétences spécifiques, le constat fut le suivant :

pour 50 compétences : pas de changement du ni- veau des étudiants après la réforme ;

pour 25 compétences : on note un changement si- gnificatif et positif ;

pour 5 compétences, on constate un changement négatif.

L’équipe du projet en a déduit une modeste améliora- tion pour le ¼ des compétences, mais l’intérêt porte surtout sur l’amélioration de compétences qui n’avaient pas été travaillées jusque là.

Un élément négatif ressort de cette étude d’impact :

l’effet d’entraînement généré n’a pas été aussi large qu’espéré. L’équipe porteuse de la réforme s’est énor- mément investie dans la mise en œuvre, mais n’a pas pris le temps de communiquer hors de l’équipe. Cer- tains collègues n’ont donc pas suivi.

Pour les enseignants, les aspects positifs ont été d’avoir consacré du temps pour se mettre d’accord sur les vrais enjeux, pour se former, pour se coordonner; d’avoir amélioré l’intégration entre les disciplines.

Enfin, il faut noter l’intégration du projet dans le cadre d’une démarche qualité à l’Université catholique de Louvain et dans une démarche « acquis d’apprentis- sage » (intended learning outcomes).

Des critères pour une formation de qualité à l’UCL

• Huit critères de pertinence : une formation de qua- lité a pour objectif(s) de favoriser…

l’engagement et autonomie de l’étudiant dans sa formation ;

l’acquisition de compétences disciplinaires et tech-

− l’acquisition de compétences disciplinaires et tech- 20/32 l l l l Compte-rendu du séminaire du

20/32

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

niques, en lien avec des savoirs et des démarches issus notamment de la recherche ;

− l’ouverture à l’interdisciplinarité ;

le développement d’une démarche d’analyse et de jugement critique ;

le développement de compétences sociales, rela- tionnelles et communicationnelles (y inclus l’appren- tissage des langues) ;

− le développement de la capacité à entreprendre ;

− l’ouverture sur le monde ;

la préparation à l’insertion socio-professionnelle.

• Sept critères relatifs aux moyens mis en œuvre :

une formation de qualité prend appui sur…

les ressources didactiques (y inclus les TIC et les bibliothèques) favorisant un apprentissage en pro- fondeur ;

la diversité de situations d’apprentissage (en et hors présentiel) ;

la cohérence du dispositif pédagogique (objectifs, méthode, évaluation) ;

la valorisation de l’engagement pédagogique des enseignants ;

− le soutien aux innovations pédagogiques ;

− le développement pédagogique des enseignants ;

l’évaluation de la qualité des enseignements et des programmes.

• Deux critères d’équité : Une formation de qualité propose…

Des dispositifs d’aide et d’entraide : information, orientation, préparation, diagnostic, entraînement, soutien social ou financier, remédiation ;

Une offre de formation et des ressources adaptées aux besoins spécifiques des différents publics aux- quels la formation s’adresse.

La démarche « acquis d’apprentissage » : un changement de paradigme

Cette démarche suppose le passage d’un enseigne- ment centré sur la maîtrise du processus vers un en- seignement centré sur l’atteinte des résultats. Dans le premier cas, l’enseignant choisit les contenus, dans le second les objectifs sont fixés par l’équipe. Il s’agit de déterminer les acquis d’apprentissage.

Pour cela, il y a des priorités : Quelles sont les connais- sances qui valent la peine d’être apprises? Quelles sont les connaissances et attitudes qu’il est important de maîtriser? Existe-t-il ou faut-il hiérarchiser les ac- quis? Comment définir les informations importantes ; comment mesurer l’acquisition des apprentissages? Comment entraîner les étudiants à réussir cette éva- luation?

La recherche de cohérence est un gage de qualité : les enseignants alignent leurs activités d’enseignement et les méthodes d’évaluation sur les intentions pédago- giques qu’ils visent (acquis d’apprentissage visés).

l l l l

Vii - saVoir, saVoir-faire, compétence : que peut-on attendre d’un dispositif éducatif de quaLité ? A) Conférence de Xavier Roegiers

Xavier Roegiers est président du BIEF, à Louvain- la-Neuve et professeur à l’Université catholique de Louvain-la-Neuve.

Le domaine d’intervention auquel j’appartiens est encore peu connu : architecte des approches curricu- laires, depuis la construction d’un projet d’éducation jusqu’aux pratiques d’enseignement-apprentissage et d’évaluation. « Mon travail consiste à aider les sys- tèmes éducatifs à formuler un projet d’école et à traduire ce projet en actions concrètes », pour que l’innovation se traduise en pratiques de classe, et pour toutes les classes, pas uniquement les classes privilégiées, pour garantir l’accès à l’innovation pour tous comme c’est trop rarement le cas dans les réformes.

On peut observer deux types de situations :

les pays avancés sur le plan pédagogique et cur- riculaire, mais qui ont de nouveaux défis ; il s’agit de réfléchir à des issues réalistes et « politiquement acceptables » car ils sont souvent embourbés dans un système de contraintes de toutes sortes qui rend toute innovation difficile ;

− les pays dont le système éducatif est en difficulté ; plus grand chose ne semble fonctionner correcte- ment ; il s’agit alors de proposer des stratégies et des dispositifs qui permettent de repenser le sys- tème en profondeur, tout en se basant sur les ac- quis.

Certains concepts qui font apparemment consensus sont en réalité des facteurs de blocage, comme l’inter- disciplinarité, la qualité, l’autonomie. Ils sont à remettre en question pour ce que l’on en fait dans les curricula.

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

21/32

du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité

Alors qu’ils devraient être porteurs de valeurs nou- velles, ces concepts sont récupérés par le système de la marchandisation, et sont donc devenus alié- nants.

Les défenseurs de valeurs humanistes n’ont pas réussi à mettre en place des dispositifs adéquats pour servir l’école publique. Il s’agit maintenant de mettre ces concepts et ces belles idées au service de ceux à qui en ont le plus besoin.

Un premier problème se pose d’emblée à celui qui réfléchit à l’architecture curriculaire : pour expliquer les facteurs de progrès ou de régression des sys- tèmes éducatifs, il faut tenir compte de trois dimen- sions : la pertinence, l’efficacité, l’équité. C’est ce qui rend la notion de qualité et l’existence « d’agences de qualité » peu adéquates comme telles dans les sys- tèmes publics d’enseignement car elles ne prennent pas en compte la pertinence et l’équité. S’il existe des agence qualité ou d’efficacité, existe-t-il une agence de pertinence ou d’équité ?

Pour ce qui est de la pertinence, l’enseignement de ces 20 dernières années a montré la nécessité de se préoccuper des valeurs de l’école (voir par exemple les mouvements des indignés). On ne peut pas concevoir de revoir un système éducatif en fai- sant l’impasse d’une discussion sur les valeurs. Et suite à cette discussion, il faut mettre l’approche curriculaire en cohérence avec les valeurs. Pour les pays qui dont le système éducatif est en souffrance, il faut travailler sur une vision globale du système :

formation des enseignants, curriculum, évaluation

Les réponses récentes, comme l’interdisciplina- rité, la différenciation, les capacités transversales agissent rarement sur les trois plans à la fois, celui de la pertinence (du sens), celui de l’efficacité (de la qualité) et celui de l’équité. Or les trois facteurs doivent être concomitants.

En ce qui concerne l’équité, y a-t-il, à grande échelle, une amélioration (efficacité ET équité) ? PISA montre une diminution de l’équité, alors que toutes les chartes et discours d’orientation proclament le contraire. Il faut donc changer le plan de l’archi- tecte, et prendre d’autres mesures pour prendre en compte les trois facteurs. En éducation, ne travailler que sur la qualité, au détriment de la pertinence et de l’équité est tout aussi aberrant, dans le domaine de la mobilité, que de ne travailler qu’à améliorer les routes, sans se préoccuper de l’état des véhicules et des compétences des conducteurs.

On n’a pas besoin d’élèves qui savent restituer le savoir : il est déjà transmis, nous dit Michel Serres. « Transmettre le savoir n’a plus de sens ». Il faut dépasser le stade de la compréhension et articu- ler réflexion et action dans nos sociétés post-mo- dernes. Trop peu d’action ne fait pas avancer les choses. Mais s’il y a trop de réflexion, ça ne marche pas non plus

Quelques questions clés pour arriver à une bonne articulation réflexion/action

Au plan philosophique, épistémologique

Ce qui est développé à l’école est au service de quel projet de société ?

Ce qui est développé à l’école est au service de qui ?

− Matières scolaires et Bien commun ;

− Matières scolaires et générations futures ;

Aujourd’hui, il s’agit de voir loin et puissant (le ré- alisme doit venir, mais dans un deuxième temps).

Au plan politique

Redéfinir les valeurs : quelle pertinence (et qu’est-ce que cela veut dire ?), quelle efficacité, au service de quoi ? quelle équité ? Traduire ces valeurs en termes d’approche curriculaire ;

Avoir une approche curriculaire clairement éta- blie, mais sur le plan des pratiques de classe au quotidien de la classe, ne pas tomber dans un dogmatisme étroit en termes de méthodes péda- gogiques ;

Travailler en parallèle avec l’enseignement supé- rieur : enrichissement mutuel des curricula.

Au plan curriculaire

Déterminer un profil de sortie en termes de si- tuations complexes d’intégration, ce qui néces- site une réflexion épistémologique triangulaire :

« contenus, école et société » ;

S’assurer en premier lieu qu’on puisse faire bou- ger le système d’évaluation : sinon, on risque fort de ne brasser que du vent ;

Développer différents types de ressources (sa- voirs, savoir-faire, capacités méthodologiques, mise en projet …) et les mettre au service du trai- tement de situations d’intégration ;

Penser avant tout l’évaluation en termes de situa- tions complexes ;

− Interdisciplinarité : richesse et limites ;

Différenciation : richesse et limites.

et limites ; − Différenciation : richesse et limites. 22/32 l l l l Compte-rendu du

22/32

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

Les approches curriculaires sont liées aux valeurs. Si on considère que ces valeurs devraient être standardi-

basée sur un profil de sortie qui privilégie des situations

des ressources (savoirs, savoir-faire…) et des phases de résolution individuelle de problèmes.

sées, ces approches se feront plutôt par les standards; s’il s’agit de développer des savoirs et la culture, on aura plutôt une approche par les contenus ; si les va- leurs sont contextualisées, l’approche curriculaire sera

complexes contextualisées que l’élève va être amené

Si, chronologiquement parlant, on commence les ap- prentissages par les situations d’apprentissage des ressources, le responsable des curricula démarre la réflexion par les situations d’intégration, parce que ce sont elles qui conditionnent le reste des apprentissages

à

résoudre.

en proposant un cadre d’action.

Il

faut effectuer un recentrage vers des approches cur-

Quant aux situations d’apprentissage des ressources,

Un changement de pratiques pédagogiques met 5,

riculaires contextualisées, surtout dans nos sociétés francophones et latines. L’approche par les contenus

elles peuvent faire l’objet de travaux en petits groupes ; l’idée est que les enseignants développent les res-

a

montré ses limites. Plus on avance dans la standar-

sources spécifiques à partir des meilleures méthodes

disation, plus on se rend compte à quel point elle est peu adaptée aux valeurs de nos sociétés francophones et latines. L’école a besoin de contextualisation, elle a besoin de vie.

pédagogiques à leur disposition (ce peut être un cours magistral s’il n’y a rien d’autre) ; la première innovation qu’on introduit dans le système éducatif est la pratique des situations d’intégration. Ensuite, dans un deu-

En termes curriculaires, on pourrait dire qu’on a besoin de combiner du complexe et du concret. Peu d’ap- proches curriculaires ont réussi à articuler ces deux éléments. La Pédagogie Par Objectifs (PPO) mettait l’accent sur le concret, sur le caractère évaluable, alors que l’approche par compétences transversales ne vi- sait que sur le côté complexe des apprentissages, sans proposer de pistes crédibles pour l’évaluation.

Comme piste pour travailler conjointement sur le com- plexe et le concret, on peut citer l’approche par inté- gration des acquis, qui consiste à développer différents

xième temps, on fait évoluer les pratiques de classe en suggérant par exemple au prof de cours magistral de proposer aux élèves de mener une enquête ou de résoudre une situation-problème, qui vont être le point de départ de l’apprentissage.

10, 15 ans à s’implanter ; il faut donc accepter que cette deuxième innovation, relative aux pratiques quotidiennes de classe, s’inscrive dans le temps. En revanche, l’expérience a montré que l’introduction de la pratique des situations d’intégration peut s’installer assez rapidement.

types de ressources (savoirs, savoir-faire, capacités méthodologiques, mise en projet, etc.) et les mettre au service de situations d’intégration, que l’élève est invité

à résoudre individuellement. Ces situations sont aussi

une base pour l’évaluation : il s’agit de penser l’évalua- tion au départ de la réflexion curriculaire.

Dans une optique d’intégration des acquis, quelles si- tuations complexes l’élève doit-il pouvoir résoudre à tel ou tel moment de l’apprentissage ?

Il s’agit de deux types de situations complexes : (1) des

situations d’apprentissage (situations de recherche par groupes par exemple) dans les périodes de dévelop- pement de ressources, qui sont en général de 5 ou 6 semaines (2) des situations d’intégration à résoudre individuellement dans les périodes réservées à l’inté-

gration des acquis. On y consacre par exemple une période de deux semaines, exclusivement consacrées

à la résolution de problèmes et de situations complexes

qui amènent l’élève à mobiliser ce qu’il a appris pendant les 5 ou 6 semaines d’apprentissage de ressources.

Il y a donc alternance entre des phases d’acquisition

Au plan organisationnel

Partir de ce que sont les enseignants, plutôt que de ce qu’on voudrait qu’ils soient. Il faut partir du ter- rain, avec des échantillons représentatifs d’écoles, de tous niveaux et de tous milieux, plutôt que des laboratoires de recherche ou des écoles pilotes en- gagés dans des « innovations », qui risquent alors de ne pas être reproductibles dans des écoles de moindre niveau.

− Avoir confiance dans le potentiel d’évolution des enseignants ;

Les outiller et les encadrer.

Au plan didactique

Accepter la pluralité des démarches didactiques, mais en même temps rester très critique, et ne pas tout accepter ; toujours revenir aux trois valeurs pour évaluer la didactique (pertinence, efficacité, équité) ;

Nourrir les contenus par le complexe et par les contextes, dans le sens de la démarche d’investiga- tion ;

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

23/32

du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité

Amener les élèves à problématiser, plutôt qu’en faire les spectateurs d’expériences : l’expérience est au service d’un questionnement ; en faire le déclencheur à partir du- quel on dégage une loi ne fait qu’illustrer une loi (dérive de l’utilisation du matériel en labo) ;

− Se méfier de toute activité dans laquelle chaque élève ne mobilise pas sa réflexion ;

Utiliser les ressources d’Internet pour les connaissances et pour les démonstrations, et recentrer les cours sur la problématisation d’une part, et sur l’intégration d’autre part.

Ce sont les élèves qui doivent problématiser les contenus, pas l’enseignant. Il y a des dérives, par exemples les démons- trations en labo de physique, et dont l’aspect de démonstra- tion peut être en contradiction avec la démarche de problé- matisation. L’enjeu reste ici encore d’amener chaque élève à mobiliser sa réflexion.

Et l’enseignement supérieur ?

Apparition d’un nouveau modèle ? « L’humanisme en projet » vs l’attente d’employabilité et les bonnes pratiques ? On part du principe que la politique est bonne et que la pratique qui en découle est donc bonne aussi (rôle grandissant des politiciens et désormais des technocrates).

Il est nécessaire de retrouver chez l’élève un potentiel de réflexion critique qui relève de notre rôle de citoyen. « Mais l’humanisme tourne à vide s’il n’est pas mis en projet ». Dans ce sens, il existe des excès dans des filières académiques mais aussi, à l’inverse, des filières adossées excessivement à l’emploi.

En ce qui concerne les formations professionnalisantes : il faut dépasser le concept de professionnalisation. L’étudiant ne doit plus être acteur mais auteur de sa formation, l’enseignant chercheur ne descend pas sur le terrain, il y monte. L’enjeu didactique : s’appuyer sur des principes de didactique profes- sionnelle et les transformer en pratiques d’enseignement et d’évaluation.

B) Contrepoint (A.Grimand)

aline grimand est chargée de mission ingénierie de l’orientation, GIP PRaO, Pôle Rhône-Alpes de l’orientation.

Présentation du PRAO

GIP créé en 2004 par l’État (dont l’éducation nationale-rec- torat), la région et des partenaires sociaux. Il fédère 20 ré- seaux de l’orientation au niveau national et développe des actions dans le domaine de l’orientation et de la formation tout au long de la vie. Les OPCA, organismes paritaires

collecteurs agrées, font partie du PRAO.

Le PRAO travaille sur le plan de professionnalisation en

formation et en insertion en plus de problématiques d’orien- tations. Il a trois missions :

Développement de statistiques sur des sujets ayant un rapport avec l’emploi formation comme par exemple « les sorties du système scolaire, des contrats d’ap- prentissage, la mobilité et sur toutes études portant sur le marché du travail » ;

Développement d’informations par le biais de deux sites : Un pour les professionnels www.prao.org et un pour le public www.rhonealpes-orientation.org ; programme annuel de professionnalisation pour les professionnels de l’orientation et pour les formateurs ;

Soutien et développement de projets et dispositifs favo- risant la coopération et l’innovation entre les réseaux ainsi que porteur de la cellule ressource VAE en région.

Un grand principe : ne jamais travailler avec un seul des ré- seaux. Même si un réseau fait appel au PRAO, le principe sera de mobiliser sur chaque projet au moins trois réseaux.

Les structures AIO sont aussi adhérentes au PRAO et ré- alisent environ 400 « journées industrie » par an dans le cadre des missions du PRAO (journées de travail fournies par les réseaux dans un esprit de coopération, de participa- tion à la recherche sur l’orientation).

Présentation d’un projet : la mise en place d’une démarche de progrès en plusieurs étapes.

Projet européen pour améliorer l’orientation.

Objectif :

Viser une amélioration globale du système d’orientation, démarche partagée et contextualisée au niveau européen.

Le travail a démarré en 2003 autour des « quatre moteurs pour l’Europe » (Bade Wurtemberg, Lombardie, Rhône- Alpes et Catalogne) à partir d’un constat : les gens ont du mal à se repérer devant le nombre sans doute trop impor- tant d’acteurs de l’orientation sur les territoires. Il s’agissait alors de développer la coopération au sein des réseaux d’Orientation ; accroître la lisibilité des dispositifs d’orienta- tion (DO) ; améliorer l’accessibilité des usagers.

Première phase, le projet DROA (Développement des Réseaux pour l’Orientation Active » (de 2003 à 2006) :

Plusieurs travaux par enquêtes : état des lieux sur et avec quelques territoires régionaux (connaissance de l’existant : quels organismes, quels professionnels, quels publics, etc.) ;

organismes, quels professionnels, quels publics, etc.) ; 24/32 l l l l Compte-rendu du séminaire du

24/32

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

Travail sur les pratiques : réalisation d’une enquête pour connaître la formation initiale et continue des professionnels et les compétences jugées nécessaires par eux pour tenir leur poste de conseillers, personnels ;

− Grande enquête (menée notamment avec l’INRP) sur les usagers des DO : leur premier besoin est de trouver du tra- vail, ensuite de faire une formation, alors que les profession- nels s’attendaient à des besoins d’écoute, sur des aspects psychologiques ;

Recommandations communes entre les quatre régions eu- ropéennes pour l’amélioration des dispositifs d’orientation.

Dans un second temps, le projet AQOR (Amélioration pour la Qualité en ORientation (de 2007 à 2009) :

Dépôt d’un projet appelé “transfert d’innovation” (également projet Leonardo da Vinci) poursuite du projet avec glisse- ment de territoires: Vénétie, Pologne, université Bretagne sud, Cité des Métiers de PACA (Marseille). En Rhône- Alpes, les réseaux locaux de Bourg en Bresse et Lyon ont été territoires expérimentaux.

Mettre en pratique les recommandations, dans la dyna- mique d’une très bonne évaluation de l’agence Leonardo da Vinci ;

Diffuser les résultats : faire prendre conscience aux nou- veaux partenaires de la nécessité d’améliorer le système d’orientation ;

Etablir une liste d’indicateurs : 42 indicateurs élaborés et retravaillés quant à leur pertinence pour améliorer la qualité dans le domaine d’orientation ;

− Vérifier la validité de ces indicateurs : tests auprès des struc- tures, des professionnels de l’orientation (PO) ;

Rechercher des preuves tangibles démontrant la validité de la qualité annoncée, car il y a une demande des profession- nels.

• Utilisation

Les indicateurs représentent une base pour réaliser une auto-

évaluation du système d’orientation (utilisation d’une grille d’au- to évaluation créée dans ce cadre). Quatre catégories d’indicateurs ont été déterminées :

− Grands principes ;

− Politiques et planification ;

− Services rendus au public ;

Vie des réseaux.

20 indicateurs prioritaires ont été identifiés.

Pour mettre en œuvre une auto évaluation, il faut :

Choisir les indicateurs en fonction des objectifs de dévelop- pement que l’on se fixe, se questionner pour savoir où en est la structure par rapport à cet indicateur et trouver ensuite les preuves correspondant à sa mise en œuvres.

Chercher à améliorer, corriger, certains aspects, comme la mise en place d’un bureau fermé pour les entretiens par exemple.

Quelle utilisation de la démarche qualité ?

Mise en place de sessions de professionnalisation (qualité en orientation) régulières en Rhône-Alpes;

Utilisation des indicateurs dans la mise en place du SPFR et SPO par la Région et l’Etat;

− Diffusion européenne dans le cadre du projet DAQOR (Développement pour l’Amélioration de la Qualité en ORientation) et rédaction d’un manuel d’accompagne- ment à l’appropriation de la démarche.

l l l l

Viii - concLusion

éric guillot, responsable du Service ingénierie de formations innovantes, IFÉ

La qualité appliquée au domaine de l’éducation provoque au moins deux types de réactions, celle des pro, armés d’indicateurs, sous la bannière de l’évaluation des poli- tiques publiques ou des investissements, thuriféraires de la mesurabilité de toute action dans tout secteur et de sa mercantilisation, et celle des antis, abrités derrière le bou- clier de la pédagogie des bons sentiments, drapés dans l’école de la république, survivants du manque de moyens.

Ces deux approches fondées sur une idéologie ou un juge- ment moral, caricaturées à plaisir, enveniment un débat qui comme le prouve les interventions recensées ici pourrait permettre aux acteurs de l’éducation de prévenir certains obstacles, de remédier à certaines situations et en tous cas de tenter de percevoir de manière objective le processus en cours dont on sait la difficultés tant les facteurs et les ac- teurs sont nombreux dans la génération de connaissance.

La qualité ce peut-être d’abord évaluer, considérer un dis- positif éducatif comme un objet en soi, une mécanique pro- duisant des interactions dont il faudrait optimiser les diffé- rents éléments. Cela peut s’avérer nécessaire mais reste insuffisant sans la prise en compte de l’environnement, de la contingence, dans une approche globale qui permette de passer du constat au diagnostic. La régulation est une réponse insuffisante à résoudre certains dysfonctionne- ments et pauvre en innovation surtout quand l’évaluation fait partie des outils de l’aide à la décision. L’évaluation doit donc s’utiliser dans une dynamique qui prennent en compte non seulement les remédiations mais aussi et sur- tout permette une approche plus prospective et donc plus préventive de l’enseignement et de ses difficultés.

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

25/32

du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité

La qualité est aussi et sans doute avant tout la sa- tisfaction d’un besoin identifié, d’où l’importance des objectifs, du cahier des charges et l’individualisation du parcours de l’apprenant. Toutefois la formation professionnelle ne peut se contenter d’une approche centré sur le salarié elle doit aussi prendre en compte les attentes de l’entreprise, ce qui ne peut se faire que dans le cadre d’une co-construction, d’échanges entre l’immédiateté du besoin de compétences, la durabilité des savoirs enseignés et l’évolutivité des savoir faire acquis.

Ce triptyque professionnel répond de manière incom- plète à des attentes plus générales comme celle de « former des citoyens ». Comment évaluer les résul- tats d’une telle ambition pourtant ancrée au cœur du projet de l’Ecole en France. En l’absence de pres- criptions claires c’est aux acteurs de concevoir des normes conformes à leurs valeurs et en adéquation avec leur environnement. Complétées par l’évaluation elle doivent permettre d’approcher tout en acceptant de ne jamais l’atteindre totalement une mesure objec- tive des résultats.

La qualité est aussi à concevoir comme une dyna- mique centrée sur le résultat, un agencement des moyens et des méthodes qui tienne compte à la fois de leur mesure mais aussi du contexte et de la dura- bilité hors contexte des compétences acquises. La prescription taylorienne de la norme s’inscrit à l’op- posé dans l’obligation de moyens dont on va mesurer les effets de manière mécaniste et donc sans prendre en compte les facteurs qualitatifs externes et internes qui peuvent peser ou faciliter le processus d’appren- tissage.

C’est pour cette raison que le cadre commun de connaissances et de compétences est un excellent outil de mesure de ce qui se passe. Les 15% de décro- cheurs, les difficultés récurrentes de la filière profes- sionnelle, l’accroissement des inégalités sont autant d’éléments qui deviennent incontestables. Pourtant les réponses apportées demeurent dans l’ordre de la régulation et non de l’amélioration.

La Qualité est inséparable de son corollaire le contrôle, qui au Royaume-Uni porte principalement sur les en- seignants, le leadership, les chefs d’établissement et le curriculum. La qualité à l’anglo-saxonne passe par la responsabilisation des établissements seule ca- pable de garantir une progression des résultats. Cette idéologie de la responsabilité de la qualité se retrouve bien évidemment dans la conception de la qualité de l’enseignement supérieur. Reléguées en fin de classe- ment par les sondages évaluatifs de l’EUA les univer-

sités françaises même après le passage aux compé- tences élargies font pâle figure quand on leur demande de répondre aux indicateurs « d’accountability » chers aux universités du nord de l’Europe. Ce mouvement décrété comme inéluctable pose la question essentielle des missions confiées à l’enseignement supérieur face à la massification des ses activités de formation. Conséquence de ces démarches à base d’indicateurs l’évaluation de l’enseignement supérieur au Royaume-Uni s’exerce au travers du « publish or perish » et du questionnement de la professionnalité de l’universitaire qui tend à intégrer une approche plus réflexive du travail d’enseignant-chercheurs.

Le salut nous viendra-t-il du secteur médical, particu- lièrement exposé puisque l’évaluation tend à devenir non sans raison le monopole des patients. La prise en compte des modalités d’apprentissage, l’implication de chacun des acteurs, la définition interdisciplinaire des objectifs de formation, la reconnaissance de savoir faire dans le domaine de la pédagogie, l’évaluation tant par les pairs que par les étudiants dans un souci de propositions d’innovations propres à résoudre les difficultés rencontrées offrent un cadre à la fois rassu- rant et motivant au « quality enhancement » réclamé par les standards du New Public Management.

Autre secteur sensible à la qualité car confronté à la concurrence, les écoles d’ingénieurs. L’expérience menée à Louvain est celle d’un reengeneering des for- mations qui prend en compte les attentes des élèves comme celles de jeunes professionnels autonomes et non plus comme des sujets à éduquer. Cette refonda- tion est complétée par des modalités d’évaluation par- tagées par tous et une étude d’impact dont les critères font sens pour l’ensemble des acteurs.

La qualité comme outil de contrôle et de prescription fondé sur des batteries d’indicateurs qui ne font sens qu’auprès des décideurs semblent avoir encore de l’avenir malgré les démonstrations sur les limites de l’exercice. En revanche une approche concertée et dynamique qui prenne en compte les acteurs et leur environnement afin de faire sens devrait permettre de concevoir la qualité comme un outil souple de dia- gnostic et d’amélioration durable de l’acte éducatif. L’enjeu est de s’éloigner du jugement moral ou de l’opinion pour parvenir à une compréhension objec- tive des besoins, des moyens, des capacités en jeu au bénéfice du plus grand nombre.

l l l l

en jeu au bénéfice du plus grand nombre. l l l l 26/32 l l l

26/32

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

iX - BiBLiographie

Aubert-Lotarski, A., Demeuse, M., Derobertmasure, A., Friant, N. (2007). « Conseiller le politique: des évaluations commanditées à la prospective en édu- cation ». Les Dossiers des Sciences de l’Education, n°18, p.121-130.

Aubert-Lotarski, A., Lecointe, M., Maës, B., Rebin- guet, M. & Saint-Jean, M. (2006). Conduire un audit à visée participative. Établissements scolaires, ser- vices, associations Lyon : Chronique sociale ; Poi- tiers : École supérieure de l’Éducation nationale.

Baye, A., Demeuse, M. (2008). « The European Commission Stepping up Both the Efficiency and Equity of Education and Training Systems ». Policy Futures in Education, vol. 6, n°6, p. 771-780.

Baye, A., Mainguet, C., Demeuse, M., Hindryckx, G. (2003). « La formation continue en Belgique : profils des participants et esquisses de parcours. Exploita- tion de l’Enquête sur les Forces de Travail 2000 ». In J.L. Guyot, C. Mainguet, B. Van Haerperen (dir.), Formation professionnelle continue: dynamiques individuelles. Bruxelles : De Boeck Université (Col- lection Economie, Société, Région).

Beckers, J., Paquay, L., Coupermanne, M., Sche- pers, C., Closset, A., Foucart, J., Lemenu, D. & Theunssens, E. (2003). Quels dispositifs favorisent le développement des compétences profession- nelles dans l’enseignement supérieur ? Et à quelles conditions ? (Rapport final de recherche n°94 a et b/01). Recherche menée par l’Université catholique de Louvain, l’Université de Liège et quatre hautes écoles. En ligne : http://www.enseignement.be/

Bouchard, C., Plante, J. (2002). « La qualité : mieux la définir pour mieux la mesurer ». Les Cahiers du Service de Pédagogie expérimentale (Ulg), n° 11- 12, p. 219-236. En ligne : http://www.fastef-portedu.

Bouvier, A. (2001). L’établissement scolaire appre- nant. Paris : Éditions Hachette

Bouvier, A. (dir.) (2006). « Que savent les élèves ? », Dossier de la Revue internationale d’éducation- Sèvres, n° 43, décembre.

Bouvier, A. (2012). La gouvernance des systèmes éducatifs. 2 ème éd. Paris : PUF

Clenet, J., Rosset, P. (2005). « Conceptions et qua - lités de l’alternance : modélisation d’une expérience régionale ». Éducation Permanente, n° 163, juin, p. 43-58.

Commission européenne (2000). Rapport euro- péen sur la qualité de l’éducation scolaire. Seize indicateurs de qualité (rapport établi sur la base des travaux du groupe de travail « indicateurs de qualité »). Bruxelles : Commission européenne. En ligne : http://ec.europa.eu/education/lifelong-lear- ning-policy/doc/policy/rapin_fr.pdf

Cytermann, J.R., Demeuse, M. (2005). La lecture des indicateurs internationaux en France. Paris:

Haut Conseil de l’Evaluation de l’Ecole (n° 18, mai 2005). En ligne : http://www.ladocumentationfran- caise.fr/docfra/rapport_telechargement/var/storage/

Demeuse, M., Derobertmasure, A., & Friant, N. (2010). « Differentiated financing of schools in French-speaking Belgium: prospectives for regula- ting a school quasi-market ». Educational Research and Evaluation: An International Journal on Theory and Practice, Vol.16, n° 2, p. 197-216. En ligne :

Demeuse, M. & Strauven, C. (2006). Développer un curriculum d’enseignement ou de formation. Des options politiques au pilotage. Bruxelles : De Boeck université (Perspectives en Éducation et Forma- tion).

Demeuse, M., & Friant, N. (2010). « School segre- gation in the French Community of Belgium ». In J. Bakker, E. Denessen, D. Peters, & G. Walraven (Éds.), International perspectives on countering school segregation. Apeldoorn: Garant, p. 173-192.

Demeuse, M., Baye, A. (2007). « La Commission eu- ropéenne face à l’efficacité et l’équité des systèmes éducatifs européens ». Éducation et sociétés, vol. 2, n° 20, p. 105-119. En ligne : http://www.cairn.info/

Demeuse, M., Baye, A. (2008). Indicateurs d’équité éducative. Une analyse de la ségrégation acadé- mique et sociale dans les pays européens. Revue française de pédagogie, n°165, octobre-novembre- décembre, p. 91-103. En ligne : http://www.cairn.info/

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

27/32

du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité

Demeuse, M., Crahay, M., Monseur, C. (2001). « Efficiency and Equity ». In W. Hutmacher, D. Co- chrane, N. Bottani. Pursuit of Equity in Education. Using international indicators to compare equity policies. Doordrecht : Kluwer, p. 65-91.

Demeuse, M., Demierbe, Friant, N. (2012). Quelle évaluation des politiques d’éducation prioritaire en Europe ? Un cadre d’analyse et son application. In M. Demeuse, D. Frandji, D. Greger, J.-Y. Rochex, (dir.). Les politiques d’éducation prioritaire en Eu- rope, Tome II : Quel devenir pour l’égalité scolaire ? Lyon : ENS Editions.

Demeuse, M., Derobertmasure, A., & Friant, N. (2010). « Differentiated financing of schools in French-speaking Belgium: prospectives for regula- ting a school quasi-market ». Educational Research and Evaluation: An International Journal on Theory and Practice, vol. 16, n° 2, p. 197 – 216.

Demeuse, M., Frandji, D., Greger, D., Rochex, J.-Y. (dir.) (2012). Les politiques d’éducation prioritaire en Europe. Tome II : Quel devenir pour l’égalité sco- laire, Lyon : ENS Éditions.

Demeuse, M., Frandji, D., Greger, D., Rochex, J.Y. (dir.) (2008), Évolution des politiques d’éduca- tion prioritaire en Europe. Conceptions, mises en œuvres, débats, Lyon, INRP.

Derouet, J.L. (2000). Une science de l’administra- tion est-elle possible? Revue Française de Péda- gogie, n°130, p. 5-14. En ligne : http://www.persee.

European Group for Research on Equity in Educa- tional Systems (2005). Equity in European Educa- tional Systems : a set of indicators, European Edu- cational Research Journal, Vol. 4, n° 2, p. 1-151.

Evans, L. (2009). « Developing research capacity in the social sciences: a professionality-based mod- el », International Journal for Researcher Develop- ment, vol. 1, n° 2, p. 134-149.

Evans, L. (2009). « S/he who pays the piper calls the tune? Professionalism, developmentalism and the paucity of in-service education within the re- search profession ». Professional Development in Education, vol. 35, n° 2, p. 289-312.

Evans, L. (2010). « Developing the European re- searcher: “extended” professionality within the Bo- logna process ». Professional Development in Edu- cation, vol. 36, n° 4, p. 663-677.

Evans, L. (2011). « What research administrators need to know about researcher development: A new conceptual model ». Journal of Research Adminis- tration, vol. 42, n° 1, p. 15-37.

Figari, G. & Tourmen, C. (2006). « La référentiali- sation : une façon de modéliser l’évaluation de pro- gramme, entre théorie et pratique. Vers une com- paraison des approches au Québec et en France ». Mesure et Évaluation en Éducation, vol. 29, n° 3, p. 2-25.

Friant Nathanaël, Derobertmasure Antoine, De- meuse Marc (2008). « Les liens entre recherche prospective, description du système éducatif et pilotage : un exemple en Communauté française de Belgique ». Colloque international Efficacité et équité en éducation, Rennes, 19-21 novembre 2008. En ligne : http://halshs.archives-ouvertes.fr/

Hurteau, M., Lachapelle, G., Houle, S. (2006). Com- prendre les pratiques évaluatives afin de les amé- liorer : la modélisation du processus spécifique à l’évaluation de programme. Mesure et Évaluation en Éducation, 29(3), 27-44.

Legendre, R. (2005). Dictionnaire actuel de l’édu- cation. 3 ème éd. Montréal (Québec) : Guérin éditeur.

Lenoir, Y., Maubant, P., Hasni, A., Lebrun, J., Zaid, A., Habboub, E.M. & McConnel, A.C. (2007). A la recherche d’un cadre conceptuel pour analyser les pratiques d’enseignement. Documents du CRIE et de la CRCIE (nouvelle série). Sherbrooke : Univer- sité de Sherbrooke, Faculté d’Education, Centre de recherche sur l’intervention éducative (CRIE) et Centre de recherche interuniversitaire sur la forma- tion et la profession enseignant (CRCIE).

Loukkola Tia, Zhang Thérèse (2010). Examining quality culture : Part 1- quality assurance processes in higher education institutions. Bruxelles : Euro- pean University Association asbl. 52 p. http://www.

pdf

eua.be/pubs/Examining_Quality_Culture_Part_1. pdf 28/32 l l l l Compte-rendu du séminaire du 22 et 23

28/32

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

Mainguet, C., Demeuse, M. (1998). Scolarisation, niveau d’instruction et insertion professionnelle - Monographie du Recensement général de la popu- lation de 1991. Bruxelles : Services fédéraux des Affaires scientifiques, Techniques et Culturelles, Programme de valorisation des banques de don- nées socio-économiques fédérales, Institut national de Statistique.

Nadeau, M.-A. (1988). L’évaluation des pro- grammes. Théorie et pratique. Québec : Presses de l’Université Laval.

Raucent Benoît et al. (2004). « Devenir ingénieur par apprentissage actif : compte rendu d’innovation ». Didaskalia, n° 24, p. 81-101. En ligne : http://docu-

Roegiers Wavier (2002). Élaborer un curriculum en termes de compétences : enjeux et démarches. Paris : Agence Internationale de la Francophonie.

Roegiers Xavier (2006). « Approche par compé- tences dans l’enseignement supérieur et cadre européen de qualifications : opportunités, enjeux et dérives ». Conférence introductive du colloque La logique des compétences : chance ou danger ? Vers un cadre de qualification dans l’enseigne- ment supérieur. organisé par la Ministre Simonet, Bruxelles, 17 octobre 2006. En ligne : www.bief.be/

Roegiers Xavier (2010). Des curricula pour la for- mation professionnelle initiale. La pédagogie de l’intégration comme cadre de réflexion et d’action pour l’enseignement technique et professionnel. Bruxelles : De Boeck Université.

Scheerens, J., Demeuse, M. (2005). « The theoreti- cal basis of the effective school improvement model (ESI) ». School Effectiveness and School Improve- ment, Vol. 16, n° 4, p. 373-385.

Scheerens, J., Demeuse, M. (2005). The theoreti- cal basis of the effective school improvement model (ESI). School Effectiveness and School Improve- ment, Vol. 16, n° 4, p. 373-385.

Schmitz Julia, Frenay Mariane, Neuville Sandrine, Boudrenghien Gentiane, Wertz Vincent, Noël Ber- nadette et Eccles Jacquelynne (2010) « Étude de trois facteurs clés pour comprendre la persévérance à l’université », Revue française de pédagogie, n° 172, p. 43-61. En ligne : http://rfp.revues.org/2217

Soetewey, S., Duroisin, N., Demeuse, M. (2011). « Le curriculum oublié. Analyse comparée des pro- grammes de sciences en Belgique francophone ». Revue internationale d’Éducation- Sèvres, n° 56, p. 123-134.

Sursock Andrée (2011). Examining Quality Culture Part II: Processes and Tools – Participation, Owner- ship and Bureaucracy. Bruxelles : European Univer- sity Association asbl, 64 p. En ligne : http://www.eua. be/pubs/Examining_Quality_Culture_Part_II.pdf

Wertz Vincent (2005). « Enseigner les mathéma-

ou les apprendre ? ». L’apprentissage des

tiques

sciences en question(s), Vol. 58 59, p. 1328.

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL

Regards croisés sur la qualité en éducation et formation

29/32

du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité
30/32 NOTES l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011

30/32

NOTES

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

NOTES

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation

31/32

du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité
32/32 32/32 Veille & Analyses © ÉCoLE NormaLE SupÉrIEurE dE LyoN INStItut FraNçaIS dE L’ÉduCatIoN
32/32 32/32 Veille & Analyses © ÉCoLE NormaLE SupÉrIEurE dE LyoN INStItut FraNçaIS dE L’ÉduCatIoN

32/32

32/32

Veille & Analyses

© ÉCoLE NormaLE SupÉrIEurE dE LyoN

INStItut FraNçaIS dE L’ÉduCatIoN

agENCE QuaLItÉ ÉduCatIoN

vEILLE Et aNaLySES

15 parvis rené-Descartes

Bp 7000 – 69342 Lyon ceDex 07

stanDarD : +33 (04) 26 73 11 24

téLécopie : +33 (04) 26 73 11 45

l l l l Compte-rendu du séminaire du 22 et 23 novembre 2011 - IFÉ -ENSL Regards croisés sur la qualité en éducation et formation