N016 - POSTIAUX Nadine, BOUILLARD Philippe, BOULVAIN Marie

[Universit libre de Bruxelles, Facult des Sciences appliques, Bureau dAppui pdagogique en Polytech]

DMARCHE DAPPRENTISSAGE ET DVALUATION EN FORMATION DINGNIEURS : LE PORTFOLIO

I. LE CONTEXTE Une des difficults majeures que lon rencontre dans le cadre de la mise en oeuvre dinnovations pdagogiques est celle lie lvaluation des acquis des tudiants. Dans le cas de lapprentissage par projet, lobjectif nest pas uniquement lacquisition de connaissances mais galement le dveloppement de comptences, telles que la gestion de projet et la gestion de groupe. Dans ce cas, les objectifs sont totalement lis au processus de lapprentissage, valuer un produit fini (un rapport, une prsentation, un prototype) ne rend que trs imparfaitement compte du cheminement de ltudiant. A cette question, le portfolio semble apporter des rponses intressantes. Cet article dcrit lusage du port folio dans le cadre dun apprentissage par projet en formation dingnieurs luniversit (formation en 5 ans). Le port folio est utilis afin dvaluer les comptences acquises par des tudiants de 4me anne (BAC + 4), chargs de piloter un projet avec un groupe de 6 tudiants de premire anne. Les tudiants de 1re anne, par groupe de 6, ont eu pour mission de raliser, en 20 semaines, un prototype dont le cahier des charges est articul sur les cours de la premire anne (lance-balles, lunette de Galile). Le rle de ltudiant senior, appel chef dquipe, est de mener lquipe au terme du projet. Pour ce faire, ces tudiants, tous volontaires, sont prpars sur le plan technique et scientifique et reoivent galement une formation la gestion de projet et la gestion de groupe. Ils sont suivis rgulirement par un superviseur, professeur ou assistant et par le Bureau dAppui pdagogique. Au terme du projet, les chefs dquipe sont valus lors dun entretien dvaluation (situation la plus authentique possible par rapport une situation professionnelle relle) durant lequel ils rendront compte de la manire dont ils ont gr le projet devant trois membres du corps professoral et un reprsentant du monde professionnel. Le portfolio remis au pralable au superviseur, qui le lit en dtail, sert de support lentretien. Le superviseur est un des trois enseignants participer cet entretien. II. LE PORTFOLIO : DE QUOI SAGIT-IL ? Le portfolio [1] se dfinit comme un assemblage finalis de traces dapprentissage slectionnes par ltudiant en fonction dune tche donne - qui dmontre lvolution et les progrs de ltudiant durant le travail - qui implique la participation de ltudiant dans la compilation et la slection des traces pertinentes en fonction de critres donns
8e Biennale de lducation et de la formation Texte publi par lINRP sous lentire responsabilit des auteurs

- qui implique la rflexion personnelle de ltudiant quant son processus dapprentissage La pratique du portfolio vise apprendre ltudiant - porter un regard critique sur son travail, en assurer la rgularit et sauto-valuer - slectionner des informations en fonction de buts dtermins - rendre compte de ses comptences dans la constitution de son portfolio mais galement oralement lors de lentretien Le portfolio rpond globalement deux types de but : formatif et certificatif. Dans le premier cas, le portfolio vise principalement lapprentissage de lapprenant dans la dure. Dans le second cas, il vise davantage lvaluation par une structure externe (enseignant, commission, employeur). Parce quil est un outil privilgi pour aborder le processus dapprentissage et non uniquement son produit, il nest pas rare que le portfolio serve la fois doutil dapprentissage et fasse en outre lobjet dune valuation certificative. Ce double rle entrane plusieurs ambiguts dcrites par plusieurs auteurs [1-2] et que nous pouvons tenter de rsumer comme suit : Portfolio, outil dapprentissage personnel Portfolio, outil dvaluation certificative La forme est libre, les portfolios sont trs La forme tend se standardiser afin de tendre diversifis. vers plus dquit. Le portfolio tmoigne des russites et des Le portfolio fait lobjet dune slection dans checs des apprenants. laquelle lapprenant a tendance ne garder que les traces de ses russites. Lvaluateur, non averti, risque dvaluer Lvaluateur risque dtre dup sur les ngativement les traces des checs rencontrs comptences rellement dveloppes par par ltudiant. ltudiant : soit en extrapolant que lapprenant na pas connu dchec, soit en sous-estimant la capacit de ltudiant prendre conscience de ses checs et les analyser. Ltudiant nhsite pas crire des choses Ltudiant hsite crire des choses personnelles. personnelles. Afin de diminuer ces effets pervers, Behrens [2] prconise dune part, la rdaction dun texte intgrateur, sorte de bilan rflexif de lapprenant permettant la valorisation de lanalyse du cheminement et dautre part, la pratique dun entretien dvaluation en fin de projet durant lequel lapprenant peut faire valoir la qualit de sa rflexion par rapport aux difficults quil a rencontres, recommandations que nous avons dcid de suivre. A partir de nos recherches [1-8], voici le cadre que nous avons labor : Durant lanne : Le chef dquipe, avec laide du superviseur, collectionne toutes les pices qui lui permettent dtre efficace dans son travail. Ces pices sont de trois types :
8e Biennale de lducation et de la formation Texte publi par lINRP sous lentire responsabilit des auteurs

Traces de la prparation scientifique du projet, cest--dire ce qui est li aux connaissances ncessaires pour le projet (la matire). - Traces de la prparation technique du projet cest--dire ce qui est li la ralisation du prototype et du projet. - Traces de lencadrement du groupe (scientifique, technique et gestion de groupe) En vue de lentretien dvaluation : - Le chef dquipe slectionne les pices quil trouve les plus significatives du dveloppement de ses comptences. Il organise son portfolio de la manire qui lui parat la plus adquate et la plus ergonomique. - Il prpare galement la synthse du droulement du travail sur les trois plans : scientifique, technique et gestion du groupe (texte intgrateur). Le travail effectuer pour lvaluation est donc un travail de : - slection dinformations - de rflexion sur son travail - de communication sur les comptences acquises Les critres dvaluation sont transmis ds le dbut du projet et servent de rfrence lors de lentretien dvaluation. Nous avons opt pour la double fonction du portfolio : formatif (centr sur lapprentissage) et certificatif (objet dvaluation). III. FIN DE LA PREMIERE ANNEE : QUEL BILAN ? Le bilan propos est centr exclusivement sur la pratique du portfolio. III. 1. Analyse des 33 portfolios Deux types dvaluation : 1. Des critres dfinis partir du cadre annonc et soumis lapprobation des chefs dquipe et des superviseurs : Lvaluation du portfolio ci-dessous a t faite par le superviseur, tmoin privilgi du cheminement de ltudiant, et par un conseiller pdagogique, lecteur de tous les portfolios. N = 33 Le PF existe depuis le dbut du projet, il a accompagn le chef dquipe tout au long du projet. Le PF est riche, les informations sont nombreuses mais bien slectionnes Le PF reflte bien lvolution du travail : - Gestion du groupe - Dimension technique et scientifique Les informations montrent bien la valeur ajoute du chef dquipe. Lorganisation des informations est visible et cohrente. La prsentation du PF (forme, support, mise en page) - facilite la prise dinformations
8e Biennale de lducation et de la formation Texte publi par lINRP sous lentire responsabilit des auteurs

oui 32 20 21

non 1 13 12

21 27 27

12 6 6

2. Un classement propos par Behrens [2] reprenant les travaux de Paulson. 4 niveaux de qualit croissante Niveau 1 Un portefeuille de comptences hors propos (off-track portfolio) - collection dsordonne de traces sans slection ni organisation - pas ou peu de rflexion et dautovaluation sur les comptences dveloppes Niveau 2 Un portefeuille de comptences mergent (emerging portfolio) - intentionnalit dans la slection et lorganisation des traces - pas ou peu de rflexion et dautovaluation sur les comptences dveloppes Niveau 3 Un portefeuille de comptences pertinent (on-track portfolio) - faible organisation et faible slection des traces - rflexion et autovaluation sur les comptences dveloppes (retrace lhistoire de lapprentissage) Niveau 4 Un portefeuille de comptences excellent (outstanding portfolio) - ensemble cohrent et rflexif entre contenus et histoire dapprentissage Les caractristiques dun bon portfolio : Nous pouvons dgager 4 grandes tendances que nous avons positivement values : - Ltudiant a fait de son PF un outil de communication : il organise linformation et a le souci dexpliquer ses choix. Les rubriques sont clairement indiques, linformation la plus importante est mise en vidence. - Ltudiant sest cr ses propres outils lui permettant dorganiser son travail, de gagner du temps et daller lessentiel : un classement personnel, des formulaires pour les prparations des runions et les compte rendus de runion, des grilles dobservation du fonctionnement de groupe, des fiches de relev dheures de travail - Ltudiant a conu des documents pour aider les tudiants : fiche daide la rdaction, modle de fiche technique, formulaire dordre du jour et de rpartition des tches Et surtout : - Ltudiant analyse et met distance rgulirement le projet dans le but de commenter son volution personnelle soit en rubrique dans ses formulaires soit dans une rubrique spcifique de son PF. Les difficults principales rencontres par les tudiants dans llaboration du PF N = 33

15

8e Biennale de lducation et de la formation Texte publi par lINRP sous lentire responsabilit des auteurs

Il sagit ici des difficults releves la lecture des PF, lenqute nous apporte dautres informations au sujet des perceptions des tudiants. Une tendance se limiter la narration chronologique et subjective : Ltudiant ne parvient pas prendre de la distance pour caractriser de manire globale un fonctionnement des tudiants ou certains de ses propres comportements. Cette absence de dcentration nuit la qualit de son analyse et donc la possibilit de transfrer lexprience une situation future. Une confusion entre loutil dapprentissage et loutil dvaluation : Malgr notre connaissance du problme, mentionn dans la littrature, certains tudiants ont prouv des difficults se situer par rapport ce double objectif. III. 2. Les rsultats de lenqute de programme : Un mois aprs lvaluation des tudiants, une enqute de programme a t propose aux chefs dquipe et aux superviseurs. Les questionnaires ont t labors par un groupe de travail de 10 personnes : 6 tudiants chefs dquipe, 3 superviseurs et un conseiller pdagogique. Le taux de rponse est de 94 % pour les chefs dquipe et de 91 % pour les superviseurs. Concernant le PF, selon vous : Frquence daccord En valeur absolue et en pourcentage Chefs dquipe Superviseurs
19/31 17/31 14/31 11/30 13/30 25/31 22/30 63% 55% 45% 37% 43% 81% 73% 14/30 47% 13/30 22/30 23/30 43% 73% 77%

Le PF a permis de prendre de la distance par rapport au droulement du projet. Le PF vous parat un bon outil dapprentissage. Le PF vous parat un bon outil dvaluation. Vous avez compris en quoi consistait rellement le PF, ds le dbut. Il vous a t facile de raliser le PF. Raliser le PF vous a pris beaucoup de temps. Vous avez apprci que le PF soit une tche ouverte. Le PF vous a donn lopportunit de suivre la progression de votre chef dquipe.

Demble, nous pouvons constat que, bien que les PF rpondent aux attentes de lvaluation certificative, les chefs dquipe sont trs mitigs son gard, les rsultats suivants confirmeront cette tendance. Le rsultat le plus positif concerne la nature ouverte de la tche : 73 % des chefs dquipe ont apprci que le PF soit une tche comportant une part importante de libert. Le groupe de travail1 estime quil sagit l dun rsultat paradoxal : sil est vrai que les tudiants ont apprci cette marge importante dautonomie, cest galement cette marge dautonomie qui serait, selon lui, la cause principale de limage ngative du PF. Toujours selon le groupe de travail, les tudiants sont peu habitus cette autonomie et ne pas avoir de modle, de gabarit a gnr beaucoup dincertitude et dinconfort.

Pour rappel, le groupe de travail est compos de 6 chefs dquipe et de 3 superviseurs et il avait pour tche de proposer des interprtations la lecture des rsultats de lenqute

8e Biennale de lducation et de la formation Texte publi par lINRP sous lentire responsabilit des auteurs

A noter quun tiers seulement des chefs dquipe dclarent avoir compris demble en quoi consistait le PF.

Ce qui a sembl le plus ardu dans le Portefeuille de comptences :

le passage lcrit. la formulation de la gestion de groupe. ladhsion au principe mme du PF. la prise de recul par rapport au droulement du projet.

Frquence daccord En valeur absolue et en pourcentage Aux Chefs dquipe Aux Superviseurs 16/31 52% 13/30 43% 13/31 42% 11/30 37% 11/31 35% 14/30 47% 11/31 35% 16/30 53%

Chefs dquipe et superviseurs ne partagent pas la mme opinion concernant ce qui serait le plus ardu dans llaboration du PF. Pour les chefs dquipe, il sagit du passage lcrit, ce qui est confirm par la littrature mais infirm par leur performance. Pour les superviseurs, il sagit de la prise de recul par rapport au projet. A propos de lvaluation des chefs dquipe, selon vous,
Le PF a donn lopportunit de valoriser ce qui a t appris. Lentretien dvaluation a donn lopportunit de valoriser ce qui a t appris. La note est bien le reflet du travail quil a fourni.

Frquence daccord En valeur absolue et en pourcentage Chefs dquipe Superviseurs 13/31 42% 19/30 63% 17/31 57% 20/30 67% 17/29 59% 25/30 83%

En valuation de programme, les items relatifs lvaluation sont rarement bons. En effet, lvaluation reste bien souvent un point de tension entre apprenants et enseignants. Malgr tout, les commentaires crits des tudiants et linterprtation du groupe de travail permettent de penser quen effet, des rgulations doivent tre apportes au dispositif dvaluation et ce dautant plus que les rponses des superviseurs confirment que le dispositif actuel ne permet pas forcment ltudiant de valoriser ce quil a appris. Nous reviendrons sur ce point dans la conclusion. Ce qui vous a sembl particulirement difficile pour le chef dquipe dans ce projet, cest/ ce sont : Llaboration du portfolio. Frquence daccord En valeur absolue et en pourcentage Chefs dquipe Superviseurs 20/31 65% 19/30 63%

Enfin, interrogs sur la difficult majeure du projet, les chefs dquipe et leurs superviseurs sentendent pour considrer quil sagit de la constitution du PF. Les commentaires crits et linterprtation du groupe de travail permettent denvisager les trois interprtations suivantes : - la tche ouverte gnre sui generis des incertitudes, - le PF est un apprentissage effet retard , cest en fin de projet voire mme plus tard, lors de sa vie professionnelle, que ltudiant mesure le sens et lintrt de la dmarche,
8e Biennale de lducation et de la formation Texte publi par lINRP sous lentire responsabilit des auteurs

les attentes et la marche suivre nont pas t suffisamment explicites. IV. CONCLUSIONS ET PERSPECTIVES

Enfin, pour conclure, ce qui nous est apparu clairement durant ce projet, cest la ncessaire adhsion des tudiants (et des superviseurs) au concept mme de portfolio (et son valuation). En effet, il sagit dun travail rgulier de rflexion dans lequel ltudiant accepte non seulement de rendre des comptes mais galement de porter un regard sur lui-mme. Si ltudiant nadhre pas ce principe et ne croit pas en son efficacit, le PF risque de lui apparatre longtemps ou tout le temps, comme une contrainte administrative lourde et inutile. Au sujet du PF, un tudiant crit ceci : En tant que personne et individu astreint un travail, je continue penser quautant de rigueur nuit la crativit et lefficacit de mes activits. Mais en tant que leader, et la distinction simpose, mon rle ne doit pas tre dinnover, de crer ou de briller mais bien davoir la rigueur et la structure, dtre le cadre rassurant dans lequel voluent les autres. Etre un leader, cest tre le plus contraint des hommes libres.

IV. RFRENCES [1] ALLAL Linda et WEGMULLUER Edith. 1998. Le portfolio dans la dynamique de lentretien tripartite. Mesure et valuation en ducation Vol. 20 n3 pages 5 31. [2] BEHRENS Mathis. 1998. Le portfolio, un moyen damliorer le dialogue entre formateur et apprenant Mesure et valuation en ducation Vol. 20 n3 pages 55 83. [3] DESJARDINS Richard. 2002. Le Portfolio de Dveloppement Professionnel Continu. Chenelire McGraw-Hill ,108 p. [4] FORGETTE-GIROUX Rene et SIMON Marielle. 1998. Lapplication du dossier dapprentissage luniversit. Mesure et valuation en ducation Vol. 20 n 3 page s 85 103. [5] GOUPIL Georgette, LUSSIER-DESROCHERS Dany, BERTHIAUME Caroline, LEGAULT Anik et HENAULT. 2000. Le portfolio : un exemple dapplication dans un cours de cycle suprieur. Res Academica Vol. 18 n1 et 2 [6] McMULLAN Mirjan, ENDACOTT Ruth, GRAY Morag A, JASPER Melanie, MILLER Carolyn M.L, SCHOLES Julie et WEBB Christine. 2003. Portfolios and assessment of competence: a review of the literature. [7] PAULSON F. Leon, PAULSON Pearl R. et MEYER Carol. 1991. What Makes a Portfolio a Portfolio ? Educational Leadership. [8] PAULSON F. Leon et PAULSON Pearl R. 1994. Assessing Portfolios Using the Constructivist Paradigm. Paper presented at the annual meeting of the American Educational Research Association, New Orleans, LA.

8e Biennale de lducation et de la formation Texte publi par lINRP sous lentire responsabilit des auteurs