PISA

Programme international pour le suivi des acquis des lves

PISA 2012 Evaluation des comptences des jeunes de 15 ans en mathmatiques, lecture et sciences
Programme commun de la Confdration et des cantons

 1 2 3 4 5 6 7 8

Description du programme PISA Les comptences examines Instruments chantillons Rcolte et gestion des donnes Qualit Calendrier PISA 2012 Rsultats principaux

10

11

12

12

14

1
Description du programme PISA
Le Programme International pour le Suivi des Acquis des lves (PISA) est une valuation internationale mise sur pied par lOrganisation de coopration et de dveloppement conomiques (OCDE), qui vise tester les comptences des lves de 15 ans. Il sagit dune enqute mene tous les trois ans. Elle a pour objectif de fournir aux diffrents acteurs (dcideurs politiques, autorits scolaires, enseignants, parents, lves) des donnes comparatives permettant destimer dans quelle mesure les lves disposent des connaissances et aptitudes que la socit moderne exige. Objectifs internationaux Le programme PISA a pour but de fournir aux pays membres de lOCDE et aux pays partenaires participant lenqute des informations sur les performances des jeunes de 15 ans en lecture, en mathmatiques et en sciences. Les rsultats des enqutes PISA servent tablir en priorit trois types dindicateurs : des indicateurs de performance dans les trois domaines de comptences tests : lecture, mathmatiques et sciences ; des indicateurs contextuels (permettant dassocier les rsultats aux caractristiques des lves et des tablissements) ; des indicateurs de tendances (montrant lvolution des rsultats et des indicateurs contextuels au fil du temps). Objectifs nationaux En Suisse, PISA est un projet commun de la Confdration et des cantons. La Confdration est reprsente par lOffice fdral de la formation professionnelle et de la technologie (OFFT) et le Secrtariat dEtat lducation et la recherche (SER). Les cantons sont reprsents par la Confrence suisse des directeurs cantonaux de linstruction publique (CDIP). Ce programme a pour but de fournir des informations permettant des comparaisons lintrieur du pays la fin de la scolarit obligatoire. Ds la premire enqute PISA qui sest droule en 2000, la Suisse a dcid de constituer des chantillons dlves de 9e anne pour les trois rgions linguistiques (de langue allemande, franaise et italienne). Les cantons ont la possibilit de constituer un chantillon supplmentaire pour disposer de comparaisons et danalyses au niveau cantonal.

Organisation internationale

Organisation nationale

Chaque pays mne son enqute Direction nationale suisse PISA est un programme dcentralis de lOCDE (Organisation de La ralisation du programme PISA en Suisse est cofinance par la coopration et de dveloppement conomiques). Depuis les annes Confdration et les cantons. Les cantons y participent. Les dci1980, lOCDE collecte et publie, dans le cadre du projet INES (Indisions stratgiques et financires sont prises par un groupe de pilocators of Educational Systems), des donnes comparatives sur tage compos de reprsentants de la Confdration et des cantons. le fonctionnement et les effets des systmes ducatifs des Etats membres. Les Etats qui participent PISA collectent eux-mmes les Les institutions suivantes constituent le Consortium PISA.ch qui donnes, en troite collaboration avec la direction internationale du ralise lenqute PISA en Suisse et la valorisation des rsultats : projet. Chaque Etat finance sa propre enqute et assume une partie des cots internationaux. le consortium romand (reprsent par lInstitut de recherche et de documentation pdagogique (IRDP) et le Service de la recherche en Le rle du consortium international ducation (SRED) ; Le secrtariat de lOCDE assume la direction gnrale du pro- lInstitut fr Bildungsevaluation (IBE) de Zurich ; gramme, tandis que les principales dcisions sont prises conjoin- la Haute cole pdagogique (PHSG) de St-Gall ; tement dans le cadre du PGB (PISA Governing Board), par les gou- le Centro innovazione e ricerca sui sistemi educativi (CIRSE, SUPSI/ vernements des pays participants. Pour PISA 2012, un consortium DFA) de Locarno. international a t charg dassurer la ralisation du projet sur les plans pratique et technique, de coordonner ce dernier au niveau La direction nationale de PISA est situe lInstitut de recherche international et de veiller lapplication du concept labor par et de documentation pdagogique (IRDP) Neuchtel et Christian lOCDE pour comparer les comptences des lves. Les direcNidegger assure la fonction de Directeur national du projet (National teurs/directrices nationaux du programme se retrouvent rgulireProject Manager). ment. La Suisse y est reprsente. Le consortium a galement mis en place des groupes dexperts. En tant que pays participant au programme, la Suisse sefforce de proposer des experts suisses.
5

Pays participants PISA 2012 Albanie Allemagne Argentine Australie Autriche Belgique Brsil Bulgarie Canada Chili Chypre Colombie Core Costa Rica Croatie Danemark Duba (EAU) cosse Espagne Estonie

tats-Unis Fdration de Russie Finlande France Gorgie Grce Hong Kong-Chine Hongrie Indonsie Irlande Islande Isral Italie Japon Jordanie Kazakhstan Lettonie Liechtenstein Lituanie Luxembourg

Macao-Chine Malaisie Mexique Montngro Norvge Nouvelle-Zlande Pays-Bas Prou Pologne Portugal Qatar Rpublique slovaque Rpublique tchque Roumanie Royaume-Uni Serbie Shanghai-Chine Singapour Slovnie Sude

Suisse Tapei-Chine Thalande Tunisie Turquie Uruguay Vietnam

Pays membres de lOCDE Pays non-membres de lOCDE

2
Les comptences examines
Les enqutes PISA sont menes tous les trois ans. Les domaines examins sont la lecture (comprhension de lcrit), les mathmatiques et les sciences. chaque enqute, lune des trois matires est considre comme matire principale aux fins de lvaluation et fait lobjet dune plus grande attention. La premire srie comprend trois enqutes qui ont eu lieu respectivement en 2000, 2003 et 2006. Une deuxime srie a commenc avec PISA 2009. Lenqute PISA 2012 aura comme domaine principal les mathmatiques. Le fil conducteur pour la dfinition de toutes les comptences values par PISA est le concept dapprentissage tout au long de la vie. Lobjectif de PISA est dvaluer la littratie, un concept qui ne comprend pas uniquement lvaluation des notions acquises mais surtout la capacit de rflchir sur la base de ses propres connaissances et expriences tout comme la capacit dappliquer ces connaissances aux problmes et aux tches de la vie quotidienne. La dfinition des domaines de comptence correspondants et la cration des exercices se basent sur ce principe.
2000 2003 2006 2009 2012 Lecture Lecture Lecture Lecture Lecture Mathmatiques Mathmatiques Mathmatiques Mathmatiques Mathmatiques Sciences Sciences Sciences Sciences Sciences

En gras : matire principale

3
Instruments
Cahiers de test Les cahiers de test contiennent des exercices et des questions qui ont t labors par des groupes dexperts internationaux. Chaque pays participant collabore activement au dveloppement de ces exercices et questions. Les cahiers de test sont construits selon un systme de rotation dans lequel un groupe dexercices va tre positionn parfois au dbut dun cahier, parfois au milieu et parfois la fin. Ce systme permet de faire passer un grand nombre dexercices divers, sans toutefois ncessiter un temps de test trop long par lve. En 2012, environ 2/3 des exercices ou questions viseront valuer les comptences en mathmatiques et 1/3 des questions concerneront la lecture et les sciences. Chaque lve reoit un des cahiers de test et dispose de deux heures pour le remplir. Les questions sont poses sous trois formes diffrentes : questions choix multiple ; questions rponse courte ; questions rponse construite ouverte. Condentialit Le matriel de test remplir ainsi que celui contenant les rponses des lves est trait de manire tout fait confidentielle. Le nom de llve figure uniquement sur lenveloppe contenant son matriel de test. Lors de la saisie lectronique des rsultats des lves, leurs noms ne sont pas utiliss et seul le numro didentification subsiste. Le personnel de lcole na aucun accs au matriel de test. Exemples dexercices Des exemples dexercices et de questions se trouvent ladresse www.pisa2012.ch > exemples dexercices > mathmatiques (par exemple). On y trouve galement les solutions ces exercices et questions destines en particulier aux chercheurs, aux didacticiens et aux personnes enseignantes. Ces problmes libres daccs ont t utiliss dans le pass et ne le seront plus dans les cycles venir.

Questionnaire destin llve Le programme PISA permet de mesurer, de dcrire et de comparer les performances des lves sur la base de diffrents modles de comptences. Mais ltude des diffrences est tout aussi importante : pourquoi les lves dun pays ont-ils de meilleurs rsultats que ceux dun autre? Existe-il un lien entre la situation socio-conomique et les performances scolaires? Quelle est linfluence du sexe de llve sur les diffrentes performances? Comment ragissent les lves face aux nouvelles technologies? Le questionnaire a pour objectif de saisir les caractristiques des lves qui permettent de rpondre diffrentes questions relevant de la politique de lducation. Il faut environ 45 minutes pour remplir ce questionnaire.

Questionnaire destin lcole Les performances des lves sont galement influences par certaines particularits de lcole et de sa structure, ainsi que par son organisation de lenseignement. Afin de fournir des informations dans ce domaine, la direction de lcole remplit un questionnaire dune dure de 40 minutes. Pour la premire fois, le questionnaire destin lcole est complter en ligne. Options internationales PISA propose aux pays participants des options au niveau du questionnaire destin llve; ces options permettent de complter lenqute et de participer des explorations thmatiques. Comme lors des enqutes prcdentes, la Suisse y ajoute des questions au sujet des nouvelles technologies (accs et usage de lordinateur et dInternet). Options nationales Les pays ont en outre la possibilit de complter les questionnaires destins aux lves et aux coles par des questions particulires. La Suisse saisit cette occasion pour obtenir des informations supplmentaires de la part des lves (par exemple sur leur avenir professionnel).

4
chantillons
Afin de garantir la comparabilit des performances scolaires entre les diffrents pays, il est essentiel de dfinir des populations cibles comparables. En raison de la diffrence de structures des systmes dducation des pays participants, les populations cibles ne sont pas dfinies par un degr scolaire particulier, mais par lge des participants. PISA choisit comme population cible les lves qui ont entre 15 ans 3 mois et 16 ans 2 mois au moment de la passation de lenqute (pour simplifier, on parle des lves de 15 ans). Ainsi, on peut mesurer les performances scolaires des lves vers la fin de leur scolarit obligatoire. Ces performances peuvent tre compares au niveau international et au cours du temps. Lenqute 2012 en Suisse va prendre en considration les lves ns en 1996 et provenant des institutions scolaires suivantes : degr secondaire I : lves des 7e, 8e, 9e et 10e annes ; degr secondaire II : lves des gymnases, des coles de degr diplme, ainsi que des coles professionnelles (y compris les apprentis). chantillon international et national Pour la comparaison internationale de la performance scolaire, chaque pays slectionne au minimum 4500 lves provenant dau moins 150 coles. Les chantillons nationaux sont tirs de manire reprsentative au sein de la population cible PISA, cest--dire parmi les jeunes de 15 ans. Le tirage des chantillons seffectue en deux tapes. Dans un premier temps, on choisit les coles selon une cl de rpartition tenant compte de leur taille, cest--dire du nombre
10

de jeunes de 15 ans qui les frquentent. Dans un deuxime temps, on slectionne de manire alatoire les lves au sein des coles retenues. Des chantillons supplmentaires rgionaux et cantonaux Comme pour les enqutes prcdentes, on profite en Suisse lors de PISA 2012 dlargir lchantillon national, prescrit au niveau international, par un chantillon rgional. En plus des lves de 15 ans, un certain nombre dlves de 9e sont ajouts pour former un chantillon supplmentaire visant fournir un nombre suffisant de rpondants pour permettre des comparaisons reprsentatives des performances scolaires entre les trois rgions linguistiques de Suisse en fin de scolarit obligatoire. Comme il y a un grand nombre dlves de 15 ans en 9e, les deux chantillons se recoupent largement. Ce tirage a lavantage, par rapport lchantillon bas sur lge, de pouvoir dcrire les performances scolaires en fonction des particularits du systme dducation. Les diffrents cantons ont en plus la possibilit daugmenter le nombre dlves de lchantillon de 9e afin de pouvoir procder leurs propres comparaisons et analyses. Tous les cantons de la Suisse romande et les parties francophones des cantons bilingues, ainsi que certains cantons de la Suisse almanique ont dcids dopter pour un chantillon cantonal supplmentaire. Au moment de ldition de cette brochure, la taille de lchantillon pour lenqute 2012 nest pas encore connue en dtail. En 2009, 388 coles ont particip, soit 16300 lves, constituant les chantillons international, rgional et cantonal.

5
Rcolte et gestion des donnes
En Suisse, cest lInstitut fr Bildungsevaluation (IBE), institut associ lUniversit de Zurich qui est responsable du tirage de lchantillon ainsi que de la gestion des donnes. Le tirage de lchantillon est ralis selon une marche suivre rigoureuse dfinie par lAustralien Council for Educational Research (ACER), en collaboration troite avec la socit de recherche WESTAT Inc. des Etats-Unis. La passation de lenqute aura lieu au printemps 2012, ralise par des administrateurs de test spcialement forms pour cette tche. Ladministration des tests, la codification et la saisie des donnes, pour la Suisse almanique et la Suisse romande, ont t confies lentreprise M.I.S. Trend de Lausanne. Pour la Suisse italienne ces tapes sont ralises par le CIRSE. Codage, saisie et nettoyage des donnes Le codage des rponses, la saisie des donnes ainsi quun premier nettoyage de celles-ci, sous forme de contrles de validit, seront mens pour chacune des trois rgions linguistiques concernes et vrifis au niveau national. Lultime nettoyage des donnes sera effectu par lACER. Analyse de donnes LOCDE publie plusieurs rapports internationaux qui sont tlchargeables sur son site (www.pisa.oecd.org). En Suisse, deux rapports nationaux sont prvus, le premier avec une comparaison internationale et le deuxime avec des comparaisons rgionales et cantonales. Les premiers rapports du projet PISA 2012 paratront en dcembre 2013. Les rsultats des cantons ayant un chantillon supplmentaire feront lobjet de publications ultrieures.

11

6
Qualit
Dans une tude aussi vaste et complexe que le programme PISA, il importe daccorder une attention toute particulire au contrle de la qualit, assure aussi bien pour la ralisation des cahiers de tests et des questionnaires que pour la traduction des questions, le tirage des lves, le bon droulement des tests et le codage, la pondration et lexploitation des donnes collectes. Toutes les procdures suivent des directives internationales prcises et sont soumises des contrles de qualit de la part du consortium international responsable du programme.

7
Calendrier PISA 2012
Janvier 2008 Dcembre 2009 Prparation de lenqute au niveau international et au niveau national. Prparation des options nationales. Janvier Novembre 2010 Participation aux dveloppements internationaux. Prparation des chantillons. Novembre 2010 Mars 2011 Tirage des coles et des lves pour la pr-enqute. Prparation du matriel de test. Fevrier Juin 2011 Organisation et ralisation de la PR-ENQUTE. Aot Novembre 2011 Analyse des rsultats de la pr-enqute 2011. Choix des units pour lenqute principale. Novembre 2011 Mars 2012 Tirage des coles et des lves pour lenqute. Prparation du matriel de test.

12

Fvrier Juillet 2012 Organisation et ralisation de lENQUTE. Aot 2012 Mars 2013 Validation et pondration des donnes. Avril Dcembre 2013 Analyses et prparation du premier rapport national avec comparaisons internationales (lves de 15 ans). Avril Dcembre 2014 Analyses et rdaction du deuxime rapport national avec comparaisons rgionales et cantonales (lves de 9e).

D roulement de lenqute dans les coles 1re tape/Dcembre 2011 Les coles slectionnes reoivent une information dtaille sur le programme PISA et le droulement de lenqute. 2e tape/Dcembre 2011 Chaque cole dsigne un coordinateur qui aide le responsable rgional (ou cantonal selon le cas) tablir une liste actualise des lves incluant un certain nombre dinformations. Cette liste est utilise pour le tirage des lves. 3e tape/Ds janvier 2012 L e responsable rgional ou cantonal prend contact avec le coordinateur scolaire pour planifier les dtails de lenqute. 4e tape/Ds mars 2012 Les lves choisis et les enseignants concerns sont informs. 5e tape/Entre le 16 avril et le 25 mai 2012 Le jour dit, un administrateur de test se rend lcole et procde lenqute, avec laide du coordinateur scolaire, auprs des lves slectionns. Les lves disposent de trois heures et demie pour rpondre lenqute. Paralllement, la direction de lcole remplit un questionnaire sur ltablissement.
13

8
Rsultats principaux
PISA 2000/2003/2006/2009 : moyennes des rsultats Le tableau ci-dessous prsente les moyennes obtenues lors des enqutes PISA, dans la comparaison internationale se basant sur un chantillon dlves de quinze ans. En 2006 et en 2009 les rsultats suisses se sont situs au-dessus de la moyenne OCDE dans toutes les disciplines. volution des performances en lecture : 20002009 Le tableau suivant prsente les rsultats moyens en lecture des pays limitrophes de la Suisse et de la Finlande pour PISA 2000 et PISA 2009 ainsi que la diffrence en points entre les deux enqutes. Si la diffrence est statistiquement significative, le chiffre est crit en gras. Lillustration montre que le Liechtenstein (17 points) et lAllemagne (13 points) ont russi amliorer significativement leurs performances en lecture. En comparaison internationale, ces pays se situent dsormais, comme la Suisse, faiblement au-dessus de la moyenne de lOCDE. En Italie, en France et en Finlande, les performances en lecture sont, comme en Suisse, restes inchanges entre PISA 2000 et PISA 2009.
Moyenne 2000 Italie 487 France 505 Allemagne 484 Liechtenstein 482 Suisse 494 Finlande 546 Moyenne 2009 486 496 497 499 501 536 Diffrence en points 1 9 13 17 7 10

Les comparaisons entre les rsultats des enqutes sont possibles partir du moment o un domaine a constitu la matire principale de lenqute : la lecture depuis 2000, les mathmatiques ds 2003 et les sciences depuis 2006. 2000
2003 2006 2009

CH OCDE CH OCDE CH OCDE CH OCDE

Lecture 494 500 499 494 499 492 501 493

Mathmatiques 529 500 527 500 530 498 534 497

Sciences 496 500 513 500 512 500 517 501

En gras : moyenne significativement suprieure la moyenne OCDE

En gras : diffrences statistiquement significatives

14

volution du pourcentage dlves faibles et dlves forts en Suisse Par ailleurs, des niveaux de comptences ont t dfinis, qui permettent dinterprter les performances atteintes. Dans le cadre de PISA, les concepteurs de lenqute estiment que le niveau 2 correspond au niveau minimal de comptences pour participer effectivement la vie courante. Les lves les plus performants atteignent le niveau 6. Le fait que les performances des lves soient restes inchanges en moyenne ne donne aucune indication quant une ventuelle modification des proportions dlves trs faibles ou trs forts. Au niveau de la politique de lducation, il est particulirement intressant de savoir si la part dlves qui natteignent pas le deuxime niveau de comptences a chang. Ces lves sont certes capables de lire des textes simples, de reconnatre des informations ou de comprendre la signification dun extrait de texte prcis, mais leurs comptences en lecture ne suffisent pas pour pouvoir tirer profit efficacement de loffre de formation. Ce fait rduit leurs chances de russite pour la suite de leur formation et leur avenir professionnel. Le tableau suivant montre lvolution du pourcentage dlves faibles (qui natteignent pas le niveau 2) et dlves forts (niveaux 5 et 6) dans le domaine de la lecture. Dans le domaine des comptences en lecture, en Suisse, la part dlves faibles a diminu depuis PISA 2000 de faon statistiquement significative. Dans lenqute PISA 2000, 20.4 % des lves natteignaient pas le niveau 2 ; cette part nest plus que de 16.8 % dans PISA 2009. La proportion dlves forts ne sest pas modifie de faon significative. Les efforts particuliers dploys pour la promotion de la lecture semblent donc avoir un effet positif. La proportion dlves faibles en lecture a diminu significativement entre 2000 et 2009. Ce rsultat est attribuer surtout au fait que le dficit de performances en lecture chez les lves issus de limmigration a diminu de faon statistiquement significative durant ces neuf dernires annes.

Niveau de comptences Lecture (%) Niveau <2 Niveau 5/6

2000 20.4 9.2

2009 16.8 8.1

Variation 20002009 3.6 1.1

En gras : les modifications statistiquement significatives

15

PISA

www.pisa2012.ch

Consortium PISA.ch
Direction nationale NPM PISA 2012 + Coordination pour la Suisse romande (BE_f, FR_f, GE, JU, NE, VD, VS_f) Christian Nidegger Direction nationale PISA 2012 IRDP (Institut de recherche et de documentation pdagogique) Fbg. de lHpital 43, CP 556, 2002 Neuchtel Tlphone +41 32 889 86 03 Courriel pisa.ch@irdp.ch Coordination pour la Suisse almanique (AG, BL, BS, LU, NW, OW, SO, SZ, UR, VS_d, ZG, ZH) Institut fr Bildungsevaluation (IBE), Assoziiertes Institut der Universitt Zrich Urs Moser et Domenico Angelone Wilfriedstrasse 15, 8032 Zrich Tlphone +41 43 268 39 60 Courriel sekretariat@ibe.uzh.ch/pisa@ibe.uzh.ch Internet www.ibe.uzh.ch (AI, AR, BE_d, FL, FR_d, GL, GR_d, SG, SH, TG) Pdagogische Hochschule des Kantons St. Gallen (PHSG) Institut Professionsforschung und Kompetenzentwicklung Christian Brhwiler Notkerstrasse 27, 9000 St. Gallen Tlphone +41 71 243 94 80 Courriel pisa@phsg.ch Internet www.phsg.ch

Coordination pour la Suisse italienne (TI, GR_it) Centro innovazione e ricerca sui sistemi educativi (CIRSE), SUPSI/DFA Miriam Salvisberg Piazza San Francesco 19, 6600 Locarno Tlphone +41 58 666 68 44 Courriel miriam.salvisberg@supsi.ch Internet www.supsi.ch/dfa Administration des tests, codification et saisie des donnes pour la Suisse almanique et la Suisse romande M.I.S. Trend Sacha Stadelmann Pont-Bessires 3, 1005 Lausanne Tlphone +41 21 320 95 03 Internet www.mistrend.ch Sites internet des partenaires du projet PISA www.pisa2012.ch Site PISA du Consortium PISA.ch www.oecd.org Organisation de coopration et de dveloppement conomiques (OCDE) www.pisa.oecd.org Site de lOCDE sur le programme PISA www.acer.edu.au ACER, Australian Council for Educational Reseach, membre du consortium international PISA mypisa.acer.edu.au Site dACER sur le programme PISA www.bbt.admin.ch Office fdral de la formation professionnelle et de la technologie (OFFT) www.sbf.admin.ch Secrtariat dEtat lducation et la recherche (SER) www.cdip.ch Confrence suisse des directeurs cantonaux de linstruction publique (CDIP)

Novembre 2011