Vous êtes sur la page 1sur 29

Net.

Doc

. 54

Comparer les universits au regard de linsertion professionnelle de leurs tudiants


Quelques simulations partir des enqutes Gnration
Alberto LOPEZ
alopez@cereq.fr

Pierre Hallier
hallier@cereq.fr Creq, 10, place de la Joliette, BP21321 13567 Marseille cedex 02

Ce document est prsent sur le site du Creq an de favoriser la diffusion et la discussion de rsultats de travaux dtudes et de recherches. Il propose un tat davancement provisoire dune rexion pouvant dboucher sur une publication. Les hypothses et points de vue quil expose, de mme que sa prsentation et son titre, nengagent pas le Creq et sont de la responsabilit des auteurs.

Juin 2009

SYNTHSE
Lvaluation des universits au regard de linsertion de leurs tudiants reprsente un enjeu important. En effet, la rcente loi sur les universits (LRU) raffirme la mission dinsertion des tablissements denseignement suprieur et pose donc la question de lvaluation des universits pour mesurer la performance de chacune au regard de cet indicateur. Cette dmarche saccompagne mme dune volont affiche de prendre en compte ce critre de performance dans lallocation des moyens aux tablissements. Au sein dun groupe de travail technique mis en place par la Direction gnrale de lenseignement suprieur (DGES devenue DGESIP) et anim par la Direction de lvaluation de la prospective et de la performance (DEPP), le Creq sest pench sur les modalits de calcul de cette valuation. Cette note sappuie sur les donnes des enqutes Gnration . Lide est de mettre profit une source de donnes existante pour apporter des lments de rflexion la mise en place dun critre de performance insertion de chaque universit et pour apprcier les limites de cette dmarche. Les options dbattues dans le groupe de travail mentionn ci-dessus ont port sur : le champ des sortants duniversit prendre en compte le choix de lindicateur dinsertion les lments du contexte universitaire neutraliser pour valuer la performance insertion de ltablissement la mthode de neutralisation de ces lments.

Les rsultats indiquent que dans beaucoup de cas, les options retenues pour la mesure de la performance insertion conditionnent les positions des universits : - la prise en compte des niveaux de sortie rduit les disparits initialement observes entre universits et modifie les classements entre les tablissements ; - les variables sociodmographiques ont une faible incidence sur les classements des universits (une fois pris en compte les effets de niveau et spcialit) ; - lenvironnement conomique local conditionner linsertion des tudiants dune universit ; - le choix de lindicateur dinsertion est le facteur le plus dterminant. Au final, positionner les universits selon linsertion de leurs tudiants suppose de choisir parmi de multiples options qui naboutiraient pas au mme classement. Ces choix doivent donc la plupart du temps tre fortement arguments.

SOMMAIRE

1. 2.

LA SOURCE GNRATION : INTRT ET LIMITES ............................................................. 5 1.1. Tailles dchantillon.................................................................................................................... 6 LES DIFFRENTES MTHODES DE NEUTRALISATION...................................................... 8 2.1. Analyse structurelle- rsiduelle (ou shift and share) ................................................................... 8 2.2. Rgression linaire ou modle logistique.................................................................................... 8 2.3. Modles multi-niveaux................................................................................................................ 8

3.

SIMULATIONS SUR LE CHOIX DES VARIABLES DE NEUTRALISATION ....................... 9 3.1. Simulation avec lanalyse structurelle / rsiduelle ...................................................................... 9 3.2. Simulation avec une rgression logistique ................................................................................ 11 SIMULATIONS SUR LE CRITRE DINSERTION................................................................. 12 SENSIBILIT DES RSULTATS LA MTHODE DE NEUTRALISATION ...................... 14 5.1. Analyse structurelle / rsiduelle versus rgression (linaire ou logistique) ........................ 14 5.2. Modle multi-niveaux versus rgression (linaire ou logistique) ............................................. 15 5.3. Prise en compte des donnes sur le tissu conomique rgional ................................................ 16

4. 5.

6. EFFET DES RESTRICTIONS DE CHAMP ............................................................................... 20 CONCLUSIONS ................................................................................................................................... 22 ANNEXE : EFFET ALATOIRE CORRESPONDANT CHAQUE UNIVERSIT DANS UNE ANALYSE MULTI-NIVEAUX DU SALAIRE ..................................................... 23

La rcente loi sur les universits (LRU) a affirm la mission dinsertion des tablissements denseignement suprieur. Dans ce contexte, lvaluation des universits va chercher mesurer jusquo chacune est performante au regard de ce nouvel objectif. Cette dmarche saccompagne mme dune volont affiche de prendre en compte ce critre de performance dans lallocation des moyens aux tablissements. Un groupe de travail technique a t mis en place par la Direction gnrale de lenseignement suprieur (DGES devenue DGESIP) pour tudier les modalits dune telle prise en compte. Ce groupe, dont lanimation est assure par la Direction de lvaluation de la prospective et de la performance (DEPP), comprend divers acteurs universitaires ainsi que le Creq. Cette note sappuie sur les donnes des enqutes Gnration du Creq. Lide est de mettre profit une source de donnes existante pour apporter des lments de rflexion dans le cadre de la mise en place dun critre de performance insertion de chaque universit et pour apprcier les limites de cette dmarche. Un tel document nentend pas argumenter en faveur dune option plutt que dune autre. Il cherche simplement examiner jusquo les positions relatives des universits varient selon les options retenues. Il entend aussi tester jusquo les effets propres attribuables au pilotage des universits sont aujourdhui effectivement discernables. Les options dbattues dans le groupe de travail anim par la DEPP mentionn ci-dessus ont port sur : le champ des sortants duniversit prendre en compte le choix de lindicateur dinsertion les lments du contexte universitaire neutraliser pour valuer la performance insertion de ltablissement la mthode de neutralisation de ces lments.

Les simulations prsentes ici portent sur chacun de ces aspects.

1. LA SOURCE GNRATION : INTRT ET LIMITES


Pour ces simulations, les donnes de deux enqutes Gnration ont t compiles : Gnration 98 et Gnration 2004. Le dispositif des enqutes Gnration (voir vue diachronique , figure 1) permet lobservation dchantillons de jeunes sortis de formation initiale la mme anne. Cela conduit des bilans dinsertion trois ans de vie active laide denqutes rptes tous les trois ans : Gnration 1998, Gnration 2001 et plus rcemment Gnration 2004 (interroge au printemps 2007). Lchantillon de Gnration 2001 tant bien plus limit que ceux des deux autres enqutes, nous navons pas utilis ici cette enqute intermdiaire.

1.1. Tailles dchantillon En compilant Gnration 98 et Gnration 2004, notre base comporte 76 universits (correctement couvertes par ces enqutes) reprsentes par 36 137 individus ayant rpondu lune des deux enqutes. La taille de lchantillon de sortants (tous niveaux) par universit est assez variable mais, pour presque toutes, elle est comprise entre 250 et 1000. Les chantillons de sortants diplms des seuls niveaux L3, M2, D sont plus limits. Une quarantaine duniversits est tout de mme reprsente par plus de 200 diplms de ces trois niveaux. Compte tenu de ces tailles dchantillon, les valeurs prises par un indicateur pour une universit donne sont entaches dun ala li au sondage. La figure 2 montre la largeur des intervalles de confiance sur un indicateur dinsertion comme la part de jeunes dans un emploi de cadre ou profession intermdiaire aprs trois ans de vie active. La position dune universit est souvent connue 3 ou 5 points prs.

Figure 1 : Le dispositif denqutes Gnration du Creq

VUE DIACHRONIQUE
Gnration 98 1e interrogation
Gnration 2001 interrogation

Gnration 2004 1e interrogation

Gnration 98 2e interrogation

Gnration 98 3e interrogation Gnration 98 4e interrogation

2001

2002

2003

2004

2005

2006

2007

Figure 2 :

90,0

Part de jeunes cadres ou professions intermdiaires trois ans aprs la fin d'tudes

80,0

70,0

60,0

50,0

40,0

30,0 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63 65 67 69 71 73

Universits

75

2. LES DIFFRENTES MTHODES DE NEUTRALISATION


Pour calculer un effet propre de luniversit en neutralisant certains lments de contexte, trois mthodes ont t employes ici : - lanalyse structurelle- rsiduelle - la rgression linaire ou modle logistique - le modle multi-niveaux. 2.1. Analyse structurelle- rsiduelle (ou shift and share) Cette mthode est trs utilise dans des comparaisons spatiales mais aussi par la DEPP dans les indicateurs de russite des lyces. On peut mentionner deux exemples types : a) Lanalyse de leffet de la structure sectorielle dactivit dune rgion sur sa croissance. On peut en effet penser que plus les secteurs porteurs sont reprsents dans le porte-feuille dactivits dune rgion et plus celle-ci aura un avantage structurel . b) Leffet des origines sociales des lves sur le taux de russite au bac. Plus les lves dun lyce proviennent de milieux favoriss (parents cadres), plus ce lyce aura une russite au bac leve. Dans cette analyse, lhypothse est que la structure conditionne le rsultat . Pour le calcul dun rsultat attendu compte tenu de la structure , on applique une rgle de trois : si le taux de russite au bac des enfants de cadre est de 90 % et que jai 200 fils de cadre dans mon lyce, jy attends 180 russites dans cette catgorie ; et de mme pour chaque autre catgorie Lcart entre les rsultats rels et attendus est dnomm l effet rsiduel . 2.2. Rgression linaire ou modle logistique Lide est de mesurer jusquo le fait de sortir dune universit plutt que dune autre conditionne linsertion professionnelle dun individu, toutes choses gales par ailleurs . Dans ce type de modle, luniversit fait partie des variables explicatives influenant linsertion dun individu. La variable universit peut ainsi intervenir aux cts dautres variables telles que le sexe, lorigine sociale, le bac dorigine, le niveau de sortie, etc. Lhypothse est que, pour un individu, les effets de chaque variable explicative se cumulent. 2.3. Modles multi-niveaux Cest encore de lconomtrie mais ces modles sont justement destins mieux cerner (et tester) les effets dtablissement . Un exemple type dutilisation de ce modle porte sur lanalyse des effets lis la scolarisation dans une classe plutt que dans une autre sur les rsultats scolaires dun lve. Les questions quon cherche clairer sont par 8

exemple : La relation entre niveau scolaire initial et niveau scolaire final est-elle variable dune classe lautre, dun tablissement lautre ? Quelles caractristiques de la classe (ou de ltablissement) influent sur cette relation ? Dans notre cas, cette mthode prsente un avantage par rapport la mthode prcdente. Elle ouvre la possibilit de prendre en compte des effets de contexte ou denvironnement de ltablissement. Par exemple, le taux de chmage local (i.e. de la rgion de ltablissement) ou la part des cadres dans lemploi local. Elle permet donc de calculer l effet universit sur linsertion, environnement conomique local donn.

3. SIMULATIONS SUR LE CHOIX DES VARIABLES DE NEUTRALISATION


3.1. Simulation avec lanalyse structurelle / rsiduelle On a dabord test leffet de la prise en compte dans la structure des niveaux de sortie puis des niveaux et spcialits de la classe de sortie avec une analyse structurelle / rsiduelle pratique sur lensemble des sortants duniversit (tous niveaux). Rsultat 1 : Sur la part des cadres et professions intermdiaires (PI), la prise en compte du niveau vient rduire les disparits initialement observs entre tablissements sur les taux bruts (variance rduite de 58 %) sans bouleverser compltement les positions relatives (voir figure 3). Les effets rsiduels (cart entre les valeurs relles et les valeurs attendues dans chaque universit compte tenu des niveaux de sortie) sont assez corrls aux carts la moyenne (R2 de 0,72). Pour autant, la position de certaines universits se trouve fortement modifie. Par exemple, en retenant directement la part de cadres ou profession intermdiaire aprs trois ans de vie active, luniversit U32 est plutt en queue de peloton (avec un taux de 49 %, soit 9 points de moins que la moyenne), alors que sur la base de leffet rsiduel cette universit est dans une position moyenne. Rsultat 2 : Sur la part des cadres et PI, la prise en compte de la spcialit (par grand domaine) en plus du niveau de sortie : ne modifie pas fondamentalement les positions relatives des universits (R2 de 0,81 ; voir figure 4) accentue lgrement les disparits sur les effets structurels (part de la variance explique accrue de 13 points) et rduit lgrement les disparits sur les effets rsiduels (part de variance explique rduite de 6 points).

Rsultat 3 : Sur le taux demploi, la prise en compte de la spcialit a un effet plus important.

Figure 3 :
Effet de la prise en compte du niveau de sortie sur la part de cadres ou PI Champ : sortants tous niveaux

15 Effet rsiduel avec prise en compte du niveau des sorties 10

y = 0,5203x - 0,0566 R2 = 0,7147

5 Ecart la moyenne des universits (en points) 15 20 25 30

0 -25 -20 -15 -10 -5 -5 0 5 10

-10

-15

Le Lecture : Chaque bulle reprsente une universit avec une surface proportionnelle son chantillon de sortants. La bulle la plus droite reprsente une universit pour laquelle 85 % des sortants sont dans un emploi de cadre ou profession intermdiaire au bout de trois ans. Son cart la moyenne est de 27 points. Leffet rsiduel (cart par rapport au taux attendu compte tenu de ses sorties par niveau de formation) est de +10. La taille de son chantillon est de 600 individus.

Figure 4 :

Effets rsiduels sur la part de cadres ou PI avec ou sans prise en compte de la spcialit

15 Effet avec prise en compte de la spcilait 10

y = 0,8268x - 0,0795 R2 = 0,8072

0 -15 -10 -5 0 5 10 Effet sans prise en compte de la spcialit 15

-5

-10

-15

10

3.2. Simulation avec une rgression logistique

Pour tester lincidence de la prise en compte dautres variables individuelles que le niveau et la spcialit de formation, le recours des rgressions linaires ou des modles logistiques apparat plus appropri. On peut en effet, y introduire de multiples variables sans grer toutes les interactions entre ces variables.

Ont ainsi t introduites les variables individuelles suivantes : type de bac obtenu (bac S versus les autres bacs) sexe (homme versus femme) CSP du pre ( cadre-PI versus les autres CSP) Lieu de naissance du pre ( hors Europe versus les autres lieux de naissance ).

Les analyses portent ici aussi (encore) sur la probabilit dtre employ comme cadre ou profession intermdiaire au bout de trois ans de vie active. Dans la figure 5, chaque universit est reprsente par une ligne dont les points correspondent successivement leffet de luniversit (par rapport luniversit de rfrence) sur linsertion : sans autre variable explicative (1er point) avec le niveau de sortie comme seule autre variable explicative (2e point) avec le niveau-domaine de formation comme autre variable explicative (3e point) avec le niveau-domaine de formation et les quatre autres caractristiques individuelles comme variables explicatives (4e point).

11

Figure 5 :
Effet "universit" sur la part de cadres-PI dans un modle logistique Champ : Tous niveaux
2

1,5

0,5

-0,5

Variables explicatives prises en compte dans le modle en dehors de l'universit :

-1 Aucune Niveau de sortie Niveau Domaine NivDom, Sexe,Origines

Rsultat : Ce graphique vient confirmer quune fois pris en compte le niveau, lintroduction de la spcialit dans les variables explicatives rduit moins les disparits entre universits. Il montre quune fois pris en compte le niveau-domaine de formation, les autres caractristiques, mme si elles conditionnent linsertion des individus, ne viennent gure faire varier les effets des universits et donc leur positionnement.

4. SIMULATIONS SUR LE CRITRE DINSERTION


La recherche dun bon indicateur dinsertion est incontournable dans une dmarche visant mesurer la performance des universits sur ce plan. La manire dont se recoupent les divers indicateurs communment utiliss pour analyser linsertion mrite dtre explore. On pourrait en effet penser que les diffrents indicateurs sont fortement corrls entre eux et dans ce cas, le choix dun indicateur plutt quun autre aurait peu dincidence. Mais nos simulations montrent quil nen est rien et que, suivant lindicateur retenu, les positions relatives des universits varient beaucoup. Pour ces simulations, nous avons retenu les rsultats danalyses structurelle / rsiduelle prenant en compte les niveau-domaine de formation pour lensemble des sortants. Rsultat 1 : Les positions des universits sur lindicateur taux demploi et celles sur le salaire (ou sur la part des emplois dure indtermine) sont trs faiblement corrles (R2 de 0,13). (figure 6). Rsultat 2 : Les positions sur lindicateur taux demploi et part des jeunes sur un emploi de cadre ou de PI sont davantage corrles mais avec un R2 de 0,4 seulement. (figure 7). Ces rsultats confirment le caractre multidimensionnel du processus dinsertion. Ils montrent que le rsultat dun palmars des universits est tributaire du choix du ou des critres (qutablir un palmars des universits est indissociable dun choix dans le ou les critres) dinsertion pris en compte. 12

Figure 6 :
Corrlations entre les positions des universits sur le taux d'em ploi et celles sur le salaire (effets rsiduels - cham p : tous niveaux) 40% Salaire 30%

20%

y = 0,0108x R2 = 0,1637

10%

0% -10 -8 -6 -4 -2 -10% 0 2 4 6 Taux d'em ploi8

-20%

Figure 7 :
Corrlations entre les positions des universits sur le taux d'em ploi et celles sur la part de cadres et PI (effets rsiduels - cham p tous niveaux) 15 Part des cadres et PI 10 y = 1,0134x - 0,1145 R2 = 0,3961

0 -10 -8 -6 -4 -2 -5 0 2 4

Taux d'em ploi 6 8

-10

-15

13

5. SENSIBILIT DES RSULTATS LA MTHODE DE NEUTRALISATION


Si le choix dun indicateur dinsertion est dcisif, le choix dune mthode de neutralisation plutt quune autre at-il vraiment beaucoup dinfluence sur le palmars obtenu ?. 5.1. Analyse structurelle / rsiduelle versus rgression (linaire ou logistique) En tenant compte des niveaux de sortie et spcialit de formation, on compare les effets rsiduels issus dune analyse structurelle / rsiduelle et les effets universit issus dune rgression. Rsultat : Il est relativement rassurant de trouver une corrlation assez leve entre les deux effets (R2 de 0,76 ; voir figure 8). Pour autant, les positions de quelques universits changent tout mme fortement. Par exemple, luniversit A dans le peloton de queue dans le modle conomtrique et luniversit B qui est troisime dans le modle conomtrique se trouvent toutes deux avec un effet rsiduel peu prs nul et donc dans une position moyenne dans lanalyse structurelle / rsiduelle.

Figure 8 :

Effet universit sur la part de cadres et PI, selon la mthode


Champ Ensemble 20 y = 18,641x - 0,2252 15 R = 0,7566
2

10

Effet rsiduel

Universit A
0 -0,8 -0,6 -0,4 -0,2 -5 0,0 0,2 0,4 0,6

Universit B
0,8 1,0

-10

-15

Effet conomtrique

14

5.2. Modle multi-niveaux versus rgression (linaire ou logistique) Rsultat : La comparaison entre les rsultats des deux mthodes conomtriques (rgression versus modle multi niveaux) avec les mmes variables explicatives (en dehors des variables universit ) rvle une convergence bien plus forte. Que ce soit sur le salaire ou la part de cadres et PI , le classement des universits est quasiment identique (figures 9 et 10).

Figure 9 : Modle multi-niveau versus rgression (salaire)


Effet alatoire dans Multiniv1
0.1600 0.1400 0.1200 0.1000 0.08000 0.06000 0.04000 0.02000 0 -0.02000 -0.04000 -0.06000 -0.08000 -0.1000 -0.1200 -0.1400 -0.19 -0.14 -0.09 -0.04 0.01 0.06 0.11 0.16 0.21

RgrLin2 avec autres explicatives

15

Figure 10 : Modle multi-niveau versus rgression (Etre cadre ou PI)


Effet alatoire dans Multiniv1
0.4000 0.3000 0.2000 0.1000 0 -0.1000 -0.2000 -0.3000 -0.4000 -0.9 -0.8 -0.7 -0.6 -0.5 -0.4 -0.3 -0.2 -0.1 0.0 0.1 0.2 0.3 0.4 0.5 0.6

RgrLin2 avec autres explicatives

5.3. Prise en compte des donnes sur le tissu conomique rgional Comme nous lavons indiqu, lanalyse multi-niveaux permet de tester leffet de variables caractrisant une universit et son environnement conomique. Ds lors la question est de savoir ce qui reste de l effet universit sur linsertion une fois quon prend en compte de telles caractristiques. Cet effet est-il trs diffrent des effets calculs prcdemment ? Rsultat 1 : Le premier rsultat est que le modle rvle des effets significatifs des taux de chmage rgional et de la part des Cadres-PI dans lemploi rgional sur le salaire (voir tableau ci-dessous). a/ Plus le chmage est faible dans la rgion et plus lemploi rgional offre des emplois de niveau suprieur, plus le salaire des sortants des universit est lev, toutes choses gales par ailleurs. b/ De mme, apparat un effet significatif de la part des Cadres-PI dans lemploi rgional sur la probabilit dtre cadre ou PI. Rsultat 2 : Un autre rsultat est remarquable. La prise en compte du tissu conomique rgional resserre notablement lventail des effets universit (figures 11 et 12) qui, en grande majorit, deviennent non significatifs (Cf. annexe). Ainsi, pour la majeure partie des universits, lavantage ou le dsavantage sur le plan de sa performance insertion ne serait donc pas ou plus discernable.

Ce rsultat pourrait renvoyer aux tailles des chantillons limites dans notre jeu de donnes. Mais il pourrait aussi renvoyer vers une difficult intrinsque lexercice que le Creq navait pas manqu de souligner lors des auditions du rapport universit emploi (rapport Hetzel) en 2005 : la mesure dun effet propre de luniversit peut savrer une entreprise trs prilleuse, aux rsultats incertains. 16

Estimation des effets fixes Effets Valeur estime Erreur type DDL Valeur du test t Pr > |t| Effet nd13 194.21 -8.22 -2.02 -4.51 -1.00 10.59 -0.05 0.51 13.85 22.29 3.06 2.59 16.73 <.0001 <.0001 0.0434 <.0001 0.3179 <.0001 0.9589 0.6118 <.0001 <.0001 0.0022 0.0096 <.0001 nd14 nd15 nd16 nd17 nd18 nd19 nd20 garon bacS perpicadre pereurop

Estimation des effets fixes (suite) Valeur estime 0.4504 0.2472 0.2360 0.4321 0.5371 0.4563 0.3724 0.5505 0.1337 0.05107 0.04321 0.000568 Erreur type 0.01121 0.02058 0.01344 0.01196 0.02326 0.03348 0.02653 0.01233 0.004277 0.005096 0.004185 0.007030 DDL 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 Valeur du test t 40.18 12.01 17.57 36.12 23.09 13.63 14.04 44.64 31.27 10.02 10.32 0.08 Pr > |t| <.0001 <.0001 <.0001 <.0001 <.0001 <.0001 <.0001 <.0001 <.0001 <.0001 <.0001 0.9356

Variables individuelles Constante gene98 nd2 nd3 nd4 nd5 nd6 nd7 nd8 nd9 nd10 nd11 nd12 6.7865 -0.05007 -0.02771 -0.06391 -0.01380 0.1335 -0.00114 0.009647 0.1786 0.2413 0.03908 0.03144 0.1903 0.03494 0.006093 0.01371 0.01417 0.01381 0.01261 0.02211 0.01901 0.01290 0.01082 0.01277 0.01213 0.01138 75 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4

Variables denvironnement conomique de ltablissement txchom txpicadre -0.00447 0.006202 0.001636 0.000707 3E4 3E4 -2.73 8.77 0.0063 <.0001

17

Figure 11 : Effet de la prise en compte du contexte conomique rgional sur les positions des universits sur lindicateur salaire

18

Figure 12 : Effet de la prise en compte du contexte conomique rgional sur les positions des universits sur lindicateur emploi de cadre ou profession intermdiaire

19

6. EFFET DES RESTRICTIONS DE CHAMP


Le groupe charg de constituer les indicateurs insertion destins moduler lallocation des moyens aux universits a videmment discut du champ des sortants considrer. Entre loption la plus large et une option focalise sur les seules sorties aux niveaux conformes au systme LMD, les effectifs concerns varient considrablement. Mais jusquo ce choix conditionne-t-il les positions relatives des universits ? A priori, trois champs peuvent tre considrs : - le champ tous niveaux : avec lensemble des jeunes sortant de luniversit vers la vie active - le champ L3 ou plus avec tous les jeunes sortant diplms au-del du niveau L3 - le champ LMD avec les jeunes conformes au LMD et sortant diplms de L3, M2 et D. Nous retenons ici lindicateur part de cadre ou PI avec une analyse structurelle / rsiduelle tenant compte du niveau-domaine de formation. Rsultat 1 : La corrlation entre les positions des universits dtermines sur lensemble du champ et celles dtermines sur le champ LMD est assez limite (voir figure 13 ; R2=0,29). Ce rsultat nest pas trs surprenant dans la mesure o le poids des sortants non conformes au LMD est assez important. Rsultat 2 : Cela dit, mme la corrlation entre LMD et L3 ou plus nest que de 0,53 et quelques universits ont des classements fort diffrents entre les deux (voir figure 14).

20

Figure 13

Corrlation entre les deux indicateurs part de PI/CADRE (rsiduel) LMD versus ensemble des sortants

15 10 Indicateur sur les diplms ( L3,M2,D) 5 0 -15 -10 -5 -5 -10 -15 -20 0 5 10 15

y = 0,5249x R2 = 0,297

Indicateur sur l'ensem ble des sortants

Figure 14
Corrlation entre les deux indicateurs part de PI/CADRE (rsiduel) LMD versus L3 ou plus

15

Indicateur sur les sortants diplms ( L3,M2,D)

10 5 0 -20 -15 -10 -5 -5 -10 -15 -20 -25 0 5 10 15 y = 0,6854x R = 0,5263


2

Indicateur sur les L3 ou plus

21

CONCLUSIONS
Dans beaucoup de cas, les options retenues pour la mesure de la performance insertion conditionnent les positions des universits. 1/ Tout dabord, la prise en compte des niveaux de sortie rduit les disparits initialement observes entre universits et modifie les classements entre les tablissements. En revanche, la spcialit semble moins influente une fois les niveaux pris en compte. Il faut toutefois rappeler que le niveau dagrgation des spcialits de formation introduit ici est assez sommaire. 2/ Un autre rsultat des simulations concerne la faible incidence des variables sociodmographiques sur les classements des universits (une fois pris en compte les effets de niveau et spcialit). 3/ En revanche, et malgr la mobilit des diplms, lenvironnement conomique local semble conditionner linsertion des tudiants dune universit. Ne pas le prendre en compte revient mieux classer des universits en raison de leur environnement conomique, lavantage des universits parisiennes Pour prendre en compte ce facteur, la mthode de neutralisation retenir est lanalyse multi-niveau. A ce stade, il est troublant de constater quune fois considr leur environnement conomique, trs peu duniversits ont une position significativement diffrente de la position moyenne. Autrement dit, une fois le contexte local neutralis, les effets propres de la grande majorit des universits deviennent indiscernables 1 4/ Enfin, le choix de lindicateur dinsertion est la fois celui qui ouvre le plus de dbats, le plus difficile argumenter et le plus dterminant. Et comme on pouvait sy attendre, le champ de sortants retenu pour observer linsertion des tudiants conditionne lui aussi le positionnement. Au final, positionner les universits selon linsertion de leurs tudiants suppose de choisir parmi de multiples options qui naboutiraient pas au mme classement. Ces choix doivent donc la plupart du temps tre fortement arguments. Les analyses multi-niveaux effectues sur les bases issues des enqutes Gnration, montrent que la comparaison de la performance insertion entre les universits constitue un rel dfi.

Pour ce qui concerne le salaire, cela est trs net. Pour ce qui concerne la probabilit demploi ou dtre employ comme cadre ou profession intermdiaire, leffet universit est dj non significatif pour beaucoup dtablissements ds lors quon prend en compte la structure des sorties par niveau et spcialit de diplme.

22

ANNEXE : EFFET ALATOIRE CORRESPONDANT CHAQUE UNIVERSIT DANS UNE ANALYSE MULTI-NIVEAUX DU SALAIRE
Variable expliquer : logarithme du salaire de lemploi trois ans Variables explicatives individuelles : sexe, niveau et domaine du diplme (obtenu ou prpar), origines socioculturelles, type de bac obtenu, indicatrice de gnration (1998 versus 2004) Variables explicatives de niveau tablissement : taux de chmage (rgion), part de cadres et professions intermdiaires dans lemploi rgional.

Effets alatoires : estimations et tests de significativit Universits U1 U10 U11 U12 U13 U14 U15 U16 U17 U18 U19 U2 U20 U21 U22 U23 U24 U25 U26 U27 U28 U29 U3 U30 U31 U32 U33 Estimation Ecart de leffet type prd -0.01407 -0.02049 -0.00939 -0.01452 0.007219 -0.00541 0.001310 -0.03927 0.02883 -0.02303 -0.04013 0.02029 -0.01597 0.03079 -0.02136 -0.00039 0.01617 -0.00508 -0.00188 0.02915 0.04283 0.02846 0.01739 -0.00815 -0.02131 -0.03954 -0.01211 0.01380 0.01602 0.01554 0.01916 0.01847 0.01278 0.02103 0.01734 0.01667 0.01468 0.02019 0.01406 0.01357 0.02146 0.01556 0.01840 0.01787 0.02109 0.02039 0.01502 0.01717 0.01745 0.01328 0.01388 0.01892 0.01728 0.01856 DDL 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 Valeur du test t -1.02 -1.28 -0.60 -0.76 0.39 -0.42 0.06 -2.27 1.73 -1.57 -1.99 1.44 -1.18 1.43 -1.37 -0.02 0.91 -0.24 -0.09 1.94 2.49 1.63 1.31 -0.59 -1.13 -2.29 -0.65 Pr > |t| 0.3079 0.2011 0.5458 0.4487 0.6959 0.6718 0.9503 0.0235 0.0838 0.1167 0.0469 0.1490 0.2395 0.1514 0.1697 0.9829 0.3654 0.8095 0.9266 0.0523 0.0126 0.1030 0.1905 0.5571 0.2601 0.0221 0.5139

23

Effets alatoires : estimations et tests de significativit Universits U34 U35 U36 U37 U38 U39 U4 U40 U41 U42 U43 U44 U45 U46 U47 U48 U49 U5 U50 U51 U52 U53 U54 U55 U56 U57 U58 U59 U6 U60 U61 U62 U63 U64 U65 U66 U67 U68 U69 Estimation Ecart de leffet type prd 0.02977 0.04532 -0.01668 -0.07717 0.01942 0.05653 -0.00192 0.08358 -0.01162 0.02825 -0.00244 -0.00444 0.006931 -0.00490 0.04886 0.01957 0.04735 -0.00083 -0.02553 -0.00824 -0.00145 -0.01302 -0.07748 -0.03535 0.002226 0.02020 0.03371 -0.04299 0.008634 -0.00339 -0.05373 0.02236 0.009522 0.06651 -0.01919 -0.02199 -0.04018 -0.02183 -0.01810 0.02259 0.01397 0.01922 0.01832 0.01813 0.01530 0.01373 0.01418 0.01320 0.01037 0.01865 0.01628 0.01809 0.02069 0.01958 0.02225 0.02320 0.01532 0.01859 0.01645 0.02207 0.02076 0.01422 0.01991 0.01306 0.01530 0.01522 0.01735 0.01908 0.01503 0.01662 0.01721 0.02215 0.02468 0.01774 0.01944 0.01615 0.01412 0.01510 DDL 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 Valeur du test t 1.32 3.24 -0.87 -4.21 1.07 3.69 -0.14 5.89 -0.88 2.72 -0.13 -0.27 0.38 -0.24 2.50 0.88 2.04 -0.05 -1.37 -0.50 -0.07 -0.63 -5.45 -1.78 0.17 1.32 2.22 -2.48 0.45 -0.23 -3.23 1.30 0.43 2.69 -1.08 -1.13 -2.49 -1.55 -1.20 Pr > |t| 0.1876 0.0012 0.3854 <.0001 0.2841 0.0002 0.8889 <.0001 0.3789 0.0064 0.8957 0.7853 0.7016 0.8126 0.0126 0.3791 0.0412 0.9567 0.1695 0.6163 0.9476 0.5305 <.0001 0.0758 0.8646 0.1866 0.0267 0.0132 0.6510 0.8218 0.0012 0.1938 0.6672 0.0070 0.2793 0.2579 0.0129 0.1220 0.2307

24

Effets alatoires : estimations et tests de significativit Universits U7 U70 U71 U72 U73 U74 U75 U76 U8 U9 Estimation Ecart de leffet type prd -0.02872 0.01875 0.000802 -0.01209 0.01315 -0.00915 0.01071 0.06151 -0.00407 -0.02748 0.01913 0.02005 0.02067 0.01908 0.02068 0.02261 0.02099 0.02219 0.01518 0.01858 DDL 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 3E4 Valeur du test t -1.50 0.94 0.04 -0.63 0.64 -0.40 0.51 2.77 -0.27 -1.48 Pr > |t| 0.1333 0.3495 0.9691 0.5263 0.5247 0.6855 0.6100 0.0056 0.7887 0.1391

25

ISSN : 1776-3177 Marseille, 2009.