mise en uvre dune rgression logistique On peut distinguer deux usages de tels modles : expliquer la variance du phnomne afin de le prvoir au mieux, ou de faon plus ambitieuse souhaiter utiliser le modle pour dgager des processus explicatifs, des relations causales.
Les difficults lies la colinarit ou la non exognit prennent
beaucoup plus dimportance dans cette optique.
1 Variables explicatives , colonnes explicatives
Variables explicatives:
Les variables quantitatives sont reprsentes chacune par une colonne
de donnes.
Les variables qualitatives sont elles reprsentes par plusieurs colonnes:
Ainsi la CSP dun individu est caractrise par plusieurs colonnes explicatives : tre cadre suprieur , tre agriculteur
Le fait de retenir ou non une variable explicative doit tre rgl laide de tests prenant en compte lensemble des colonnes explicatives la dfinissant. Il sera en particulier dlicat dutiliser les procdures pas pas proposes par les logiciels si lon a dfini soi mme les indicatrices des modalits dune variable qualitative. En revanche lutilisation de linstruction Class dans la procdure LOGISTIC de SAS permet de rsoudre correctement ce problme. 3
2 Reprsentation dune variable explicative
Dans le cas dune variable quantitative, diverses reprsentations sont
possibles suivant que lon souhaite ou non la faire intervenir de faon linaire dans le modle. Sil est clair quune relation non linaire existe avec la variable de rponse ( lge dun automobiliste nexplique pas de faon linaire ses capacits de bon conducteur pour un assureur) on procde un dcoupage en classes
Dans le cas dune variable qualitative, on introduit autant de colonnes
indicatrices quil y a de modalits. Il est toujours possible en fonction danalyses pralables ou en fonction des rsultats dune premire modlisation de regrouper certaines modalits. Les colonnes introduites pour reprsenter une variable qualitative, ne sont pas indpendantes puisque leur somme vaut 1 quel que soit lindividu i.
Le remde consiste imposer une contrainte sur les coefficients
associs aux modalits, par exemple la somme des coefficients est gale 0. (Cest loption par dfaut de la procdure LOGISTIC) On peut aussi contraindre une des modalits avoir un coefficient gal 0. On considre alors quelle reprsente une situation de rfrence, par rapport laquelle on mesure des dviations, des diffrences. (Option PARAM=GLM dans la procdure LOGISTIC)
Mathmatiquement, le choix de cette situation de rfrence na
gnralement que peu dimportance. Un changement a pour effets une translation des coefficients ( le profil quils dessinent reste inchang) et une modification des carts-types des estimateurs. Bien videmment le nombre de coefficients significativement diffrents de zro peut changer. Ceci montre clairement que pour juger de lapport dune variable explicative qualitative on ne peut pas utiliser le nombre de coefficients significativement diffrents de zro. 5
Comme en analyse de la variance, on ne peut se contenter de
modles purement additifs.
Considrons par exemple une tude concernant le fait de faire de la
couture ( variable de rponse Y ). Les variables explicatives dont on dispose sont au nombre de deux : le sexe et lge dcoup en 3 classes : moins de 40 ans, 40 60 ans et plus de 60 ans. Si lon crit le modle sous la forme :
Y = 0 + 1 Ifemme + 2 Ige<40 + 3 Ige>60 +
Cela revient supposer que lon a des effets additifs.
Or on sait que les hommes font trs rarement de la couture, quel que soit leur ge. Ltude est donc ralisable en modlisant linteraction entre lge et le sexe laide du modle dfini par :
Quelle que soit ltude considre, se pose un problme concernant la
pondration des observations. Deux questions sont envisager :
1. Que doit-on faire si une des modalits de la variable de rponse
est sur ou sous-reprsente dans lchantillon dont on dispose ?
2. Que doit on faire si certaines modalits des variables explicatives
sont sur ou sous-reprsentes dans lchantillon dont on dispose ?
Une proprit mathmatique du modle logit permet de rpondre la
premire question :
Le modle logit ( mais pas le modle probit ) possde la proprit
que les estimateurs des paramtres de pente (cest dire, des paramtres relatifs aux variables explicatives) sont invariants une sur-reprsentation des individus ayant la caractristique dfinie par la variable de rponse. Seule la constante du modle est affecte par la sur-reprsentation .
On rencontre souvent ce phnomne dans les tudes mdicales.
Lorsque lon sintresse une maladie rare, on travaille en gnral avec un fort sur-chantillonnage des sujets malades.
La proprit cite indique donc que si le modle logistique est vrai
dans la population, peu importe que lon sur-reprsente dans lchantillon lune des modalits de la variable de rponse. 9
Il est par contre beaucoup plus difficile de rpondre la deuxime
question. En effet les estimateurs du maximum de vraisemblance pondrs et non pondrs sont diffrents car la vraisemblance dpend des effectifs des cases.
Rappelons enfin quil est toujours prfrable dutiliser des
pondrations normalises. Ainsi les rsultats obtenus concernant les tests sont utilisables.
10
4 Le problme de la non convergence
Ceci se produit chaque fois que pour une strate aucun individu, ou tous les individus sont concerns par la pratique tudie. Une analyse pralable consistant croiser les deux modalits de la variable de rponse avec toutes les modalits des variables explicatives permet de dtecter une telle situation.
On dispose alors de deux possibilits pour remdier ce problme :
- soit exclure la sous-population concerne. On travaille sur un souschantillon. - soit regrouper cette sous-population avec une strate voisine, de sorte que la frquence de la pratique cesse dtre nulle ou gale 100%. On conserve alors lchantillon complet.
11
On peut nanmoins aprs avoir rsolu les problmes de non
convergence disposer destimations fragiles.
Cest le cas lorsque lune des modalits de la variable de rponse est
trs peu reprsente dans certaines des modalits des variables explicatives.
Ceci se dtecte pralablement selon la mthode dj expose et au
niveau du modle par la prsence dcarts-types des estimateurs trs levs.
12
Autres cas de non convergence
sparation complte des deux groupes : lestimateur au sens du
maximum de vraisemblance nexiste pas. Il existe un vecteur de pseudo-estimations qui affecte correctement tous les individus leur groupe. La configuration des donnes conduit des estimations infinies, sans unicit de lestimateur. Lors des itrations, la probabilit prvue pour chaque individu dappartenir son groupe rel tend
rapidement vers 1 et le log de la vraisemblance tend vers 0.
13
Sparation quasi-complte des deux groupes :
Comme prcdemment, lestimateur au sens du maximum de vraisemblance nexiste pas. Il existe un vecteur de pseudo-estimations qui affecte correctement la plupart des individus leur groupe. La configuration des donnes conduit aussi des estimations infinies sans unicit de lestimateur. Par contre, lors des itrations le log de la vraisemblance ne diminue pas et ne tend pas vers 0 comme dans le cas de la sparation complte.
Notons que des cas de sparation complte ou quasi-complte risquent
de se rencontrer dans le cas de petits chantillons.
Remarquons que dans les deux cas particuliers voqus, lanalyse
Model Information Data Set Response Variable Number of Response Levels Number of Observations Link Function Optimization Technique
WORK.DIABET3 grp 2 145 Logit Fisher's scoring
Response Profile Ordered Value
grp
Total Frequency
1 2
0 1
33 112
Model Convergence Status
Complete separation of data points detected. WARNING: The maximum likelihood estimate does not exist. WARNING: The LOGISTIC procedure continues in spite of the above warning. Results shown are based on the last maximum likelihood iteration. Validity of the model fit is questionable.
16
Rfrences bibliographiques
Agresti, A., An Introduction to Categorical Data Analysis, Wiley,
New York, 1996.
Agresti, A.,Categorical Data Analysis, Wiley, New York, 1990.
Andersen E.B., The Statistical Analysis of Categorical Data, Springer
verlag, Berlin, 1991.
Chap, T.L., Applied Categorical Data Analysis, Wiley, New York,
1998.
Droesbeke J.-J., Lejeune M., Saporta G., diteurs, Modles
statistiques pour donnes qualitatives, Technip, Paris 2005
17
Fahrmeir, L., & Tutz, G., Multivariate Statistical Modeling Based on
Generalized Linear Models, Springer verlag, New York, 1994
Gourieroux, C., Economtrie des Variables Qualitatives, Economica,
Paris 1989
Hosmer, D., Lemeshow, S., Applied logistic regression, second
edition, Wiley, New York 2000
Jobson, J.D., Applied Multivariate Data Analysis ; Volume II :
Categorical and Multivariate Methods, Springer verlag, New York, 1992
Leblanc, D., Lollivier, S., Marpsat, M. ,& Verger, D., LEconomtrie
et ltude des comportements, Srie des documents de travail Mthodologie statistique N 0001, INSEE, Paris, 2000.
Kleinbaum, D.G., Logistic Regression : A Self-Learning text,
Springer Verlag, New York, 1994. 18
Kleinbaum, D.G., Kupper L.L., Keith, E.M., & Nizam, A., Applied Regression Analysis and Other Multivariable Methods, Duxbury Press, Pacific Grove, CA, 1998
Lebart, L., Morineau A., & Piron M., Statistique exploratoire
multidimensionnelle, Dunod, Paris, 1995
Lloyd, C.J., Statistical Analysis of Categorical Data, Wiley, New
![[memo]sigma2_proof.pdf](https://imgv2-2-f.scribdassets.com/img/document/467340219/149x198/7fe68edce3/1593426842?v=1)
