Tema 3 P

Introduccin
Modelos binarios
Estimacin MV
Ef. Marginales. Prediccin
Inferencia
Modelos Multinomiales
TEMA 3. Modelos de Eleccin Discreta

Profesor: Pedro Albarrn Prez
Universidad de Alicante. Curso 2010/2011.
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Contenido
1 2
Introduccin Modelos para respuesta binaria Modelo Lineal de Probabilidad Modelos Probit y Logit.
3 4
Estimacin por Mxima Verosimilitud Efectos Marginales. Prediccin de Probabilidades Efectos Marginales Qu Efecto Marginal Utilizamos? Prediccin de Probabilidades Comparacin de parmetros entre modelos
5 6
Inferencia sobre el modelo: Bondad de ajuste y Contrastes Modelos Multinomiales
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Introduccin
En ocasiones analizamos datos donde la variable dependiente de inters toma valores discretos:
1 2
Variable dependientes binarias: endeudarse o no Variables discretas sin ordenacin: modo de transporte (tren, autobs, etc...)
3 4
Variables discretas con orden: calicacin/ rating nanciero Datos de conteo (count data) con variables discretas ordenadas que pueden tomar muchos valores diferentes: nmero de patentes de una empresa
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Un modelo de regresin lineal puede no ser lo ms adecuado en estos casos Los resultados son difciles de interpretar: no se puede hablar de cambio continuo La variable dependiente slo admite valores discretos, y puede que slo no-negativos A veces, la variable dependiente debe entenderse cualitativa y no cuantitativamente. Podemos estar interesados en estimar la probabilidad de la ocurrencia de los distintos valores de la variable dependiente
no tanto en el valor esperado predicho
Empezaremos considerando el caso ms sencillo: la variable dependiente slo toma dos valores (es binaria).
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Una variable binaria (toma slo dos valores): 1 0 con probabilidad p con probabilidad 1
Yi
el valor 1 denota que el individuo ha tomado alguna accin
sigue una distribucin de Bernoulli f (y )

E
= Pr (Y = y ) = p y (1 p )1y
Var
(Y ) = Pr (Y = 1) = p ( Y ) = p (1 p )
NO estamos interesados en esta distribucin incondicional de Y , sino en su distribucin condicional:

dadas sus caractersticas, cul es la probabilidad de que el individuo i tome una accin (Yi
= 1)
Generalizando el resultado anterior, la probabilidad de Y
=1
condicional en X es igual a la esperanza condicional de Y dado X E (Y |X

p x
= x ) = Pr (Y = 1|X = x ) = p (x )
( )
podra ser cualquier funcin
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Modelo Lineal de Probabilidad
El Modelo Lineal de Probabilidad simplemente supone que la esperanza condicional de la variable binaria Y es lineal. E (Y |X
= x ) = Pr (Y = 1|X = x ) = p (x ) = 0 + 1 x
Todo lo que ya sabemos sobre el modelo de regresin lineal se puede aplicar directamente: estimacin, contraste de hiptesis, interpretacin de los parmetros, etc. Slo debemos recordar que la esperanza condicional es, en este caso, una probabilidad. Por qu no se utiliza frecuentemente el Modelo Lineal de Probabilidad?
Introduccin
Modelos binarios
Estimacin MV
Inferencia
MLP: limitaciones
Heterocedasticidad. El Modelo Lineal de Probabilidad es, por construccin, heterocedstico Var (Y |X
= x ) = p (x ) [1 p (x )] = (0 + 1 x ) (1 0 1 x )
NO crucial: simplemente ser necesario utilizar errores estndar robustos a la presencia de heterocedasticidad
2
En un modelo lineal, los valores de E (Y |X cero y uno
= x)
(que son
probabilidades) NO estn restringidos a estar comprendidos entre
se pueden tener probabilidades mayores que uno o menores que cero el cambio en la probabilidad esperada de Y sentido
=1
puede no tener
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Modelos Probit y Logit.
Debemos garantizar que los valores de E (Y |X comprendidos entre cero y uno.
= x ) = p (x )
estn
Una eleccin natural es una funcin de distribucin acumulada F PERO slo depende de una variable
1
(),
Primero utilizaremos una funcin h (x1 , . . . , xk ) que ofrezca un nico valor (ndice)
el valor puede estar fuera del intervalo cero y uno

2
Posteriormente se aplica la funcin de distribucin acumulada al ndice

E
(Y |X = x ) = p (x ) = F (h (x1 , . . . , xk ))
y se obtienen valores entre el intervalo adecuado.
La opcin ms simple consiste en utilizar un ndice lineal h (x1 , . . . , xk )
= 0 + 1 X1 + + k Xk
()
transformar los valores
esto no supone una restriccin ahora: F al intervalo entre cero y uno
Estos modelos se denominan modelos de ndice lineal: E (Y |X
= x ) = Pr (Y = 1|X = x ) = F (0 + 1 X1 + + k Xk )
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Modelos Probit y Logit.
Aunque existen mltiples posibilidades para F

1
(),
se suelen utilizar dos
La funcin de distribucin acumulada de la normal estandarizada
z
(z ) =
z
(x ) dx =
1 2
exp
1 2
dx
donde
2
(x )
es la funcin de densidad de la normal estandarizada.
La funcin de distribucin acumulada logstica
(z ) =
+ ez
El modelo de ndice lineal que utiliza esta funcin de distribucin acumulada se denomina modelo probit: E (Y |X
= x ) = Pr (Y = 1|X = x ) = (0 + 1 X1 + + k Xk )
El modelo de ndice lineal que utiliza esta funcin de distribucin acumulada se denomina modelo logit: E (Y |X
= x ) = Pr (Y = 1|X = x ) = (0 + 1 X1 + + k Xk )
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Interpretacin de Eleccin Econmica Discreta.
Modelo de Eleccin Discreta

Consideremos un individuo que se plantea comprar un bien (un coche, una casa, etc.).
Su decisin se basara en la utilidad que obtiene con la compra del bien frente a la que obtiene si no lo compra (con la mejor alternativa posible). La utilidad del individuo de comprar el bien, Vi 1 , depende de las caractersticas del mismo, algunas de las cuales son observables (X ) y otras no ().
Supongamos que se puede expresar la utilidad como un ndice lineal de las caractersticas Vi 1
1 1 = 0 + 1 X1 i + + k Xki + i 1
Supongamos que la utilidad del individuo si no compra el bien depende de las caractersticas de la mejor alternativa posible: Vi 0
0 0 = 0 + 1 X1 i + + k Xki + i 0
El individuo comprar el bien si la utilidad de comprarlo es mayor que la de no comprarlo Vi 1
> Vi 0 .
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Se dene la variable latente Yi como la diferencia de las utilidades
(no observadas)
Yi
= Vi 1 Vi 0
S observamos la decisin del individuo que resulta de comparar ambas utilidades. 1, 0,

si el individuo compra: Yi
Yi
= Vi 1 Vi 0
si el individuo NO compra: Yi
= Vi 1 Vi 0 < 0
La variable latente Yi es un ndice lineal de comparacin de
utilidades
Yi
= 0 + 1 X1i + + k Xki + ui
donde X son diferencias en caractersticas de las dos opciones
Si queremos calcular la esperanza condicional de la variable observable Yi , tenemos E (Yi |X1i , . . . , Xki )
= =
Pr (Yi Pr (0
= 1|X1i , . . . , Xki ) = Pr (Yi > 0|X1i , . . . , Xki ) + 1 X1i + + k Xki + ui > 0|X1i , . . . , Xki )
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Slo el trmino de error ui es estocstico
E (Yi |X1i , . . . , Xki )
= =
Pr (0 + 1 X1i + + k Xki + ui > 0|X1i , . . . , Xki ) Pr (ui > 0 1 X1i k Xki |X1i , . . . , Xki )
El modelo se completa con un supuesto sobre la distribucin del trmino de error ui para calcular esta probabilidad
tpicamente, se elige una distribucin acumulada F (z ) que cumpla la propiedad de simetra: 1 por tanto,
= Pr (U < z )
F (z ) = F (z )
= = =
Pr (u > 0 1 X1 X )
i i k ki
1 Pr (u < 0 1 X1 X ) 1 F (0 1 X1 X )
i i k ki i
F ( 0 + 1 X1
+ + k Xki )
ki
Yi
E
Si ui sigue una distribucin normal, se tiene un modelo probit para
(Yi |X1i , . . . , Xki ) = Pr (Yi = 1|X1i , . . . , Xki ) = (0 + 1 X1i + + k Xki ) (Yi |X1i , . . . , Xki ) = Pr (Yi = 1|X1i , . . . , Xki ) = (0 + 1 X1i + + k Xki )
Si ui sigue una distribucin logstica, se tiene un modelo logit para Yi

E
Introduccin Intuicin
Modelos binarios
Estimacin MV
Inferencia
Ejemplo: la variable Yi toma valor 1 si al lanzar una moneda sale cara y 0 en caso contrario Se tienen muestras con dos lanzamientos: los posibles valores son
{0, 0}, {0, 1}, {1, 0}

obtener cara: p
y {1, 1}.
Se tienen tres posibles monedas con distintas probabilidades de
= {0,1; 0,5; 0,9}
La probabilidad de observar los distintos posibles valores en cada caso es: p
= 0,10
0,81 0,09 0,09 0,01
= 0,50
0,25 0,25 0,25 0,25
= 0,90
0,01 0,09 0,09 0,81
{0, 0} {0, 1} {1, 0} {1, 1}
La probabilidad de observar cada uno de los cuatro casos vara segn la moneda (parmetro p ) Si observamos una muestra concreta, cmo predecir la moneda que moneda se utiliz?
Introduccin Intuicin
Modelos binarios
Estimacin MV
Inferencia
Intuitivamente, la lgica que propone el mtodo de mxima verosimilitud es:
Dada un muestra observada, se elige como valor estimado aqul que maximiza la probabilidad (verosimilitud) de que precisamente esa muestra hubiera sido la observada.
El mtodo de mxima verosimilitud consta, pues, de dos pasos:
1
Calcular la probabilidad de cada muestra como funcin de los parmetros del modelo.
Dada una muestra observada nalmente, la probabilidad de observar esa muestra vara slo como funcin de los parmetros.
2
Estimar el parmetro cmo el valor que hace mxima la probabilidad de observar una muestra concreta
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Estimacin Mximo Verosmil del Modelo Probit
yi
1, 0,
si yi
si yi
<0
Por simplicidad, la variable latente depende linealmente de una variable explicativa

yi
0 + 1 X1 + i
N (0, 1)
i |X1
Para estimar los parmetros
0 ,1
de este modelo probit,
escribiremos la funcin de verosimilitud

esto es, calcular la probabilidad de los parmetros en funcin de la muestra que observamos
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Sea un individuo i con valores observados X1i es: Pr (Yi
= x1 i
La probabilidad de que la variable dependiente para i tome valor 1
= 1|X1i = x1i )
= = = = =
Pr (0 Pr (i 1 1
+ 1 x1 + i > 0) > 0 1 x1 )
Pr (i < 0 1 X1 ) (0 1 x1 )
( 0 + 1 x1 )
Y la probabilidad de que tome valor 0 es: Pr (Yi
= 0|X1i = x1i ) = 1 (0 + 1 x1 ) = {0, 1}

para el
Por tanto, la probabilidad de observar cada valor yi individuo i es Pr (Yi
= yi |xi 1 ; 0 , 1 ) = [ (0 + 1 x1 )]y [1 (0 + 1 x1 )]1y

i
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Si tenemos una muestra aleatoria, la probabilidad conjunta de observar a los N individuos de la muestra ser:
Pr (Y1 = y1 , . . . , YN = yN )
N
=
L ( 0 , 1 ; y1 , . . . , yn ) =
N i =1
i =1
Pr (Yi = yi |xi 1 ; 0 , 1 ) =
i i
[ (0 + 1 x1 )]y [1 (0 + 1 x1 )]1y
La probabilidad conjunta L (0 , 1 ; y1 , . . . , yn ) como funcin de los parmetros se denomina funcin de verosimilitud

para cada valor de los parmetros, informa sobre cmo de verosmil (probable) resulta que se haya generado la muestra que observamos
(y1 , . . . , yn ).
En general, resulta ms conveniente trabajar con la funcin de log-verosimilitud
log L (0 , 1 ; y1 , . . . , yn ) =
N i =1
[yi log (0 + 1 x1 )] (1 yi ) log [1 (0 + 1 x1 )]
Nuestra estimacin de los parmetros ser aquella que haga mxima esta funcin
Introduccin
Modelos binarios
Estimacin MV
Inferencia
La funcin de verosimilitud depende del supuesto distribucional del trmino de error
i |X1 N (0, 1)
Si suponemos otra distribucin (logstica, por ejemplo) para el trmino de error, entonces
el mecanismo del mtodo de mxima verosimilitud es el mismo la probabilidad conjunta calculada sera diferente
Por tanto, diferentes supuestos distribucionales implican distintas funciones de verosimilitud Asimismo, los estimadores pueden ser diferentes dependiendo del supuesto distribucional
el mximo de la funcin de (log-)verosimilitud puede ser distinto
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Propiedades de los Estimadores Mximo Verosmiles
Los estimadores y sus propiedades dependen crucialmente de qu distribucin se haya supuesto para el trmino de error.
el trmino de error es inobservable, no podemos conocer su distribucin
Si la distribucin que suponemos resulta ser la verdadera distribucin, el estimador mximo verosmil ser
1
consistente
cuando el tamao muestral es grande, el valor estimado est prximo al verdadero valor de parmetro.
2
eciente (asintticamente)
la varianza del estimador es la menor posible

Si la distribucin que suponemos no resulta ser la verdadera, no se puede garantizar esas buenas propiedades. En algunos casos, el estimador mximo verosmil sigue siendo consistente incluso si el supuesto distribucional no es cierto.
se habla de estimacin por pseudo mxima verosimilitud.
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Efectos Marginales
En los modelos de eleccin discreta,
E Y | X1 , . . . , Xj , . . . , Xk
= =
Pr
0 + 1 X1 + + j Xj + + k Xk
= 1| X1 , . . . , Xj , . . . , Xk
El efecto parcial o efecto marginal de una variable continua es:
Y | X1 , . . . , Xj , . . . , Xk Xj F
j f 0 + 1 X 1 + + j Xj + + k Xk
El efecto parcial o efecto marginal de una variable discreta es:
0 + 1 X1 + + j
cj + 1 cj
+ + k Xk + + k Xk
F
donde F
0 + 1 X1 + + j
( )
es una funcin de distribucin acumulada
( () en el probit y
( )
en el logit)
(z ) =
F (z ) es su funcin de densidad. z
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Efectos Marginales
Notad que, a diferencia de los modelos lineales ms simples,

1
El efecto marginal no depende de un nico parmetro
depende de todos los parmetros del modelo depende de la forma funcional concreta de f ()
2
El efecto marginal depende de los valores de las variables explicativas

X.
individuos con valores diferentes en al menos una variable explicativa tienen distinto efecto marginal. para cada combinacin de valores de las X tendremos distintos efectos parciales
En la prctica, se tiene un efecto marginal distinto para cada individuo de la muestra.
efectos ceteris paribus son efectos manteniendo constante el resto de variables en el valor de cada individuo
Aunque el efecto marginal de Xj no slo depende de que coincide,

f F
j ,
el signo s
() ()
0 es montona no decreciente
La signicatividad del efecto marginal tambin coincide con la del parmetro, en general
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Efectos Marginales
Ejemplo 1
E (Y |X = x ) E (Y |X = x ) E (Y |X = x )
= = =
Pr (Y = 1|X = x ) = 0 + 1 X Pr (Y = 1|X = x ) = 0 + 1 X + 2 X 2 Pr (Y = 1|X = x ) = F (0 + 1 X )

1 1 + 22 X 1 f (0 + 1 X )
Los efectos marginales son, respectivamente:
E (Y |X = x ) X E (Y |X = x ) X E (Y |X = x ) X
= = =
Ejemplo: Y
=1
si un individuo decide retirarse y X es su edad
El efecto marginal debe ser diferente para X
= 20
y X
= 60
El primer modelo lineal slo ofrece un nico efecto marginal

el promedio para los distintos valores de X
El efecto marginal depender de X de forma diferente segn

cmo se transforme X en el modelo lineal: X la forma funcional de F
2 , log X , 1
()
X ,...
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Efectos Marginales
Ejemplo
E (Y |X1 , X2 ) E (Y |X1 , X2 )
= =
2 Pr (Y = 1|X1 , X2 ) = 0 + 1 X1 + 2 X2 + 3 X2 Pr (Y = 1|X1 , X2 ) = F (0 + 1 X1 + 2 X2 )
Los efectos marginales de X2 son, respectivamente:
E (Y |X1 , X2 ) X2 E (Y |X1 , X2 ) X2
= =
2 + 23 X2 2 f ( 0 + 1 X 1 + 2 X2 )
En ambos caso, el efecto marginal de X2 es depende del valor inicial de X2 Pero cuando dos individuos tienen el mismo valor de X2 y distinto valor de X1 , el efecto marginal d
en el modelo lineal, es el mismo para ambos individuos en el modelo no lineal, es distinto porque s depende de X1
Sera necesario incluir alguna interaccin entre X1 y X2 en el modelo lineal para conseguir lo mismo
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Qu Efecto Marginal Utilizamos?
A diferencia del modelo lineal, no existe un nico efecto marginal Para cada combinacin de valores en las variables explicativas, se tiene un efecto marginal diferente
si hay muchas variables explicativas y/o toman muchos valores diferentes, mayor nmero de posibles valores del efecto marginal.
En la prctica, se tendr un efecto marginal diferente para cada individuo en la muestra.

se tiene una distribucin (muestral) de efectos parciales
Inconveniente: a priori, no tenemos un valor resumen del efecto esperado del cambio en una variable
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Efecto Marginal Evaluado en Valores Relevantes

En ocasiones, queremos el efecto marginal para un conjunto de valores bien determinado
por ejemplo, para un individuo de un determinado nivel educativo, con una renta dada, etc. para un nico conjunto de valores dados para cada variable, se tendr un nico efecto marginal
Para una variable continua, el efecto marginal evaluado en X1 = x1 , . . . , Xk = xk es:
j = em
Y | X1 , . . . , Xj , . . . , Xk = j f Xj X =x ,...,X =x
1 1
k k
0 + 1 x1 + + k xk
Y para una variable discreta:
j em
F F
0 + 1 x1 + + j
cj + 1 + + k x k 0 + 1 x1 + + j cj + + k xk
No siempre tenemos claro en qu nico conjunto de valores (para todas las variables) resulta interesante evaluar el efecto marginal.
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Efecto Marginal Evaluado en la Media (o Mediana)

Se puede utilizar la media (o mediana) de cada variable explicativa como valores representativos Para una variable continua, el efecto marginal evaluado en {X1 = x 1 , . . . , Xk = x k } es:
j = em
Y | X1 , . . . , Xj , . . . , Xk Xj X =x
1
1 ,...,
X =x
k
= j f (0 + 1 x 1 + + k x k )
k
j em
F F
0 + 1 x 1 + + j
0 + 1 x 1 + + j
cj + 1 + + k x k cj + + k x k
Esta alternativa puede resultar inadecuada:

1 2
la media no es siempre un valor representativo de una distribucin cuando se eligen valores relevantes para varias variables, la eleccin debe ser conjunta (considerando relaciones entre ellas)
el valor medio de X1 no tiene porque encontrarse asociado generalmente al valor medio de X2 .
Se puede evaluar el efecto marginal en la media de algunas variables y en valores concretos de otras
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Efecto Marginal Promedio (o Mediano, etc.)

Para cada individuo i , se obtiene su efecto marginal evaluado en
{X1 = x1i , . . . , Xk = xki }
emij =
Y | X 1 , . . . , Xj , . . . , Xk Xj X =x
1
1i ,...,
X =x
k
= j f (0 + 1 x1i + + k xki )
ki
j em
F F
0 + 1 x1 i + + j
0 + 1 x1i + + j
cj + 1 + + k xki cj + + +k xki emij
Se tiene una distribucin (muestral) de efectos marginales

puede resumirse con el Efecto Marginal Promedio
1 emj = N
i =1
Este enfoque s controla por la relacin entre variables explicativas. Como disponemos de toda la distribucin, podemos interesarnos
por percentiles representativos de la parte alta o de la parte baja por medidas de dispersin
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Nota sobre los Errores Estndar

La varianza de un efecto marginal depende de la varianza de todos los coecientes estimados y de una forma no lineal: em |X
Var
= Var j f 0 + 1 x1 + + k xk
resulta complicado calcular la varianza exacta (en muestra nitas)
Se puede utilizar el llamado mtodo delta para calcular la varianza asinttica AVar como una funcin de
la matriz de varianzas y covarianzas de los coecientes estimados
V
em |X
=J
VJ
= Var ( )
0 + 1 x1 + + k xk
el jacobiano de la funcin f
j f
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Prediccin de Probabilidades
Los modelos no lineales tambin permiten predecir los valores de la variable dependiente PERO para variables dependientes discretas, resulta ms conveniente predecir probabilidades de los valores El modelo binario se reere directamente a la probabilidad predicha de Y
=1
E [Y |X1 , X2 ]
= Pr (Y = 1|X1 , X2 ) = F 0 + 1 X1 + 2 X2
en funcin de los parmetros estimados y de los valores de las variables explicativas en los que condicionemos
La probabilidad de Y complementaria
=0
se obtiene automticamente como su
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Se tienen diversas formas de predecir probabilidades

1
Evaluada en valores concretos o en la media (mediana)
predicciones puntuales para unos valores no disponibles en la muestra (contrafactual) puede contradecir la relacin real entre variables explicativas
2
Evaluado en los valores observados para cada individuo
Como en el caso lineal, la media de la variable dependiente coincidir con la media de la probabilidad predicha
Se pueden combinar ambos enfoques: algunos valores jos y otros observados
se obtiene una distribucin de probabilidades predichas para un contrafactual (valores jados articialmente)
Debe calcularse el error estndar de las probabilidades predichas

puesto que dependen de estimaciones de parmetros
Se utiliza el mtodo delta para obtener esos errores estndar
AVar Pr (Y
donde
G = F
) =G = 1|X1 = x1 , X 2 = x2
VG
+ x 0 + 1 x1 2 2
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Comparacin de parmetros entre modelos
Los coecientes estimados en modelos Probit, Logit y de Probabilidad Lineal tienen una escala muy diferentes
logit probit logit

diferentes
4lineal 2,5lineal 1,6probit
Esto NO supone que las implicaciones de ambos modelos sea
Los efectos marginales y las probabilidades predichas son muy similares entre los tres modelos
slo existen diferencias de cierta importancia en las colas entre el probit y el logit.
Hay que recordar que el modelo lineal de probabilidad slo estima el efecto marginal promedio y la probabilidad predicha promedio
el efecto marginal promedio del logit y del probit sern similares al coeciente del modelo de probabilidad lineal
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Bondad de Ajuste
Bondad de Ajuste
El valor de la (log-)verosimilitud.
A mayor (log-)verosimilitud, mejor ser el modelo Slo puede compararse entre modelos de la misma clase
El pseudo-R
2 de McFadden:
LN
=1
LN (y )
Es una medida de la mejora relativa en la log-verosimilitud
del modelo que incluye variables explicativas, LN respecto al modelo slo con constante,LN (y ) (probabilidad media incondicional) Esta medida est entre cero y uno, PERO NO representa proporcin de varianza explicada por el modelo
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Bondad de Ajuste
Predicciones y Bondad de Ajuste

La bondad de ajuste puede medirse como capacidad para predecir adecuadamente los datos observados Las probabilidad predichas sern valores entre cero y uno, PERO los datos observados son exactamente cero o uno
1
Comparacin de probabilidades predichas con frecuencias muestrales

Se divide la muestra en g subgrupos Calculamos la diferencia entre las probabilidad media predicha y la observada en cada subgrupo
Convertir la prediccin en valores binarios y calcular el porcentaje de observaciones correctamente clasicadas

El resultado predicho de un individuo ser 1 si su probabilidad predicha supera un cierto umbral (p.e., 0.5 o la media de la variable dependiente) La medida de bondad de ajuste es el porcentaje de resultados predichos que coinciden con los observados
Introduccin Contrastes
Modelos binarios
Estimacin MV
Inferencia
Test de Wald:
estima el modelo bajo la hiptesis alternativa (modelo sin restringir) comprueba si las estimaciones satisfacen las restricciones: poca distancia a lo especicado por el modelo restringido (H0 ) Los test de Wald tienen una distribucin asinttica conocida bajo H0 Cuando la probabilidad de observar valores muy alejados es pequea de acuerdo con la distribucin normal, se rechaza H0
Test del Ratio de Verosimilitudes

se estiman el modelo no restringido (Ha ) y el restringido (H0 )
el modelo restringido siempre tendr menor verosimilitud (por imponer restricciones)

Una gran diferencia en las verosimilitudes es poco probable bajo H0 El estadstico de contraste es
LR
= 2
ln L
r ln L u
2 (q )
bajo H0
Ambos tests son asintticamente equivalentes: se obtendrn resultados similares (rechazo o no de H0 , p-valor, etc.)
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Introducin: Modelos Multinomiales
Introduccin
Los modelos binarios pueden generalizarse de varias formas:
modelos univariantes multinomiales: una variable dependiente con mltiples categoras mutuamente exclusivas
las categoras pueden ser ordenadas o no las variables explicativas pueden ser especicas de cada alternativa, etc.
modelos multivariantes para variables discretas
til para varias categoras no mutuamente exclusivas

Existen varios modelos diferentes para adecuarse a cada situacin
algunos modelos son consistentes con maximacin de utilidad
Los parmetros NO son, en general, directamente interpretables

un coeciente positivo NO implica necesariamente un aumento de la probabilidad
Los efectos marginales informan del cambio en la probabilidad de observar cada una de las distintas categoras
no en una nica probabilidad
Introduccin
Modelos binarios
Estimacin MV
Inferencia
El valor de la variable dependiente Yi para el individuo i es una de m alternativas Yi
= r,
= 1, 2, . . . , m
los valores son arbitrarios (no afectan a resultados) salvo en los modelos ordenados
La probabilidad de la alternativa r para el individuo i , condicional en las variables explicativas Xi pir donde Fr
= Pr (Yi = r |Xi ) = Fr (Xi ; )
()
depende del modelo multinomial concreto
El efecto marginal de la variable explicativa j sobre la probabilidad de la alternativa r para el individuo i es em
irj = Pr (Yi = r |Xi ) = Fr (Xi ; ) xij xij
Las probabilidades y los efectos marginales dependen de los valores concretos de las variables explicativas en que se evalen
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Estimacin por Mxima Verosimilitud

Para un individuo i
y = Pr (Yi = r |Xi ) = piy11 pim

i im
m s =1
y pis
is
donde yir
1, 0,
si Yi
=r
en caso contrario
Para una muestra aleatoria de individuos, la funcin de verosimilitud es
Pr (Y1 = y1 , . . . , YN = yN )
L () =
N m i =1 s =1 N m
i =1
Pr (Yi = r |Xi ) =
is
N m
i =1 s =1
y pis
is
[Fs (Xi ; )]y
y, por tanto, la log-verosimilitud es
ln L () =
i =1 s =1
yis ln Fs (Xi ; )
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Ya conocemos las propiedades generales del mtodo de mxima verosimilitud

por lo visto para modelos binarios
Sabemos cmo obtener los errores estndar y realizar contrastes Los estimadores mximo verosmiles tienen buenas propiedades, siempre que Fr
()
est correctamente especicado:
supuesto distribucional correcto modelo multinomial adecuado a los datos
Se puede obtener el pseudo-R
2 como medida de bondad de ajuste
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Modelos aditivos de utilidad aleatoria

Algunos modelos pueden interpretarse como resultado de maximizacin de utilidad La utilidad de la alternativa r para el individuo i resulta de la suma de
un componente determinstico Vir un componente aleatorio inobservado
U
ir
ir = Vir + ir
= r,
si obtiene
Se observa que el individuo i elige la alternativa r , Yi la mayor utilidad entre alternativas Pr (Yi
= r)
= = =
Pr (Uir Pr (Uis Pr (is
Uis ) ,
para todo s 0) , para todo s para todo s
Uir ir
Vir
Vis ) ,
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Un modelo multinomial concreto especica tpicamente: Vir
= xir + zi r
los regresores xir son variables especcas para cada alternativa
(ej. caractersticas de la opcin)

los regresores zi son variables invariantes a la alternativa, aunque potencialmente con impacto diferente en cada alternativa
(ej. caractersticas del individuo)

Una distribucin conjunta de
i 1 , . . . , im
()
distintos supuestos llevan a diferentes formas de Fr
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Logit Multinomial y Logit Condicional
Modelo Logit Multinomial

Todas las variables explicativas son invariantes a la alternativa Los errores siguen una distribucin conjunta logstica; por tanto,
pir =
el vector
exp Xi r m exp X s s =1 i
r = 1, . . . , m
se ja a cero en una categora (base)
los coecientes se interpretan con respecto a la categora base
Puede interpretarse como una serie de modelos logit para pares de alternativas
exp Xi r Pr (Yi = r ) Pr (Yi = r |Yi = r o Yi = 1) = = Pr (Yi = r ) + Pr (Yi = 1) 1 + exp Xi r

siendo s
=1
la categora base
Se pueden denir los odd-ratios o ratios de riesgos relativos
Pr (Yi = r ) = exp Pr (Yi = 1)
Xi r
alternativa j frente a la alternativa 1 cuando xirj aumenta en una unidad.
exp (rj ) representa el cambio relativo en la probabilidad de la
Introduccin
Modelos binarios
Estimacin MV
Inferencia
En lugar de una esperanza condicional, el logit multinomial ofrece la probabilidad de cada alternativa Y los correspondientes efectos marginales de los regresores sobre cada probabilidad
pir = pir r i Xi
i
i
es una media ponderada (por las probabilidades) para el individuo
del vector de coecientes en todas las alternativas
i =
m s =1
is s
El signo de los coecientes NO coincide con el del efecto marginal: para una variable xij el efecto marginal es positivo si dependen de los valores en que se evalen
j ,r > j ,i
Tanto las probabilidades predichas como los efectos marginales
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Modelo Logit Condicional
Es una extensin del modelo Logit Multinomial que permite regresores especcos para cada alternativa exp Xir
pir
m s =1 exp
Xis
+ Zi r + Zi s
= 1, . . . , m
Los coecientes de los regresores especcos de cada alternativa son fcilmente interpretables:
pir = Xjis
si
pir (1
pir ) j ,
r r
=s =s
pir pis j ,
j > 0,
un incremento de una variable en una alternativa supone
mayor probabilidad de elegir esa categora y menor de elegir el resto
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Logit Anidado (Nested Logit)
Logit Anidado
Los modelos logit multinomial/condicional imponen una restriccin: la eleccin entre pares de alternativas es un modelo logit binario
este supuesto, conocido como de
irrelevantes,
independencia de alternativas
puede ser muy restrictivo
ej.: problema del eleccin coche/bus rojo/bus azul
Es decir, suponen que los errores de cada alternativa
ir
son
independientes e idnticamente distribuidos como valor extremo El modelo Logit Anidado requiere una estructura anidada
las alternativas se reparten en grupos los errores
ir
estn correlacionados dentro del grupo, pero
incorrelacionados fuera del grupo
Por ejemplo,
modo de pesca costa playa puerto alquilado barco comprado
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Logit Anidado (Nested Logit)
Modelo Logit Anidado (cont.)

El modelo Logit Anidado se puede derivar un problema de maximizacin de utilidad
suponiendo que los errores siguen una distribucin multivariante (de valor extremo de Gumbel)
El modelo Logit Anidado se puede denir para mltiples niveles

aunque tpicamente se tienes dos
Las probabilidades del modelo Logit Anidado son similares a las de Logit Condicional
aunque con una estructura anidada especca
La interpretacin de coecientes y efectos marginales es igual a la discutida antes

segn se tengan regresores especcos de cada alternativa o no notad que si se tienen regresores no especcos a la alternativa, debe haber una categora base con su vector de parmetros igual a cero
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Modelo Probit Multinomial
Probit Multinomial
Permite relajar el supuesto de independencia de alternativas irrelevantes
permite un patrn de correlaciones en los errores muy exible no es necesario denir una estructura anidada
Dado un modelo de utilidad aleatoria, donde la utilidad de la alternativa r es Uir
= xir + zi r + ir
Se supone que los errores siguen una distribucin conjunta normal
N (0, )
donde
= (i 1 , . . . , im )
(xir xis ) + zi (r s ) ,
La probabilidad de elegir la alternativa r es
pir = Pr (Yi = r ) = Pr is ir
y difcil de resolver
para todo
implica resolver una integral de dimensin m 1, sin solucin cerrada
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Modelo Probit Multinomial
Probit Multinomial (cont.)
La estimacin del modelo necesita

imponer restricciones sobre
obtener las probabilidades integrando numricamente o utilizar el mtodo de mxima verosimilitud simulada
La interpretacin de probabilidades predichas y de efectos marginales es similar a lo discutido anteriormente
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Logit/Probit Ordenado
Modelos para variable discreta ordenada
En algunos casos, las variables categricas estn ordenadas de manera natural Sea una variable latente
Yi = Xi + ui
La variable categrica se observa segn Yi cruza secuencialmente
determinados umbrales
Yi = r , si r 1 < Yi
donde
r ,
r = 1, . . . , m
0 =
m =
Pr (r 1 < Yi r ) Pr r 1 < Xi + ui r Pr r 1 Xi < ui r Xi
La probabilidad de cada alternativa es
Pr (Yi = r )
= = = =
r Xi F r 1 Xi
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Logit/Probit Ordenado
pir
= Pr (Yi = r ) = F (r Xi ) F (r 1 Xi ) ()
depende del supuesto
La funcin de distribucin acumulada F sobre el trmino de error
si ui sigue una distribucin normal estndar, se tiene el probit ordenado F

F
() = ()
si ui sigue una distribucin logstica, se tiene el logit ordenado
() = ()
Se pueden identicar y estimar

bien m 1 umbrales o bien m
y el vector
si el modelo no incluye constante
umbrales
y el vector
incluyendo constante
Las probabilidades predichas y los efectos marginales se calculan de las formas habituales El efecto marginal de una variable continua es
Pr (Yi = r ) = [F (r Xi ) F (r 1 Xi )] j Xij
el signo del efecto marginal y del coeciente
coinciden
Introduccin
Modelos binarios
Estimacin MV
Inferencia
Modelos Multivariantes
Dos o ms variables categricas se tienen que analizar conjuntamente si
existe simultaneidad: las variables categricas dependen de las otras no existe simultaneidad, pero los errores estn correlacionados
En el caso ms sencillo tenemos dos variables binarias relacionadas slo por la correlacin de los errores: modelo bi-probit Se tienen dos variables latentes Y1i Y2i donde

= =
X1i X2i
+ 1i + 2i
1i
2i
siguen una distribucin conjunta normal
con esperanzas cero, varianzas 1 y correlacin
1, 0,
Se observan dos variables binarias Y1i
1, 0,
si Y1i si Y1i
>0
0
Y2i
si Y2i si Y2i
>0
0
existen cuatro resultados mutuamente excluyentes
Introduccin
Modelos binarios
Estimacin MV
Inferencia
SLO cuando
= 0,
se pueden estimar separadamente dos probits
El modelo conjunto se estima por mxima verosimilitud, a partir de las expresiones de las probabilidades para los cuatro casos
aunque no existe una expresin analtica cerrada
Estimando adecuadamente (de forma conjunta) se obtienen resultados sustancialmente diferentes de los probits separados
tanto en las probabilidades Pr (Y1i cuatro conjuntas como en los efectos marginales
= 1|Xi )
y Pr (Y2i
= 1|Xi ),
y en las
La generalizacin del modelo, especialmente si una variable depende de la otra, complica sustancialmente la estimacin

Tema 3 P

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Tema 3 P

Transféré par

Droits d'auteur :

Formats disponibles

Introduccin

Ef. Marginales. Prediccin

TEMA 3. Modelos de Eleccin Discreta

Universidad de Alicante. Curso 2010/2011.

Ef. Marginales. Prediccin

Inferencia sobre el modelo: Bondad de ajuste y Contrastes Modelos Multinomiales

Ef. Marginales. Prediccin

Ef. Marginales. Prediccin

Ef. Marginales. Prediccin

el valor 1 denota que el individuo ha tomado alguna accin

sigue una distribucin de Bernoulli f (y )

NO estamos interesados en esta distribucin incondicional de Y , sino en su distribucin condicional:

Generalizando el resultado anterior, la probabilidad de Y

condicional en X es igual a la esperanza condicional de Y dado X E (Y |X

podra ser cualquier funcin

Ef. Marginales. Prediccin

Modelo Lineal de Probabilidad

Modelo Lineal de Probabilidad

Ef. Marginales. Prediccin

Modelo Lineal de Probabilidad

Heterocedasticidad. El Modelo Lineal de Probabilidad es, por construccin, heterocedstico Var (Y |X

En un modelo lineal, los valores de E (Y |X cero y uno

probabilidades) NO estn restringidos a estar comprendidos entre

Ef. Marginales. Prediccin

Modelos Probit y Logit.

Debemos garantizar que los valores de E (Y |X comprendidos entre cero y uno.

el valor puede estar fuera del intervalo cero y uno

Posteriormente se aplica la funcin de distribucin acumulada al ndice

y se obtienen valores entre el intervalo adecuado.

La opcin ms simple consiste en utilizar un ndice lineal h (x1 , . . . , xk )

esto no supone una restriccin ahora: F al intervalo entre cero y uno

Estos modelos se denominan modelos de ndice lineal: E (Y |X

Ef. Marginales. Prediccin

Modelos Probit y Logit.

Aunque existen mltiples posibilidades para F

se suelen utilizar dos

La funcin de distribucin acumulada de la normal estandarizada

es la funcin de densidad de la normal estandarizada.

La funcin de distribucin acumulada logstica

Ef. Marginales. Prediccin

Interpretacin de Eleccin Econmica Discreta.

Modelo de Eleccin Discreta

El individuo comprar el bien si la utilidad de comprarlo es mayor que la de no comprarlo Vi 1

Ef. Marginales. Prediccin

Interpretacin de Eleccin Econmica Discreta.

Se dene la variable latente Yi como la diferencia de las utilidades

S observamos la decisin del individuo que resulta de comparar ambas utilidades. 1, 0,

La variable latente Yi es un ndice lineal de comparacin de

donde X son diferencias en caractersticas de las dos opciones

Ef. Marginales. Prediccin

Interpretacin de Eleccin Econmica Discreta.

Slo el trmino de error ui es estocstico

E (Yi |X1i , . . . , Xki )

Si ui sigue una distribucin normal, se tiene un modelo probit para

Si ui sigue una distribucin logstica, se tiene un modelo logit para Yi

Ef. Marginales. Prediccin

{0, 0}, {0, 1}, {1, 0}

Se tienen tres posibles monedas con distintas probabilidades de

= {0,1; 0,5; 0,9}

La probabilidad de observar los distintos posibles valores en cada caso es: p

{0, 0} {0, 1} {1, 0} {1, 1}

Ef. Marginales. Prediccin

Intuitivamente, la lgica que propone el mtodo de mxima verosimilitud es:

Se dene la variable latente Yi como la diferencia de las utilidades

resulta complicado calcular la varianza exacta (en muestra nitas)