PUNTUAL ESTIMACION

Juli an de la Horra Departamento de Matem aticas U.A.M.

Introducci on

En este cap tulo, vamos a abordar la Estimaci on Puntual, que es uno de los tres grandes conjuntos de t ecnicas que utilizaremos en la Inferencia Estad stica. La situaci on general que vamos a considerar es la siguiente: Disponemos de una muestra aleatoria (X1 , ..., Xn ) de una caracter stica X de una poblaci on. Pensamos que esta caracter stica puede ser adecuadamente modelizada mediante un modelo de probabilidad con funci on de masa P (x) (en el caso discreto) o con funci on de densidad f (x) (en el caso continuo). En cualquiera de los casos, lo u nico que nos falta por conocer es el valor del par ametro que es desconocido. Lo que tratamos de hacer en este cap tulo es encontrar estimaciones puntuales de este par ametro desconocido. En primer lugar, se plantear an dos ejemplos sencillos que servir an como motivaci on. Ejemplo 1.- En los ejercicios de c alculo de probabilidades, siempre se suele hablar de monedas equilibradas pero, naturalmente, no todas lo son. Nos gustar a conocer aproximadamente (estimar) la probabilidad de cara de una determinada moneda, y llamamos p = P (Cara). Necesitamos datos, para lo cual lanzamos la moneda, por ejemplo, 100 veces, y anotamos los resultados. Supongamos que obtenemos 55 caras y 45 cruces. Desde un punto de vista formal, las caras y las cruces pueden ser codicadas mediante unos y ceros, de modo que tenemos una muestra aleatoria (X1 , ..., X100 ) de X= 1 (si sale cara) con probabilidad p 0 (si sale cruz) con probabilidad 1 p

y, por tanto, X puede ser modelizada mediante un modelo de Bernoulli con par ametro p desoconocido. En este caso sencillo, parece razonable estimar la probabilidad de cara de la siguiente forma: p = Frecuencia relativa de caras = 55 N umero de caras obtenidas = = 0, 55 N umero de lanzamientos 100

Ejemplo 2.- Estamos interesados en conocer aproximadamente (estimar) el nivel medio de colesterol, , de las personas de una poblaci on. No se puede abordar el estudio en toda la poblaci on porque el n umero total de individuos es muy grande. Necesitamos datos para poder dar una estimaci on de . Mediremos el nivel de colesterol de, por ejemplo, 100 individuos elegidos al azar. Supongamos que el nivel medio de colesterol que obtenemos en la muestra es de 190 unidades. Desde un punto de vista formal, lo que tenemos es una muestra aleatoria (X1 , ..., X100 ) de la caracter stica X = Nivel de colesterol, que puede ser modelizada mediante una distribuci on N (; ), con par ametros y desconocidos. En este caso sencillo, parece razonable estimar el nivel medio de colesterol de la siguiente forma: = Nivel medio de colesterol en la muestra = x = 190 Obs ervese que es el nivel medio de colesterol (desconocido) de toda la poblaci on, mientras que x es el nivel medio de colesterol (conocido) de la muestra. Si todas las situaciones a las que nos tuvi eramos que enfrentar fueran tan sencillas e intuitivas como las de los ejemplos anteriores, seguramente no necesitar amos desarrollar una metodolog a general de la estimaci on puntual. Pero, por un lado, los problemas no siempre son tan sencillos y, por otro lado, la intuici on, a veces no nos dice nada, y otras veces nos resulta enga nosa. Por este motivo, vamos a dar una metodolog a general que nos permita enfrentarnos a este tipo de problemas de un modo sistem atico y lo m as objetivo posible.

Estimadores puntuales

En primer lugar, vamos a denir lo que entenderemos por un estimador puntual del par ametro : Denici on.- Sea (X1 , . . . , Xn ) una muestra aleatoria de una caracter stica X de una poblaci on con funci on de masa P (x) (caso discreto), o con funci on de densidad f (x) (caso continuo), donde es desconocido. Un estimador puntual de es una funci on T que a cada posible muestra (x1 , . . . , xn ) le hace corresponder una estimaci on T (x1 , . . . , xn ) de . 2

Observaciones: 1. Lo que vamos a estimar habitualmente es pero, en algunos casos, podr a interesarnos estimar alguna funci on de . Por ejemplo, cuando X N (; ), nos puede interesar estimar la desviaci on t pica , pero tambi en podemos estar interesados en estimar la varianza 2 . En lo que sigue, s olo nos referiremos a la estimaci on de , pero teniendo claro que no habr a ning un problema en extender las ideas a la estimaci on de alguna funci on de . 2. Evidentemente, T = T (X1 , . . . , Xn ) es una variable aleatoria. En realidad, un estimador puntual no es m as que un estad stico con una misi on especial: acercarse lo m as posible al verdadero y desconocido valor del par ametro. 3. La denici on que hemos dado de estimador puntual es enormemente general y engloba, tanto estimadores muy razonables, como estimadores completamente absurdos. Por este motivo, lo siguiente que vamos a hacer es indicar alguna propiedad deseable para un estimador razonable.

Error cuadr atico medio. Estimadores insesgados

Denici on.- El error cuadr atico medio de un estimador T , para estimar , se dene como: ECM (T ) = E [(T )2 ] = E [(T (X1 , ..., Xn ) )2 ] El objetivo de la denici on est a bastante claro: (a) T (X1 , ..., Xn ) mide el error que se comete al estimar mediante T (X1 , ..., Xn ). (b) Consideramos el cuadrado de ese error para evitar que las diferencias positivas se compensen con las negativas. (c)Finalmente, calculamos cuanto vale, en promedio, este error cuadr atico. Esta idea del error cuadr atico medio ya fue utilizada para denir la recta de regresi on. Por supuesto, lo que nos interesa es utilizar estimadores con

un error cuadr atico peque no. Para ver como puede conseguirse un error cuadr atico peque no, veamos una forma alternativa de expresarlo: E [(T )2 ] = E [((T E [T ]) + (E [T ] ))2 ] = E [(T E [T ])2 ] + (E [T ] )2 = V (T ) + (Sesgo de T )2 donde: Sesgo de T = E [T ] De este modo, el error cuadr atico medio se puede reducir, bien reduciendo la varianza del estimador, o bien reduciendo su sesgo. Una manera de eliminar completamente el sesgo es trabajar con estimadores insesgados: Denici on.- Un estimador T es insesgado (o centrado) para estimar , cuando verica: E [T ] = Los estimadores insesgados, no s olo son interesantes porque contribuyan a reducir el error cuadr atico medio; son interesantes por s mismos ya que, en promedio, sus estimaciones aciertan con el objetivo de estimar . Es sencillo encontrar ejemplos de estimadores insesgados: Ejemplo 1 (continuado).- Consideramos una muestra aleatoria (X1 , . . . , Xn ) de X Bernoulli(p) (recordemos que este modelo ser a utilizado siempre que se quiera estimar una proporci on p). Se hab a considerado que un estimador razonable para p pod a ser: p = Frecuencia relativa de exitos = 1 n Xi = X

Es muy sencillo comprobar que este estimador es insesgado para p: E [ p] = E 1 n Xi = 1 n E [Xi ] = 1 (np) = p n

Tambi en es muy sencillo hallar su error cuadr atico medio: ) = V (X ) + (Sesgo)2 = V (X ) = p(1 p) ECM ( p) = ECM (X n n

Ejemplo 2 (continuado).- Consideramos una muestra aleatoria (X1 , . . . , Xn ) de una caracter stica X N (; ). Se hab a considerado que un estimador razonable para pod a ser: = 1 n Xi = X

Es muy sencillo comprobar que este estimador es insesgado para : E [ ] = E 1 n Xi = 1 n E [Xi ] = 1 (n) = n

Tambi en es muy sencillo hallar su error cuadr atico medio: V (X ) 2 2 ECM ( ) = ECM (X ) = V (X ) + (Sesgo) = = n n En cualquier caso, la cuesti on fundamental sobre los estimadores puntuales es la que se planteaba en la introducci on y sigue todav a sin respuesta: Es posible dar una metodolog a general que nos permita construir estimadores puntuales de un modo sistem atico y lo m as objetivo posible? Vamos a dar respuesta a esta cuesti on en las dos siguientes secciones.

M etodo de los momentos

En el Ejemplo 2 de la Introducci on, se propon a estimar el nivel medio de colesterol de toda una poblaci on, mediante el nivel medio de colesterol en una muestra. La idea intuitiva que hay detr as de este modo de proceder es que, seguramente, la media muestral (conocida) ser a bastante parecida a la media de toda la poblaci on (desconocida). Esta idea intuitiva es la que se utiliza para formalizar el m etodo de los momentos: Denici on.- Sea (X1 , . . . , Xn ) una muestra aleatoria de una caracter stica X con funci on de masa P (x) (o funci on de densidad f (x)), donde = (1 , . . . , k ). El estimador de por el m etodo de los momentos es el formado por los valores 1 , . . . , k que se obtienen al resolver en 1 , . . . , k el siguiente sistema de k ecuaciones: n 1 E [X ] = n i=1 Xi n 1 2 E [X 2 ] = n i=1 Xi ... ... ... ... n 1 k k E [X ] = n i=1 Xi 5

Observaciones: 1. La justicaci on del m etodo de los momentos es sencilla: se basa en la intuici on de que los momentos de la poblaci on (E [X ], E [X 2 ], . . . ) se 1 1 parecer an a los respectivos momentos de la muestra ( n Xi , n Xi2 , . . . ). En consecuencia, consideramos k ecuaciones derivadas de esta intuici on (tantas como componentes tiene el par ametro que necesitamos estimar). El nombre del m etodo procede de que utilizamos los momentos (poblacionales y muestrales). 2. Hay que se nalar, no obstante, que el m etodo de los momentos presenta a veces graves inconvenientes. Por ejemplo, es perfectamente posible que la estimaci on obtenida corresponda a valores que est an fuera del espacio param etrico. Obviamente, esto u ltimo no es muy aconsejable.

M etodo de m axima verosimilitud

El m etodo m as ampliamente utilizado para construir estimadores puntuales es el m etodo de m axima verosimilitud. Est a basado tambi en en una idea intuitiva muy sencilla y no presenta inconvenientes serios como le ocurre a veces al m etodo de los momentos. En el ejemplo siguiente vemos las ideas b asicas que nos llevar an a la denici on general. Ejemplo 3.- Consideramos una urna con 4 bolas, que pueden ser blancas o negras, pero no sabemos en qu e proporci on. Llamaremos a la proporci on (desconocida) de bolas blancas en la urna, que puede tomar los valores 1 1 3 = 0, , , , 1 4 2 4 Para obtener informaci on sobre este par ametro, extraemos de la urna 2 bolas con reemplazamiento (de esta forma, las observaciones son independientes). Supongamos que la primera bola observada es blanca y la segunda negra, de modo que la muestra obtenida es (B, N ). La probabilidad que los diferentes valores de le dan a la muestra obtenida recibe el nombre de funci on de verosimilitud y es de la siguiente forma:
0 si = 0 3/16 si = 1/4

L() = P (B, N ) =

4/16 si = 1/2 0 si = 1

3/16 si = 3/4

La idea del m etodo de m axima verosimilitud es muy sencilla y muy razonable: tomar como estimaci on de , aquel valor que hace m as probable (m as veros mil) la muestra obtenida. Por tanto, en este caso, si la muestra obtenida era (B, N ), la estimaci on de m axima verosimilitud ser a: = 1/2 Esta idea intuitiva del Ejemplo 3 es la que se utiliza para formalizar el m etodo de m axima verosimilitud: Denici on.- Sea (X1 , . . . , Xn ) una muestra aleatoria de una caracter stica X con funci on de masa P (x) (o funci on de densidad f (x)), donde = (1 , . . . , k ). La funci on de verosimilitud de es: L() = P (x1 , ..., xn ) = P (x1 ) . . . P (xn ) L() = f (x1 , ..., xn ) = f (x1 ) . . . f (xn ) (caso discreto) (caso continuo)

El estimador de m axima verosimilitud de es el formado por los valores 1 , . . . , k ) que maximizan la funci ( on de verosimilitud L().

Observaciones: 1. La funci on de verosimilitud expresa la probabilidad (o la densidad) que los diferentes valores de le dan a la muestra obtenida. Lo que hacemos, por tanto, es maximizar esa probabilidad (o densidad), es decir, elegir el valor de que hace m as veros mil la muestra obtenida. 2. Por la propia denici on, la estimaci on de m axima verosimilitud siempre es un valor del espacio param etrico (algo que no siempre ocurre con el m etodo de los momentos). 3. El procedimiento m as habitual para obtener el estimador de m axima verosimilitud es el siguiente: Obtenemos la funci on de verosimilitud: L() = P (x1 , ..., xn ) = P (x1 ) . . . P (xn ) Por supuesto, si estamos en un caso continuo, utilizar amos la funci on de densidad del modelo utilizado. Obtenemos ln L() en vez de L(), ya que es m as f acil de manejar y presenta los mismos m aximos y m nimos. 7

 Despejamos 1 , . . . , k del siguiente sistema de ecuaciones: = 0 ... ... ... ... ln L() = 0 k Por supuesto, hay que tener precauci on con este procedimiento, ya que el punto cr tico obtenido no tiene por qu e corresponder a un m aximo. Tambi en puede ocurrir que la funci on de verosimilitud se maximice en un extremo y no obtengamos nada con este procedimiento.
ln L() 1