2 2 Estimadores

8.
Estimacion puntual
Estadstica
Ingeniera Informatica
Curso 2009-2010
Estadstica (Aurora Torrente) 8. Estimacion puntual Curso 2009-2010 1 / 30
Contenidos
1
Introduccion
2
Construccion de estimadores
Metodo de los momentos
Metodo de maxima verosimilitud
3
Propiedades de los estimadores
Estimadores insesgados o centrados
Estimadores ecientes
Propiedades de los EMV
Consistencia y eciencia asintoticas
Invarianza
Introducci on
Inferencia estadstica
_
_
estimacion
_
puntual
por intervalos de conanza
constrastes de hipotesis
_
sobre parametros
de Bondad de Ajuste
estimacion de los parametros de una distribucion: elegir el valor
(desconocido) de un parametro de la poblacion
constrastes de hipotesis: decidir entre rechazar o no una hipotesis
sobre parametros - para determinar si un parametro de una

distribucion toma o no un determinado valor
de Bondad de Ajuste - para denir si un conjunto de datos se puede

modelar mediante una determinada distribucion o no
Introducci on
Estimacion puntual
Estimacion mediante un solo valor de los parametros de una distribucion.
La estimacion puntual consiste en utilizar el valor de un estadstico para
inferir el parametro de una poblacion.
usamos la media muestral

X para estimar la media de una poblacion
usamos la proporcion de una muestra p para estimar la proporcion
poblacional p
Un estimador de un parametro es un estadstico T = T(X
1
, ..., X
n
)
usado para estimar el valor del parametro de una poblacion.
El valor observado del estadstico t = T(x
1
, ..., x
n
) es la estimacion de ,
y la representamos por

.
puede ser un solo parametro o un conjunto de parametros desconocidos
= (
1
, ...,
k
)
Introducci on
Los estimadores son variables aleatorias
tienen una distribucion de probabilidad, correspondiente a las
distribuciones muestrales
su distribucion (media, varianza, etc.) le conere una serie de
propiedades estadsticas (sesgo, mnima varianza, consistencia,
eciencia, suciencia):
se puede denir la calidad del estimador
se puede comparar con otros estimadores

no hay ning un estimador perfecto: siempre habra alg un error en el
proceso de estimacion
deben estudiarse las distintas propiedades de los estimadores para
decidir cual es el mas apropiado...
Como construir un estimador?
Construccion de estimadores Metodo de los momentos
Construcci on de estimadores
Objetivo: construir un estimador del parametro poblacional = (
1
, ...,
k
)
1. Metodo de los momentos
los momentos caracterizan una distribucion de probabilidad
si dos variables aleatorias tienen los mismos momentos, entonces
dichas variables tienen o siguen la misma funcion de densidad
Podemos emplear los momentos muestrales para estimar los parametros,
basandonos en la intuicion de que los momentos de la poblacion,
r
, se
pareceran a los respectivos momentos de la muestra, a
r
Igualamos los k primeros momentos ordinarios de una poblacion
a los correspondientes momentos de una muestra
1. Metodo de los momentos (cont.)
r -esimo momento ordinario a
r
de una muestra aleatoria (X
1
, ..., X
n
)
a
r
=
n
i =1
X
r
i
n
Entonces si una distribucion tiene k parametros desconocidos, para su
estimacion se tendra lo siguiente:
a
1
=
1
a
2
=
2
. . .
a
k
=
k
Ejemplo 1. X Exp():
Sea una variable aleatoria con distribucion exponencial de
parametro ; queremos encontrar el estimador del parametro
usando el metodo de los momentos.
Como solo existe un parametro, sera :
1
= a
1
El primer momento es la media, y en la exponencial es
1
, por lo que:
1
=
n
i =1
X
i
n

=
n
n
i =1
X
i
=
1
X
,
es decir, el estadstico usado para estimar el parametro es el inverso de
la media muestral
Ejemplo 2. X N(, ):
Estimar por el metodo de los momentos los parametros y
2
de
una distribucion normal.
Necesitamos estimar dos parametros usaremos los dos primeros
momentos ordinarios de la distribucion normal:
1
= ;
2
=
2
+
2
.
Igualando los dos primeros momentos poblacionales con sus respectivos
momentos muestrales y despejando tenemos que:
=
n
i =1
X
i
n
=

X;
2
=
n
i =1
X
2
i
n

X
2
Ejemplo 3. X BN(r , p):
Queremos estimar por el metodo de los momentos los parametros r
y p de una distribucion binomial negativa. Sabemos que E[X] = r
1p
p
y V(X) = r
1p
p
2
E[X
2
] = V(X) + E[X]
2
=
r (1p)(1+r (1p))
p
2
. Igualando
los momentos poblacionales y muestrales resulta:
X
i
n
= r
1 p
p
X
2
i
n
=
r (1 p)(1 + r (1 p))
p
2
Resolviendo el sistema:
p =
X
1
n
X
2
i

X
2
r =
X
2
1
n
X
2
i

X
2

X
Para una muestra de tama no 3, con los valores (20, 19, 22), se obtiene la
estimacion p = 13,1 y r = 22...
El metodo de los momentos puede presentar inconvenientes, como que la
estimacion obtenida este fuera del espacio parametrico.
Construccion de estimadores Metodo de maxima verosimilitud
2. Metodo de maxima verosimilitud
Se utiliza la funcion de masa p o densidad f (conjunta) de la muestra
como una funcion de = (
1
, ...,
k
) (funcion de verosimilitud)
L() = L(|x
1
, ..., x
n
) =
_
p(x
1
) ... p(x
n
), en el caso discreto
f (x
1
) ... f (x
n
), en el caso continuo
Se maximiza la funcion de verosimilitud.
El EMV de es el formado por los valores (

1
, ...,

k
) que maximizan
la funcion de verosimilitud de la muestra (x
1
, ..., x
n
) obtenida.
L() expresa la probabilidad (o densidad) que los diferentes valores de
dan a la muestra obtenida (maximizamos dicha probabilidad o
densidad).
El metodo permite construir buenos estimadores, de utilizacion
universal, denominados estimadores de maxima verosimilitud (EMV).
El estimador de maxima verosimilitud es siempre un valor del espacio
parametrico.
En la practica, es frecuente considerar la funcion logL() a la hora de
maximizar, ya que presenta los mismos maximos y mnimos y suele ser mas
facil de manejar.
Propiedad de invarianza:
Si

es el EMV de , y g es una funcion biyectiva y diferenciable, entonces
g(
) es el EMV de g().
Ejemplo 1. X P():
Vamos a calcular el EMV del parametro de una distribucion de
Poisson P(), para una muestra de tama no n.
Construimos la funcion de verosimilitud de la muestra:
L
_
_
=
n
i =1
p(x
i
) =
n
i =1
e
x
i
x
i
!
=
e
n
n
i =1
x
i
n
i =1
x
i
!
Tomando logaritmos resulta:
log L
_
_
= n + log
n
i =1
x
i

n
i =1
log x
i
!
Derivando respecto al parametro e igualando a 0, se obtiene:
log L
_
= n +
n
i =1
x
i
= 0

=
n
i =1
x
i
n
Ejemplo 1. X P() (cont.):
Debemos comprobar que efectivamente es un maximo; para ello,
calculamos la derivada segunda, que resulta
2
log L
_
2
=
n
i =1
x
i
2
< 0,
por lo que el EMV de viene dado por la media muestral.
Ejemplo 2. X Unif (, + 1):
Calculemos ahora el EMV del parametro que dene una
distribucion uniforme en el intervalo (, + 1).
Funcion de densidad para la uniforme en (, + 1) :
f (x) = 1, x (, + 1)
Funcion de verosimilitud (utilizando funciones indicadoras):
L() =
n
i =1
I
{<x
i
<+1)}
= I
{<mn
i
x
i
}
I
{>max
i
x
i
1}
= I
{max
i
x
i
1<<mn
i
x
i
}
que toma el valor constante 1 en el intervalo (max
i
x
i
1, mn
i
x
i
),
cualquier punto de este intervalo maximiza la funcion de verosimilitud y
puede ser escogido como EMV.
Ejemplo 3. X N(, ):
Vamos a calcular el EMV del parametro = (,
2
) de una N(, ).
La verosimilitud de la muestra (x
1
, . . . , x
n
) es:
L() = L(,
2
) =
n
i =1
1
2
2
... =
_
1
2
2
_
n
e
1
2
2
(x
i
)
2
Su logaritmo es:
log(L()) =
n
2
log(
2
)
n
2
log(2)
1
2
2
(x
i
)
2
Las derivadas parciales con respecto a los parametros y
2
son:
log(L(x
1
, . . . , x
n
, ))
=
1
(x
i
)
log(L(x
1
, . . . , x
n
, ))
2
=
n
2
2
+
1
2(
2
)
2
(x
i
)
2
que se anulan en:
=
x
i
n
y

2
=
(x
i
)
2
n
Ejemplo 3. X N(, ): (cont.)
Las derivadas parciales segundas son:
2
log(L(x
1
, . . . , x
n
, ))
2
=
n
2
log(L(x
1
, . . . , x
n
, ))
2
=
1
(
2
)
2
(x
i
)
2
log(L(x
1
, . . . , x
n
, ))
(
2
)
2
=
n
2(
2
)
2

1
(
2
)
3
(x
i
)
2
_
=
_
2
0
0
n
2
2
2
_
(Matriz hessiana en

)
Determinante positivo y autovalores negativos el punto ( ,
2
) es un
maximo Si (X
1
, . . . , X
n
) N(, ), los EMV de y
2
son
respectivamente la media y la varianza empricas de la muestra (como era
de esperar)
Propiedades de los estimadores Estimadores insesgados o centrados
Estimadores insesgados
Un estimador

es insesgado para si
E
_
_
=
propiedad muy deseable: establece que, en media, esperamos que el
valor de

sea
no evita otras propiedades indeseables: es importante tener presente
que la calidad global del estimador no reside en una unica
propiedad, sino en un conjunto de ellas
Ejemplo 1.
Sabemos que, en cualquier poblacion:
E
_
= , E
_
s
2
n
=
n 1
n

2
, E
_
s
2
n1
=
2
,
la media muestral es un estimador insesgado para el parametro
la varianza muestral es sesgada para
2
la cuasivarianza muestral es insesgada para la
2
Sabemos que cuando estudiamos la proporcion p de una poblacion que
presenta cierta caracterstica:
E[ p] = p
la proporcion muestral es insesgada para la proporcion poblacional p
Ejemplo 2. X Unif (0, ):
Consideremos el estimador T(X
1
, ..., X
n
) = max{X
1
, ..., X
n
} = X
(n)
para estimar el extremo superior del intervalo. Queremos determinar
si es un estimador insesgado. Necesitamos conocer su distribucion para
calcular su esperanza...
La densidad de una uniforme en (0, ) es f (x) =
1
, para 0 < x < , y su

funcion de distribucion es F(x) = P(X x) =
_
x
0
1
dt =
x
, para
0 < x < . La distribucion de X
(n)
es, para 0 < x < :
F
X
(n)
= P(X
(n)
x) = P(X
1
x, ..., X
n
x)
ind.
= P(X
1
x) ... P(X
n
x) =
x
n
n
y por tanto, la funcion de densidad de la v.a. X
(n)
es
f
X
(n)
= n
x
n1
n
, para 0 < x <
Finalmente, calculamos su esperanza:
E[X
(n)
] =
_

0
x
nx
n1
n
dx =
n
n + 1
< es sesgado
Propiedades de los estimadores Estimadores ecientes
Estimadores ecientes (I)
Una medida de la calidad de un estimador para no debe ser solo que su
media sea el parametro, sino que haya una alta probabilidad de que los
valores observados de

sean proximos a (varianza lo mas peque na
posible)
Dado

insesgado para , se dice que

es insesgado de mnima varianza
para si para cualquier otro estimador insesgado

de se verica
V
_
_
V
_
_
dados dos estimadores insesgados, es preferible el que tiene menor
varianza (los valores observados del estimador seran mas proximos a
la media = ).
no existen estimadores insesgados con varianza tan peque na como
quisieramos (cota inferior para la varianza)
Estimadores ecientes (II)
Teorema de Cramer-Rao:
Sean (X
1
, ..., X
n
) una muestra aleatoria simple de una poblacion X con
funcion de masa o densidad f (x; ), siendo el parametro que queremos
estimar, y

un estimador insesgado de . Entonces, la varianza de

satisface la desigualdad
V
_
1
nE
_
_
log f (X; )
_
2
_
cota de Cramer-Rao
Expresion equivalente, mas comoda computacionalmente:
V
_
_

1
nE
_
2
log f (X; )
2
_
Estimadores ecientes (III)
Dado un estimador

insesgado para

, el cociente entre la cota de
Cramer-Rao y su varianza se denomina eciencia de

la eciencia de un estimador insesgado es siempre menor o igual que 1

Un estimador insesgado con eciencia igual a 1 se denomina eciente
los estimadores ecientes existen solo bajo determinadas condiciones
Ejemplo:
Consideremos una poblacion Bernouilli de parametro desconocido.
Supongamos que tenemos dos estimadores

1
y

2
dados por
1
=

X,

2
=
n
X + 1
n + 2
.
Por una parte:
E
_
1
_
= y E
_
2
_
=
n + 1
n + 2
1
es insesgado y

2
es sesgado
Por otra parte:
V
_
1
_
=
(1 )
n
y V
_
2
_
=
n(1 )
(n + 2)
2
V
_
1
_
> V
_
2
_
Ejemplo (cont.):
Calculemos la cota de Cramer-Rao (CCR): como f (X; ) =
x
(1 )
1x
:
log f (X; ) = x log + (1 x) log(1 )
Derivando dos veces:
2
f (X; )
2
=
x
2

1 x
(1 )
2
,
y tomando esperanzas:
E
_
2
f (X; )
2
_
=
1

1
1
=
1
(1 )
,
CCR =
1
nE
_
2
f (X; )
2
_ =
(1 )
n
= V(
1
)
1
es eciente pero

2
tiene menor varianza
Se llama error cuadratico medio del estimador

a
ECM(
) = E[(
)
2
]
Si llamamos sesgo del estimador

a
B(
) = E[]
se tiene que
ECM(
) = V(
) +
_
B(
)
_
2
Exigir un estimador con ECM peque no implica minimizar
simultaneamente su sesgo y su varianza.
Para los estimadores insesgados, el criterio coincide con minimizar la
varianza (acotada por CCR), es decir, se busca el estimador eciente.
Propiedades de los estimadores Propiedades de los EMV
Propiedades de los EMV
El uso extendido del metodo de maxima verosimilitud para la construccion
de estimadores de se debe a las optimas propiedades que estos poseen
cuando el n es sucientemente grande.
Sea

el EMV de , para la verosimilitud f (x; ). Entonces,
lm
n
E
_
_
= , y lm
n
V() =
1
n
1
E
_
_
log f (X;)
_
2
_
Cuando n crece, la distribucion del EMV es aproximadamente
normal.
Puesto que la varianza del estimador tiende a la cota de Cramer-Rao,
cuando n crece, el EMV es asintoticamente eciente.
Propiedad de Invarianza: Si

es el EMV de , y g es una funcion
biyectiva y diferenciable, entonces g(
) es el estimador de maxima
verosimilitud de g().
Por ejemplo, si

es el EMV de , entonces

2
es el EMV de
2
Ejemplo:
Vamos a calcular el EMV de para la distribucion uniforme en
(0, ), utilizando una muestra aleatoria de tama no n.
L(X
1
, ..., X
n
; ) =
_
1
_
n
I
{0X
i
, i }
=
_
1
_
n
I
{X
(n)
}
I
{X
(1)
>0}
,
que toma el valor
_
1
_
n
en el intervalo [ X
(n)
, +) y toma el valor 0
fuera de dicho intervalo.
_
1
_
n
decreciente con el maximo se alcanza en

= X
(n)
Ejemplo (cont.):
Como vimos anteriormente, la funcion de distribucion del estimador X
(n)
es:
F
X
(n)
(x) = P(X
(n)
< x) = P(X
1
< x, ..., X
n
< x) =
= P(X
1
< x) P(X
n
< x) = [P(X
1
< x)]
n
=
_
_
0, x < 0
_
x
_
n
, 0 x
1, x >
y su densidad es:
f
X
(n)
(x) =
_
_
_
n
x
n1
n
, 0 x
0, en el resto
Ejemplo (cont.):
Tambien sabemos que:
E
_
X
(n)
=
_

0
xn
x
n1
n
dx =
n
n + 1
Calculemos la varianza de X
(n)
V
_
X
(n)
_
=
_

0
x
2
n
x
n1
n
dx
_
n
n + 1
_
2
=
n
2
(n + 1)
2
(n + 2)
0
El EMV para no es insesgado, pero s asintoticamente eciente.

2 2 Estimadores

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

2 2 Estimadores

Transféré par

Droits d'auteur :

Formats disponibles

8.

sobre parametros - para determinar si un parametro de una

de Bondad de Ajuste - para denir si un conjunto de datos se puede

se puede denir la calidad del estimador

se puede comparar con otros estimadores

, para 0 < x < , y su

la eciencia de un estimador insesgado es siempre menor o igual que 1

Vous aimerez peut-être aussi