Estimaci on

Claudio Bustos
18 de abril de 2014

Indice
1. Propiedades de los estimadores 2
1.1. Insesgamiento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2. Consistencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3. Ejemplos de analisis de insesgamiento y consistencia . . . . . . . 7
2. Estimacion puntual 11
3. Estimacion de intervalos 12
Hasta el momento, hemos denido que son los estadsticos y cuales son los
mas relevantes para cada nivel de medicion. Tambien hemos trabajado con los
parametros y hemos denido los dos mas relevantes: la esperanza y la varianza
poblacional. La pregunta es, que relacion existe entre ambos? A grandes rasgos,
podemos conocer algo sobre los parametros de una poblacion, a partir de los
estadsticos de una muestra. Este proceso se denomina estimacion de parametros
Para la investigacion en psicologa, la estimacion de parametros es funda-
mental. Si volvemos a la denicion de esperanza, vimos que esta se asocia al
resultado de las innitas aplicaciones de un instrumento o experimento a una
persona o grupo, lo que es consistente con el uso de hipotesis generales que
usamos en ciencia. Por tanto, al realizar la estimacion de un parametro lo que
intentamos es ver en que medida los datos que obtuvimos en una situacion
especca - los estadsticos - son generalizables a la poblacion - los parametros.
Por ejemplo, podemos tener un conjunto de establecimiento administrados
por un sostenor cuya media en SIMCE en Lenguaje en los ultimos a nos es 220,
es inferior al valor promedio para su nivel socioeconomico de 250. Despues de
una intervencion de un a no, uno de los colegios obtiene un SIMCE de 230. La
pregunta es: el aumento es atribuible a la intervencion?
Sabemos que en todo proceso no determinstico existe un cierto grado de
variabilidad producto de factores que no controlamos. Por ejemplo, si la des-
viacion estandar de los puntajes a no a a no y colegio a colegio es la misma,
= 1, veremos que se puede calcular que un mnimo de un 94.4 % de las obser-
vaciones debera estar entre 4 desviaciones estandar de la media, lo que en este
caso genera un intervalo entre 216 y 224. Una diferencia de 10 puntos supera
ampliamente el lmite superior de 224, lo cual nos indica que esta diferencia es
1
relevante. Podramos se nalar que esta muestra es parte de un proceso aleatorio
distinto, es decir, genera un cambio en la estructura de probabilidades
En el mismo ejemplo, si = 5, el 94.4 % de las observaciones del proceso
debera incluirse en el intervalo 200-240. El valor 230 esta dentro del rango, por
lo que es un valor que con alta probabilidad podra ser parte del proceso original
con = 220. El efecto de la intervencion no se podra distinguir del simple azar.
El proceso de estimacion involucra el uso de datos muestrales en conjunto
con alg un estadstico. ? (?) se nala que la estimacion se puede realizar de dos
maneras: la estimacion puntual y la estimacion intervalar.
En la estimacion puntual, a partir de los datos muestrales se genera un solo
estadstico, el estimado muestral que funciona como estimacion del parametro
poblacional. Por ejemplo, la esperanza o media poblacional, correspondiente a
un parametro, puede ser estimada a traves de la media muestral, un estadstico.
En la estimacion intervalar, a partir de dos o mas estadsticos se genera un
intervalo que, con cierto nivel de conanza, contiene al parametro. Este intervalo
tiene el nombre de intervalo de conanza estimado.
1. Propiedades de los estimadores
Para un parametro especco, podemos usar una multitud de estadsticos
como estimadores de el. Por ejemplo, para la esperanza poblacional podemos
ocupar la media muestral, la mediana, la moda, el rango, la desviacion estandar,
etc. Como se puede seleccionar un buen estimador?
Existen varias caractersticas asociadas a un buen estimador, las cuales son:
insesgamiento, consistencia, mnima varianza, eciencia y suciencia. Para los
propositos de este curso, solo estudiaremos el insesgamiento y la consistencia.
1.1. Insesgamiento
Un estimador de un parametro es insesgado si, para cualquier valor del
parametro, la esperanza del estimador es el parametro.
El ejemplo mas conocido de estimador insesgado es la media muestral co-
mo estimador de la esperanza. Si tenemos n variables aleatorias X
1
, X
2
, ..., X
n
,
todas con esperanza igual a , tenemos que
E(

X) = E(

n
i=1
X
i
n
)
=

n
i=1
E[X
i
]
n
=

n
i=1

n
=
n
n
=
2
En el captulo sobre operaciones aritmeticas sobre esperanza y varianza,
se nalabamos que si X e Y eran variables aleatorias, E(X+Y ) = E(X) +E(Y ).
Sera la suma de dos medias aritmeticas un estimador insesgado de la suma de
las esperanzas de las variables? Si tenemos n variables aleatorias X
1
, X
2
, ..., X
n
,
todas con esperanza igual a
X
, y m variables aleatorias Y
1
, Y
2
, ..., Y
n
con espe-
ranza igual a
Y
:
E(

X +

Y ) = E(

n
i=1
X
i
n
+

m
j=1
Y
i
m
)
=

n
i=1
E[X
i
]
n
+

m
j=1
E[Y
j
]
m
=

n
i=1

X
n
+

m
j=1

Y
m
=
n
X
n
+
m
Y
m
=
X
+
Y
Por lo que podemos se nalar que

X+

Y es un estimador insesgado de
X
+
Y
Un ejemplo de estimador sesgado es la mnima muestral como estimador de
la mnima poblacional. Por ejemplo, sea la funcion de probabilidad
f
X
(x) =
1
4
, x = 1, 2, 3, 4
Si obtenemos muestras de tama no 2, con variables X
1
y X
2
distribuidas
como f
X
(x), podemos ver en la Tabla 1.1 los valores mnimos para cada posible
muestra. Como podemos observar, la funcion de probabilidad de la mnima, en
este caso, es
f
min(X1,X2)
(x) =

7
16
, si x = 1,
5
16
, si x = 2,
3
16
, si x = 3,
1
16
, si x = 4,
La esperanza de f
min(X1,X2)
(x) es E[f
min(X)
(x)] =
15
8
= 1,875 que no es
igual a 1, la mnima de la poblacion. Por tanto, la mnima de la muestra en este
caso es un estimador sesgado de la mnima de la poblacion.
1.2. Consistencia
? (?) se nala que una de las propiedades basicas de todo estimador es que la
informacion sobre el parametro al cual estima sea mas precisa si el tama no de
n es mayor.
En terminos formales, podemos denir T
n
como el estimador T para el ta-
ma no de muestra n. Por ejemplo, podramos denir

X
1
y

X
5
como la media
3
Cuadro 1: Mnimo para muestras de variable aleatoria con S={1,2,3,4}
min(1,1)=1 min(2,1)=1 min(3,1)=1 min(4,1)= 1
min(1,2)=1 min(2,2)=2 min(3,2)=2 min(4,2)= 2
min(1,3)=1 min(2,3)=2 min(3,3)=3 min(4,3)= 3
min(1,4)=1 min(2,4)=2 min(3,4)=3 min(4,4)= 4
muestral obtenida a partir de 1 solo dato y de 5 datos, respectivamente. Enton-
ces, T
n
es consistente si converge en probabilidad al parametro , esto es:
lm
n
P{|T
n
| } = 1
En otras palabras, si aumentamos el tama no de muestra al innito, la pro-
babilidad que el estadstico se encuentre dentro de un determinado margen
es igual a 1. Esto es si, si pudiesemos tomar una muestra innita, podramos
tener certeza que el parametro se encuentra dentro de un intervalo especco,
no importando el tama no de este intervalo.
La primera condicion para que un estimador sea consistente es que sea in-
sesgado o, en su defecto, que la esperanza de T
n
se acerque progresivamente al
parametro al aumentar n. Por ejemplo, se sabe que la esperanza de la varianza
muestral con n en el denominador es
E[S
2
n
] = E[

n
i=1
(X

X)
2
n
]
=
2
n 1
n
Que claramente es un estimador sesgado de
2
, que tiende a subestimar su
valor. Podemos ordenar la ultima expresion como
E[s
2
n
] =
2
n
n

2
1
n
=
2

2
1
n
Si aumentamos progresivamente el tama no de muestra, la parte derecha de
la expresion debera hacerse cada vez menor, ya que n esta en el divisor. Esto
indica que progresivamente la expresion se hara mas cercana al parametro
2
,
por lo que se cumple la primera condicion de la consistencia.
La segunda condicion de la consistencia implica que la varianza del estimador
disminuye con el tama no de muestra.
Toda variable aleatoria X tiene un parametro conocido como varianza, de-
nido como
V (X) = E[(X E(X))
2
]
= E[X
2
] E[X]
2
4
Consideremos una muestra de n variables aleatorias X
1
, X
2
, ..., X
n
, todas las
cuales tienen la misma esperanza y la misma varianza
2
. Ya sabemos que la
esperanza de la media aritmetica de estas muestras es E(

X) = . Nos podemos
preguntar, ahora, por la varianza de la media aritmetica.
V (

X) = V (

n
i=1
X
i
n
)
=

n
i=1
V (X
i
)
n
2
=
n
2
n
2
=

2
n
Lo importante aqu es destacar que la varianza de la media - no de la variable
aleatoria - depende del tama no de la muestra. Si la muestra es mas grande, la
varianza de la media sera menor. Es el caso de la media, como sabemos que es
un estimador insesgado, se cumple la primera condicion de consistencia. Como
acabamos de vericar que su varianza disminuye con el tama no de muestra,
tenemos la segunda condici on de consistencia, siendo por tanto un estimador
consistente.
Que quiere decir esto, en terminos practicos? Sabemos que cada vez que
obtengamos una muestra de forma aleatoria de una poblacion especca, la
media tendra distintos valores. Una forma de expresar esta variabilidad del
estimador es a traves de su varianza. Ahora, si calculamos la media para una
muestra, al saber que la varianza de su distribucion disminuye con el tama no
de la muestra, podemos deducir que podemos saber con mas precision el valor
real de la media de la poblacion si tomamos una muestra mas grande.
Observemos la Figura 1. Podemos ver, en el primer histograma, que si el
tama no de muestra es n = 1, la variable aleatoria se distribuye casi completa-
mente en el rango comprendido entre -300 y 300. Esto es, si quisieramos saber
el valor de a partir de un solo dato, tendramos muchas probabilidades de te-
ner un valor alejado en mas de 100 puntos. Ahora, si vemos el histograma para
un tama no de muestra n = 10, vemos que los posibles valores de la media que
obtendramos estaran entre -100 y 100, lo cual constituye una evidente mejora.
Si bien podemos observar que cantidad de medias de muestras estaran in-
cluidas dentro de un determinado rango utilizando un histograma, eso solo lo
podemos hacer si conocemos la funcion de probabilidad de las variables aleato-
rias involucradas. Ya hemos visto que uno de los resultados de la desigualdad
de Tchebyche es que el 75 % de las realizaciones de una variable aleatoria se
encuentran a dos desviaciones estandar de su esperanza. La forma mas general
de la desigualdad se nala que, para cualquier k 1
P(|X | k) 1
1
k
2
5
Figura 1: Histograma para la media muestral con tama nos de muestra 1,2,5 y
10, de una poblacion de distribucion normal con = 0 y = 100
Esto quiere decir que la probabilidad que una realizacion de una variable
aleatoria este dentro de k desviaciones estandar de su esperanza es de, al menos,
1
1
k
2
. Calculemos la probabilidad para dos, tres y cuatro desviaciones estandar
1
P(|X | 2) 1
1
4
= 0,75
P(|X | 3) 1
1
9
= 0,89
P(|X | 4) 1
1
9
= 0,94
Sabemos que V (

X) =

2
n
. Si hacemos a n innitamente grande, el valor de
V (

X) se hara tan peque no como queramos. Por la desigualdad de Tchebyche,
podemos concluir que si mantenemos constante k, el margen de los valores po-
1
El resultado para k = 1 es trivial y queda al lector
6
sibles alrededor de la esperanza se hara tan peque no como queramos. Por lo
tanto,

X sea un estimador consistente de .
Se le denomina ley de los grandes n umeros al hecho que al aumentar el
tama no de la muestra, podemos asegurar que cierto porcentaje de los valores de
la media estaran a una distancia especca de la esperanza.
1.3. Ejemplos de analisis de insesgamiento y consistencia
A continuacion, presentaremos un tipo de graco que permite analizar si un
estimador es insesgado y consistente con respecto al parametro que estima. Para
generarlo, se tomaron 7960 muestras de una distribucion uniforme con mnima
igual a 10 y maxima igual a 100, que tiene esperanza = 55 y varianza
2
= 675.
40 de las muestras fueron de tama no 2, 40 de tama no 3 y as sucesivamente hasta
n = 200.
Para cada muestra se calcularon 4 estadsticos: su media, varianza utilizando
n 1 en el denominador, varianza con n en el denominador y su mnima.
En el caso de la media, hemos se nalado que es un estimador insesgado y con-
sistente del parametro. En la Figura 2 se puede observar que la lnea azul gruesa
intermitente, que representa el esperanza del estimador para cada tama no de
muestra, esta siempre sobre el parametro, lo que indica que es un estimador
insesgado. Tambien podemos observar que las medias progresivamente comien-
zan a estar mas concentradas cerca del parametro al aumentar el tama no de
la muestra. Como la varianza del estimador se conoce, se genero un intervalo
de conanza al 95 % utilizado la aproximacion a la normal, siendo claro que
en cada tramo no mas del 5 % de las muestras queda fuera de ese margen, que
progresivamente se va haciendo mas estrecho al aumentar la muestra.
La varianza muestral, que se calcula con n 1 en el denominador, es un
estimador insesgado y consistente de la varianza muestral. En la Figura 3 po-
demos ver que de manera similar a la media, la lnea azul que representa la
esperanza siempre esta muy cerca del valor del parametro, lo que da cuenta
de su insesgamiento. Tambien podemos ver que las varianzas de muestras de
tama no mayor estan mas concentradas con respecto a la varianza poblacional
que las de muestras de tama no menor, lo que nos habla de su consistencia
La varianza muestral con n en el denominador, es un estimador sesgado,
pero consistente, de la varianza muestral. En la Figura 4 podemos ver que
la lnea azul en las muestras peque nas no esta sobre la lnea que representa
el parametro, sino que es menor. Esto signica que si calculamos la varianza
con un n en el denominador, siempre subestimamos la varianza poblacional.
Ahora bien, cuando el tama no de muestra crece, la esperanza de la varianza
muestral progresivamente se va acercando a la varianza poblacional real. Esto
es, se cumple la primera condicion de insesgamiento. Ademas, podemos ver que
las varianzas de muestras de tama no mayor estan mas concentradas con respecto
a la varianza poblacional que las de muestras de tama no menor, lo que nos habla
de la segunda condicion de consistencia. Por tanto, se puede observar la varianza
muestral con n en el denominador que es un estimador sesgado, pero consistente
de la varianza poblacional
7
Figura 2: Graco de analisis de las caractersticas de la media muestral como
estimador de la Esperanza
Figura 3: Graco de analisis de las caractersticas de la varianza muestral con
denominador n 1 como estimador de la varianza poblacional
8
Figura 4: Graco de analisis de las caractersticas de la varianza muestral con
denominador n como estimador de la varianza poblacional
Finalmente, al analizar la mnima muestral como estimador de la mnima
poblacional en la Figura 5, observamos una situacion similar a la de la varianza
muestral con n en el estimador. En primer lugar, se hace evidente que la espe-
ranza de la mnima muestral para muestras de tama no peque no esta bastante
lejos del mnimo de la poblacion, por lo que es un estimador sesgado. Ahora,
al aumentar el tama no de muestra, vemos que progresivamente la esperanza
se va acercando al parametro, as como tambien disminuye la dispersion del
estadstico alrededor del parametro. Por tanto, si bien se necesita un analisis
formal, pareciera ser que la mnima o un estimador derivado de ella pudiera ser
un estimador consistente de la mnima poblacional.
9
Figura 5: Graco de analisis de las caractersticas de la mnima muestral como
estimador de la mnima poblacional
10
2. Estimaci on puntual
Existen diversos metodos para encontrar estimadores apropiados a ciertos
parametros poblacionales. Los tres mas conocidos son: maxima verosimilitud,
mnimos cuadrados y el de los momentos. En este curso, solo hablaremos del
metodo de los momentos, ya que los otros implican conocimientos de calculo
para su resolucion.
El metodo de los momentos consiste en igualar los momentos apropiados
de la distribucio de la poblacion con los correspondientes momentos muestrales
para estimar un parametros desconocido de la distribucion (?, ?, p.268).
El momento poblacional de orden r se dene como

r
= E(X
r
)
En tanto que momento muestral de orden r para una muestra X
1
, X
2
, ..., X
n
con esperanzas y varianzas iguales es
M

r
=

n
i=1
X
r
i
n
Por ejemplo, para calcula el primer momento de X,

1
= = E(X), utili-
zamos el primer momento de la muestra
M

1
=

n
i=1
X
1
i
n
=

X
Que evidentemente es la media muestral. Si queremos un estimador de la
varianza poblacional, correspondiente a
2
= V (X) = E[X
2
] E[X]
2
, podemos
reemplazar cada termino con el correspondiente momento muestral

2
n
=

n
i=1
X
2
i
n

(

n
i=1
X
i
)
2
n
2
Si

X =

n
i=1
Xi
n
, se puede ver que

n
i=1
X
i
= n

X. Reemplazando en la
expresion anterior

2
=

n
i=1
X
2
i
n

(n

X)
2
n
2
=

n
i=1
X
2
i
n

n
2

X
2
n
2
=

n
i=1
X
2
i
n


X
2
=

n
i=1
X
2
i
n

X
2
n
Que es un estimador consistente (aunque sesgado) de la varianza poblacional
11
3. Estimaci on de intervalos
La estimacion de intervalos tiene por objetivo denir, con un cierto nivel de
conanza, un rango en el cual se encontrara el parametro muestral. En nuestro
caso, solo trabajaremos intervalos para estimar la esperanza y, posteriormente,
intervalos sobre la varianza poblacional
Recordemos que, para la media muestral, su varianza es V (

X) =

2
n
. Si a
esto agregamos lo que conocemos sobre el desigualdad de Tchebyche, pode-
mos calcular para cualquier distribucion y tama no de muestra, la probabilidad
mnima de que las medias se encuentren dentro de un determinado intervalo,
simetrico respecto de la esperanza.
Por ejemplo, sea una poblacion que se distribuye como el WAIS, con = 100
y = 16, cuya distribucion se desconoce. Cual es la probabilidad mnima de
que las medias de la muestra esten en el intervalo 80-120, para un n=5?. Si
ocupamos la desigualdad de Tchebyche
P(|X | k) 1
1
k
2
Lo primero que debemos notar es que en este caso, la desviacion estandar con
la que debemos trabajar no es la de la variable original, sino de la distribucion
de medias, la cual llamaremos
X
. Sabemos que V (

X) =

2
n
, que en nuestro
caso sera
V (

X) =
16
2
5
= 51,2
Y, por lo tanto
X
=

V (

X) 7,155
El intervalo denido, entre 80 y 120, equivale a una diferencia de 20 puntos
con respecto a la esperanza. En el teorema, esto aparece representado como
k, que en nuestro caso correspondera a k 7,155 = 20. Resolviendo para k,
tenemos que k 2,795, que incorporado en la ecuacion nos da
P(|X | 2,795) 1
1
2,795
2
1
1
7,812
1 0,128
0,872
Lo que nos indica que al menos un 87.2 % de las medias muestrales estara
dentro del intervalo 80-120, si el tama no de muestra es 5.
Para el caso general, la desigualdad de Tchebyche para el calculo de la
proporcion de medias de un tama no n alrededor de la esperanza tendra la
forma
P(|

X | k

n
) 1
1
k
2
12
Podemos denir la desigualdad de Tchebyche para el problema de encontrar
la probabilidad de obtener medias muestrales dentro de un margen de error d
cuando la poblacion tiene desviacion estandar :
d = k

n
k =
d

Por tanto, reemplazando en la formula obtenemos que

P(|X | d) 1
1
(
d

)
2
P(|X | d) 1

2
nd
2
Con la misma logica, podemos calcular el tama no de muestra necesario para
obtener, a lo menos, un p porcentaje de las medias muestrales dentro del margen
esperado. Considerando que p = 1

2
nd
2
, despejando para n tenemos que
1

2
nd
2
= p

2
nd
2
= p 1
n =

2
d
2
(1 p)
Utilizando nuestro ejemplo, que tama no de muestra es necesario para ob-
tener, a lo menos, un 95 % de las muestras dentro del margen de error 10?
n =
16
2
10
2
(1 0,95)
n = 51,2
Hasta el momento, hemos utilizado la desigualdad de Tchebyche para rea-
lizar estimaciones de intervalo. Esta desigualdad tiende a ser muy conservadora,
esto es, tiende a pedir tama nos de muestras mas grandes de los necesarios si
supiesemos la forma de la distribucion. En particular, para la mayora de las
muestras de tama no superior a 30, aplica el denominado teorema del lmite cen-
tral, del cual conversaremos al tratar la distribucion normal. De todas maneras,
la desigualdad de Tchebyche nos permite calcular intervalos de conanza para
cualquier distribucion, sin necesidad de saber su forma
13
Referencias
Bartoszynski, R., y Niewiadomska-Bugaj, M. (2008). Probability and statistical
inference (2.
a
ed.). New Jersey: Wiley-Interscience.
Canavos, G. (1988). Probabilidad y estadstica. aplicaciones y metodos. Mexico,
D.F.: McGrawn-Hill.
14