Introduccin al ajuste de datos mediante una distribucin terica

Cuando se dispone de un conjunto de observaciones, pertenecientes a una determinada variable aleatoria T de distribucin desconocida, lo primero que conviene hacer es tratar de identificar alguna distribucin terica por la cual se puedan ajustar bien dichas observaciones. En otras palabras, se tratara de comprobar si dichas observaciones se distribuyen segn un patrn conocido (segn una normal, una binomial, etc.), pues ello nos simplificara el anlisis descriptivo de los datos, as como la realizacin de inferencias sobre la poblacin. En muchas ocasiones ser posible identificar la distribucin que mejor se aproxima a las observaciones mediante el uso de grficos de probabilidad. Este tipo de grficos muestran la funcin de distribucin (f.d.) linealizada de una distribucin terica junto con una nube de puntos que representan estimaciones (no paramtricas) puntuales de la f.d. de T. Evidentemente, cuanto ms se aproxime la nube de puntos a la recta que aparece en el grfico, tanto mejor ser el ajuste. Si se lograse aproximar la distribucin de T mediante alguna distribucin terica conocida, sera posible usar esta ltima para representar grficamente estimaciones de la funcin de distribucin y/o de la funcin de densidad (f.d.p.) asociada a las observaciones. En tales casos, se habla de descripcin paramtrica de la variable T (porque hemos logrado identificar la distribucin y los parmetros asociados- que describen correctamente el comportamiento de la variable aleatoria analizada). En este captulo se har uso del programa estadstico Minitab para identificar y describir grficamente la distribucin que mejor se ajuste a un conjunto de observaciones que usaremos como ejemplo. Las posibles distribuciones de ajuste son: la normal, la log-normal (base e), la Weibull, la de valores extremos, la exponencial, la logstica y la log-logstica. .
ww w.

at

em

at

ic

a1

.c om

Grficos de probabilidad
Al representar grficamente las funciones de distribucin (f.d.) de las diferentes distribuciones tericas, se obtienen curvas muy similares, la mayora de las cuales resultan difciles de ser identificadas a simple vista. Es por ello que se utilizan los grficos de probabilidad, los cuales hacen uso de escalas especiales en los ejes, de manera que al representar la f.d. sta tenga forma lineal. El primer paso ser pues encontrar la transformacin adecuada para T y F(T) de modo que al representar T vs. F(T) se obtenga una funcin lineal. Ejemplo (linealizacin de una Weibull): La f.d. asociada a una distribucin Weibull de dos parmetros viene dada por la expresin: F(t) = 1 exp{-(t/)} con , > 0

Esta funcin puede ser linealizada (i.e., puesta de la forma: y = a + bx) como sigue: F(t) = 1 exp{-(t/)} ln(1-F(t)) = ln(exp{-(t/)}) ln(1-F(t)) = -(t/) ln(-ln(1-F(t))) = ln(t/) ln(ln(1-F(t)) ) = ln(t) - ln() Tomando ahora:
-1

ww w.

Escala (alpha) = Forma (beta) = t 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

at

A continuacin se representa grficamente la f.d. de una Weibull (con escala = 10 y forma = 4) y su versin linealizada: 10 4 x = ln(t) 0,00 0,69 1,10 1,39 1,61 1,79 1,95 2,08 2,20 2,30 2,40 2,48 2,56 2,64 2,71 2,77 WEIBULL

em

at

y = x - ln()

ic a

la f.d. puede rescribirse en forma lineal como:

1.c

y = ln(ln(1-F(t)) )

om

-1

x = ln(t)

F(t) 0,00 0,00 0,01 0,03 0,06 0,12 0,21 0,34 0,48 0,63 0,77 0,87 0,94 0,98 0,99 1,00

y = ln(ln(1-F(t)) ) -9,2 -6,4 -4,8 -3,7 -2,8 -2,0 -1,4 -0,9 -0,4 0,0 0,4 0,7 1,0 1,3 1,6 1,9

-1

f.d. Weibull, escala = 10 forma = 4

1,00 0,80

F(t)

0,60 0,40 0,20 0,00 0 5

10

15

f.d. Weibull linealizada, escala = 10 forma = 4 3,0

1,0 -1,0 -3,0 -5,0 -7,0 -9,0 0,00 0,50

om

Para cada punto (xj,yj), el valor xj vendr dado por la j-sima observacin tj (instante en que se ha producido el fallo j-simo). Ms complicado ser hallar el valor de la coordenada yj, la cual representar el valor estimado de F(tj). Es usual estimar dicho valor mediante los llamados rangos medianos, los cuales se pueden calcular, en el caso de la distribucin Weibull con observaciones completas (sin censura), mediante la ecuacin que se muestra a continuacin.

ww w.

at

Una vez conocidas las transformaciones que permiten linealizar la f.d. asociada a una distribucin, es posible construir una plantilla especial (con los ejes graduados de forma adecuada) sobre la cual representar una nube de puntos que contenga cada uno de los tiempos de fallo observados (eje x) junto con el valor (estimado) de la f.d. asociado a dicha observacin (eje y).

em

at

ic a

1.c

1,00 x 1,50

2,00

2,50

3,00

F(tj) rango mediano j-simo = ( 1 + F(0,5; m,n) (n j + 1) / j ) donde:

-1

F(0,5; m,n) es la mediana de una F-Snedecor con m = 2(n j + 1) y n = 2j grados de libertad, j es el orden del fallo, y n es el tamao muestral. Como se ver en el apartado siguiente, los programas estadsticos actuales (como Minitab) son capaces de realizar los clculos anteriores, automatizando as el proceso de construccin de estos grficos de probabilidad. Cuando se tengan ya representados todos los puntos (x,y) asociados a las observaciones, se deber hallar la recta de regresin asociada, la cual corresponder a la f.d. de la distribucin elegida cuyos parmetros mejor se ajusten a las observaciones. Para ver si las observaciones pueden aproximarse bien por dicha distribucin, habr que analizar (grficamente o mediante el estadstico Anderson-Darling) si los puntos representados se encuentran suficientemente prximos a la recta, prestando especial atencin a los valores de los extremos.

Ajuste de datos pertenecientes a una v.a. continua con Minitab

Como hemos comentado, las ltimas versiones de Minitab incorporan una serie de opciones que permiten intentar ajustar un conjunto de observaciones mediante algunas de las principales distribuciones continuas. Si el proceso tiene xito (i.e.: si logramos ajustar razonablemente bien alguna de las distribuciones tericas a los datos), podremos suponer que los datos siguen un patrn caracterizado por una distribucin continua conocida, lo cual nos facilitar la obtencin de informacin adicional sobre el comportamiento de la variable aleatoria. Ejemplo: vamos a usar Minitab para realizar un experimento consistente en tres fases: Fase 1: generaremos un conjunto de 50 nmeros aleatorios procedentes de una distribucin exponencial con parmetro = 2 (media = 1/ = 0,5). Fase 2: completada la fase anterior, consideraremos los valores obtenidos como observaciones dadas (olvidando que proceden de una distribucin exponencial), e intentaremos buscar, con ayuda de Mintab, aquella distribucin concreta (con parmetros concretos) que mejor se ajuste a dichas observaciones. Fase 3: compararemos la f.d. de la distribucin verdadera la exponencial de parmetro con la que hemos obtenido en la fase 2 suponiendo desconocida la procedencia de los datos. Fase 1: Generamos las 50 observaciones (nmeros aleatorios provenientes de una exp(2)). A fin de obtener los mismos valores aleatorios, podemos utilizar una semilla inicial comn. En este caso, usaremos el valor 10 como semilla. Para indicarle a Minitab tal eleccin, usaremos la opcin Calc > Set Base:

Ahora, pasamos ya a la generacin de las 50 observaciones mediante la opcin Calc > Random Data > Exponential:

ww w.

at

em

at

ic a

1.c

om

El resultado ser algo similar al siguiente: A partir de ahora, consideraremos estos valores como observaciones obtenidas como resultado de una medicin (es decir, olvidaremos por un momento que conocemos la distribucin de la cual provienen).

Fase 2: Supongamos pues que disponemos de una serie de datos cuya procedencia nos es desconocida, y que deseamos encontrar o, al menos intentarlo- una distribucin continua que nos sirva para explicar el comportamiento de la v.a. de la cual proceden. Para ello, usaremos como primera aproximacin la opcin Stat > Reliability/Survival > Distribution ID Plot...:

ww w.

at

em

at

ic a

1.c

om

Como se aprecia en las grficas anteriores, en esta primera aproximacin comienza a quedar claro que, de las cuatro distribuciones usadas (normal, log-normal, exponencial y Weibull), las dos que mejor se ajustan a las observaciones son la exponencial y la Weibull los puntos se sitan muy cerca de la lnea y el comportamiento de los mismos no sigue un patrn curvilneo como en el caso de la normal y de la log-normal. Adems de las grficas, el output anterior tambin nos proporciona el estadstico de Anderson-Darling ajustado, el cual es un reflejo de cun lejos se encuentran los puntos respecto de la recta. Por tanto, cuanto menor sea el valor de dicho estadstico, tanto mejor ser la bondad del ajuste. De los valores de dicho estadstico, se desprende nuevamente que la Weibull (AD = 0,600) y la exponencial (AD = 0,608) proporcionan un mejor ajuste a las observaciones. Ahora podemos usar la opcin Stat > Reliability/Survival > Parametric Distribution Analysis... para afinar algo ms en nuestra eleccin. Como se observa en la siguiente imagen, es posible optar entre un amplio ramillete de distribuciones candidatas. En nuestro caso, optaremos por una Weibull y, posteriormente, repetiremos el proceso con una exponencial:

ww w.

at

em

at

ic a

1.c

om

Distribution Analysis: C1
Variable: C1 Count 50

Censoring Information Uncensored value

Estimation Method: Maximum Likelihood Distribution: Weibull Parameter Estimates Parameter Shape Scale Estimate 1,0035 0,56802 Standard Error 0,1124 0,08382 95,0% Normal CI Lower Upper 0,8057 1,2499 0,42536 0,75853

Log-Likelihood = -21,651 Goodness-of-Fit Anderson-Darling (adjusted) = 0,5999

Distribution Analysis: C1
Variable: C1

Parameter Estimates Parameter Shape Scale Estimate 1,00000 0,56724

Log-Likelihood = -21,652

Goodness-of-Fit Anderson-Darling (adjusted) = 0,6076

Como se puede apreciar por los outputs anteriores, y dada la gran similitud entre ambos estadsticos AD (0,599 para el ajuste por la Weibull y 0,6076 para el ajuste por la exponencial), las observaciones se podran ajustar bastante bien tanto por una Weibull con parmetros forma = 1,0035 y escala = 0,56802 como por una exponencial de media = 0,56724. Esto no es de extraar, ya que la exponencial no es ms que una Weibull con parmetro de forma = 1 y parmetro de escala igual a la media. Llegados a este punto, es importante percatarse de la precisin con que hemos sido capaces de ajustar los datos: las observaciones procedan de una exponencial con media 0,5. Pues bien, suponiendo desconocida esta informacin y partiendo de tan slo 50 observaciones, hemos logrado casi adivinar el verdadero modelo subyacente a los datos (lgicamente, es de esperar que si dispusisemos de ms observaciones, nuestro ajuste podra ser an mejor).

ww w.

0,08022

at

Standard Error

em

at
95,0% Normal CI Lower Upper 0,42992 0,74842

Estimation Method: Maximum Likelihood Distribution: Exponential

ic a

1.c

Censoring Information Uncensored value

Count 50

om

Introduccin a los contrastes Chi-Cuadrado (2)

Una variable categrica es una variable que clasifica cada individuo de una poblacin en una de las varias clases -mutuamente excluyentes- en que sta se divide. Hay muchos problemas en los que los datos estn clasificados en categoras, mostrndose los resultados mediante distribuciones de frecuencias. Un ejemplo clsico sera la distribucin de frecuencias de las notas finales de cualquier asignatura (n de sobresalientes, n de notables, etc.). La distribucin Chi-cuadrado puede usarse para realizar contrastes de hiptesis en diferentes situaciones, siendo los principales contrastes los asociados a un experimento multinomial (que veremos en el siguiente apartado) y los asociados a una tabla de contingencia. Estos dos tipos de tests se usan para comparar resultados observados (O) con resultados esperados (E) a fin de determinar alguna de las siguientes propiedades: (1) La bondad del ajuste de las observaciones con respecto al modelo terico seleccionado para explicar su comportamiento (i.e.: contrastar si las frecuencias observadas son coherentes con las que cabra esperar habida cuenta de la distribucin terica que hayamos elegido para explicar el comportamiento de la variable aleatoria), (2) La independencia entre clases (i.e.: si los distintas categoras son o no independientes), y (3) La homogeneidad de clases (i.e.: si las distintas categoras presentan un comportamiento homogneo o si, por el contrario, hay claras diferencias entre ellas respecto a algn factor de inters).

Supongamos que tenemos un nmero k de clases en las cuales se han ido registrado un total de n observaciones (n ser, pues, el tamao muestral). Denotaremos las frecuencias observadas en cada clase por O1, O2, ..., O k . Se cumplir: O1 + O2 + ... + O k = n

ww w.

at

em

at

ic a

1.c

om

Lo que queremos es comparar las frecuencias observadas con las frecuencias esperadas (tericas), a las que denotaremos por E1, E2, ..., E k . Se verificar que: E1 + E2 + ... + E k = n FRECUENCIA OBSERVADA O1 O2 ... OK N FRECUENCIA ESPERADA E1 E2 ... EK N

CLASE 1 CLASE 2 ... CLASE K Total

Llegados a este punto, el problema es determinar si las frecuencias observadas estn o no en concordancia con las frecuencias esperadas (es decir, si el nmero de resultados observados en cada clase corresponde aproximadamente al nmero esperado). Para comprobarlo, haremos uso de un contraste de hiptesis usando la distribucin Chi-cuadrado: El estadstico de contraste ser 2 =

i =1

(Oi E i )2
Ei

Las ideas anteriores sugieren que, cuanto menor sean el valor del estadstico 2 , ms coherentes sern las observaciones obtenidas con los valores esperados. Por el contrario, valores grandes de este estadstico indicarn falta de concordancia entre las observaciones y lo esperado. En este tipo de contraste se suele rechazar la hiptesis nula (los valores observados son coherentes con los esperados) cuando el estadstico es mayor que un determinado valor crtico. Notas: 1. El valor del estadstico 2 se podr aproximar por una distribucin Chi-cuadrado cuando el tamao muestral n sea grande (normalmente es suficiente con n > 30), y todas las frecuencias esperadas sean iguales o mayores a 5 (en ocasiones deberemos agrupar varias categoras a fin de que se cumpla este requisito). 2. Se supone que las observaciones son obtenidas mediante muestreo aleatorio a partir de una poblacin que previamente ha sido dividida en categoras.

ww w.

at

em

at

Observar que este valor ser la suma de k nmeros no negativos. El numerador de cada trmino es la diferencia entre la frecuencia observada y la frecuencia esperada. Por tanto, cuanto ms cerca estn entre s ambos valores ms pequeo ser el numerador, y viceversa. El denominador permite relativizar el tamao del numerador.

ic a

1.c

om

Test 2 de bondad de ajuste

Un experimento multinomial es la generalizacin de un experimento binomial: 1. Consiste en n pruebas idnticas e independientes. 2. Para cada prueba, hay un nmero k de resultados posibles. 3. Cada uno de los k posibles resultados tiene una probabilidad de ocurrencia pi asociada (p1 + p2 + ... + pk = 1), la cual permanece constante durante el desarrollo del experimento. 4. El experimento dar lugar a un conjunto de frecuencias observadas (O1, O2, ..., Ok) para cada resultado. Obviamente, O1 + O2 + ... + Ok = n. En ocasiones estaremos interesados en comparar los resultados obtenidos al realizar un experimento multinomial con los resultados esperados (tericos). Ello nos permitir saber si nuestro modelo terico se ajusta bien o no a las observaciones. Para ello, recurriremos a la distribucin Chi-cuadrado, la cual nos permitir realizar un contraste sobre la bondad del ajuste. Concretamente, usaremos el estadstico 2 =

i =1

(Oi E i )2
Ei

con k 1 grados de libertad.

Podemos calcular cada frecuencia esperada (terica) multiplicando el nmero total de pruebas n por la probabilidad de ocurrencia asociada, es decir:

En la siguiente tabla se muestran los resultados registrados por el estudiante: Nmero de caras en los cinco lanzamientos 0 1 2 3 4 5 Total de lanzamientos de 5 monedas Frecuencia Observada 100 524 1.080 1.126 655 105 3.590

Si las monedas fuesen simtricas, la probabilidad de obtener cara en cada lanzamiento sera de 0,5. Por tanto, al lanzar cinco monedas simultneamente, el nmero de caras obtenidas, que denotaremos por X, seguira una distribucin binomial con n = 5 y p = 0,5. Esta ser nuestra hiptesis nula: H0 : X sigue una distribucin B(5;0.5) Bajo la hiptesis anterior, podemos calcular el valor esperado para la probabilidad de obtener 0 caras, 1 cara, 2 caras, etc.:

ww w.

Es este resultado estadsticamente significativo? Podemos concluir que las monedas no eran simtricas?

at

em

Ejemplo (test bondad ajuste): Un artculo aparecido en El Mundo describa la experiencia llevada a cabo por un estudiante de Bachillerato, el cual haba lanzado en 3.590 ocasiones cinco monedas iguales al aire (lo que hace un total de 17.950 lanzamientos), obteniendo 464 ms caras que cruces.

at

ic a

1.c

om

Ei = n * pi

i = 1, ..., k

Calc > Probability Distributions > Binomial :

Calc > Calculator:

Los valores observados y los esperados no parecen coincidir. Observar que, incluso en el caso de que nuestra hiptesis nula fuese cierta, ambos valores no seran exactamente iguales -ya que siempre habr cierto margen de variacin. La dificultad est en determinar si las diferencias entre ambos valores son o no significativas. Calculemos el estadstico 2 :

ww w.

at

em

at

ic a

1.c

om

Calc > Calculator :

Column Sum Sum of CHI-CUADRADO = 21,568

Calculemos finalmente el p-valor asociado a este estadstico. En este caso, como 2 2 trabajamos con un contraste unilateral, p-valor = P( > 21,568) = 1 - P( 21,568) donde 2 sigue una distribucin Chi-cuadrado con k 1 = 5 grados de libertad. Por tanto:

ww w.

at

em

at

ic a

1.c

Calc > Column Statistics :

om

Calc > Probability Distributions > Chi-Square :

Chi-Square with 5 DF

Profundicemos un poco ms en nuestro anlisis: observar que, en la columna CHICUADRADO, aparece un valor (enorme) de 15,7732 asociado a la obtencin de 4 caras:

Este valor es un reflejo de que hay una discrepancia anormal entre los valores observados y los esperados para esta categora. Es posible que haya habido un error en los registros, contabilizndose algunos resultados de 4 cruces como resultados de 4 caras.

ww w.

As pues, p-valor = 1 0,9994 = 0,0006 < 0,05. Por tanto, podemos considerar que el pvalor es significativo (al menos para = 0,05), motivo por el cual rechazaremos la hiptesis nula, i.e.: las monedas no parecen ser simtricas (i.e.: no siguen una distribucin binomial con parmetro p = 0,5).

at

em

at

x 21,5680

P( X <= x) 0,9994

ic a

1.c

om

Cumulative Distribution Function

Test de normalidad con Minitab

Muchas de las variables que nos podemos encontrar en la vida real siguen una distribucin normal o aproximadamente normal. sta es una de las razones por las cuales dicha distribucin es tan importante en estadstica. El hecho de que la normal sea una distribucin tan frecuente implica que en muchas ocasiones tendremos la sospecha infundada bien por el tipo de variable con que estemos trabajando, o bien por el anlisis visual del histograma de los datos- de que las observaciones obtenidas provienen de una distribucin normal. Si, en efecto, los datos siguiesen una distribucin normal, ello nos simplificara notablemente la realizacin de anlisis posteriores y de inferencia sobre la poblacin a partir de la cual hemos obtenido las observaciones (suponiendo que stas constituyen una muestra aleatoria de la misma). Minitab nos puede ayudar a contrastar si un determinado conjunto de observaciones se comporta o no segn una distribucin normal. Para ello, el programa proporciona una serie de tests de normalidad que complementan el anlisis grfico de las observaciones.

Ejemplo: En este ejemplo vamos a realizar un experimento consistente en dos fases: Fase 1: Generaremos 20 observaciones aleatorias procedentes de una distribucin binomial con parmetros n = 1.000 y p = 0,5. Fase 2: Completada la fase 1, olvidaremos la procedencia de los datos generados, y supondremos que han sido obtenidos al medir alguna variable cuya distribucin es desconocida, pero de la cual se sospecha que sigue un comportamiento aproximadamente normal. Nos interesar pues realizar un test para contrastar si la hiptesis anterior es sostenible desde un punto de vista estadstico (i.e.: si, en efecto, tiene sentido suponer que los datos se distribuyen segn una normal). Fase 1: A fin de obtener exactamente los mismos resultados que se muestran a continuacin, se recomienda usar una semilla que inicialice la generacin de nmeros aleatorios. Para ello usaremos la opcin Calc > Set Base...

Establecida la semilla, podemos generar los nmeros aleatorios usando la opcin Calc > Random Data > Binomial... :

ww w.

at

em

at

ic a

1.c

om

Obtendremos el siguiente listado de nmeros aleatorios:

Fase 2: Ahora, usaremos el test de normalidad incorporado en Stat > Basic Statistics > Normality Test... para contrastar la hiptesis nula de que los datos anteriores siguen una distribucin normal:

ww w.

at

em

at

Podemos representar los datos anteriores mediante un histograma para comprobar que, en efecto, la forma en que estos se distribuyen nos recuerda a la de la distribucin normal:

ic a

1.c

om

Como se aprecia en el grfico anterior, los puntos se acercan bastante a la recta lo cual es un claro indicio de que siguen una distribucin aproximadamente normal. Adems, el p-valor asociado al contraste de Anderson-Darling es p-value = 0,940 (mucho mayor que 0,05), por lo que estamos muy lejos de rechazar la hiptesis nula de que los datos se distribuyen de forma normal. Este experimento nos ha permitido, adems, comprobar empricamente un resultado terico de sumo inters: cuando una variable aleatoria se distribuye segn una binomial con parmetros n y p, bajo determinadas condiciones (n suficientemente grande y p cercano a 0,5) es posible aproximar el comportamiento de dicha variable mediante una distribucin normal de media np y varianza np (1-p).

ww w.

at

em

at

ic a

1.c

om