AST0212 2017-1

Introduccin al anlisis de datos

Instituto de Astrofsica
Facultad de Fsica
Pontificia Universidad Catlica de Chile
 Nuestro Semestre 2017-1
C00 T00
C01
C03
C02 T01
C04 T03

T02
T04

C05/Ctrl 1 Pesatn! T06
C05 C06 T07 T08
C07 C08/Ctrl 2 T10
C09 Feriado PUC Feriado
C10 Feriado C11
R01 I1 (M7-8)
Feriado

Control 3 Entrega de Tarea 2

Feriado (3 preguntas): Hard-copy en
clase. Programas en web.
I2 (M7-8)
Control 4
Fin Clases
Ex (M1-2)
 Clase previa (Clase 09):

1. Repaso de la clase anterior

1. Test 2
2. Cul es el significado de un valor de 2 ?
3. Correlacin lineal. Mtodo de cuadrados mnimos.
 Esta clase (Clase 10):

1. Repaso de la clase anterior

1. Test 2
2. Cul es el significado de un valor de 2 ?
3. Correlacin lineal. Mtodo de cuadrados mnimos.
 Realidad y observacin: Grado de certeza?
Comparacin directa de histogramas: Requiere REPASO
1. Observacin sistematizada (e.g. histogramas)
Probabilidad de la caracterstica

2. Modelo cuantitativo de la realidad (fdps)

3. Tcnica para hacer histogramas tericos
4. Tcnica cuantitativa para compararlos

Frecuencia
Valor de la caracterstica
Valor de la caracterstica

Cmo puedo hacer una comparacin cuantitativa que me permita establecer cun
cierto es que el conjunto de observaciones obtenida representa la distribucin de
probabilidad subyacente?

(e.g. = Exempli gratia)

Comparacin directa de histogramas: Requiere
1. Observacin sistematizada (e.g. histogramas)
2. Modelo cuantitativo de la realidad (fdps)
3. Tcnica para hacer histogramas tericos
4. Tcnica cuantitativa para compararlos

Estimador de diferencia 2
2
2
, ,
=
,
=1

REPASO
 Entonces: 2 ?
La normalizacin de las diferencias
( ) se hace en la hiptesis de
que los bins del histograma se llenan
siguiendo la estadstica de Poisson,
con = .
2
, ,
2 =
,
=1

, , 2
2 =
, , ,
2

=1
2
, ,
2 =
,
=1

REPASO
 2
?

, , 2
2 = = 2
, REPASO
=1 =1

Esperamos, en principio, que el valor

de promedio de (, , ) est bien
representado por , . Por lo tanto el
valor esperado de cada uno de los
sumandos del 2 es (, , ) 1.
Si 2 deberamos concluir que el
modelo de la realidad que codificamos
dentro de los , no es una buena
representacin de los datos. Por otro
lado, si tuviramos 2 debera-
mos concluir que estamos ajustando la
realidad por encima de la expectacin
estadstica (el tpico caso de algo
demasiado bueno para ser cierto).
2 = 92.86 ; = 92
 2 ?
1
, , 2 (2) 2 /2
2 2
2 = ( 2 , ) =
, 2 2 ( 2)
=1

Si repitiramos muchas veces =1 2

el experimento de generar
Distribucin
nmeros aleatorios y 3 4
comparar los histogramas
observados y tericos, =2
5
tendramos una distribucin
de valores de 2 , debido al
factor azar. La combinacin
de poissonianas le da a 2 su
propia FDP, que puede
calcularse, y nos permite
saber cual es la probabilidad
de que un cierto valor de 2 A medida que crece, la moda de la distribucin (la
haya sido obtenido por azar. probabilidad mayor) cae en 2 cada vez mayores.
 22 ?

2 92.86 = 0.426

Esto cierra el crculo de interpretacin: El

2 obtenido tiene 22 0.43. Este
2 = 92.86 ; = 92 ; = 91
valor es lo suficientemente grande como
1 2 para ser consistente con la hiptesis de

2 (2) /2
2
22 = que la distribucin subyacente era 0,1 .
2 2 2 ( 2) http://www.di-mgt.com.au/chisquare-calculator.html
 ?
En este contexto , los grados de libertad, es el nmero de bins independientes que
puedo llenar con la distribucin de probabilidad modelo.
Si hay bins y no se han ajustado parmetros de la distribucin con los mismos datos,
el nmero de grados de libertad es = 1 (Por qu?). En el caso del experimento
gaussiano anterior, hay 92 bins y = 91 (si se hubieran ajustado los parmetros de la
distribucin ( y ), tendramos = 1 2 = 3 = [92 3] = 89).

Con todo esto, estamos en condiciones de cuantificar estadsticamente las diferencias

entre la distribucin observada y el modelo de la realidad subyacente de la cual se han
sacado los datos. Dado un par de valores ( 2 , ): Cul es la probabilidad de obtener
ese 2 , o un valor mayor, por azar, incluso si el modelo es correcto? Si la probabilidad
es muy baja, el experimento nos permite rechazar la hiptesis sobre la realidad. Si la
probabilidad es alta, podemos decir que el modelo es consistente con las
observaciones, aunque nunca podremos probar que la realidad es como el modelo.

1 1
(2) 2 /2 2 (2) 2 /2
2 2 2
( 2 , ) = 2 2 =
2 2 ( 2) 2 2 2 ( 2)
 Cundo es 22 suficientemente baja?
Este ejemplo muestra las fortalezas
y debilidades del anlisis
2 = 92.86 ; 2= 91 2 = 114.27 ; = 91
estadstico. El test no puede
probarque
2 92.86 = 0.426
una distribucin es la 2 114.27 = 0.050
real. Pero s puede mostrar que un
cierto modelo es suficientemente
inconsistente con las observaciones
como para poder descartarlo.

2 = 125.29 ; =
91
2 125.29 = 0.010
22 0.05, el 2 tiene una
probabilidad lo suficientemente
baja como para rechazar la
hiptesis 0,1 con el 95% de
nivel de certeza (caso de arriba). En
el caso de la izquierda, la hiptesis
0,1 se rechaza con el 99% de
nivel de certeza.
 Resumen: Tarea 2
1. Hacer observaciones.
2. Construir histogramas con los datos.
3. Hacer un modelo de la distribucin subyacente.
4. Calcular el histograma esperado.
5. Calcular el 2
6. Calcular 2 2
7. Decidir si modelo y realidad son consistentes, o
puede rechazarse el modelo.
 Ejemplo de uso extensivo de
histogramas: Tesis de Sergio Vsquez
 Tarea 3 (!)
Repetir las Tareas 1 & 2 con los datos reales
observados en los 9 comedores donde fue posible

Problema nuevo: Los pesos estn en escalas

diferentes

Tema nuevo: Correlacin

Correlacin: Peso medido con balanzas
Mtodo de cuadrados mnimos
Partiremos por proponer un modelo matemtico para la
forma de la funcin de ajuste a los datos observados:

( ) = ( ) +

= +

Seguiremos por proponer una tcnica matemtica para

estimar los parmetros libres de la funcin de ajuste:

2

2 =

=1
Material nuevo de clase 10
 Desarrollo en pizarra:
Mtodo de cuadrados mnimos
 Mtodo de cuadrados mnimos
( ) = ( 7) +

= + 2
2

= =0

2 =1
2

= 2
2
= =0
=1

=1

1 1
( ) = 0 2
= 2
+
2 2
=1 =1 =1 =1


2
( ) = 0 2
= +
=1 2 2 2
=1 =1 =1
 Mtodo de cuadrados mnimos

1
2
= 2
+
2
2
=1 =1 =1 1 2
=
2 2 2
2 =1 =1 =1
2
= 2
+
2
=1 =1 =1

1 1
=
2 2 2 2
=1 =1 =1 =1

2
1
=
2 2 2 2
=1 =1 =1 =1
Fin de ppt de Clase 10