Cota Cramer-Rao

Criterios de estimacin.
Cota de Cramer-Rao (I)

La Cota de Cramer-Rao permite obtener la mnima varianza de cualquier estimador insesgado de un parmetro determinista y comprobar si se satisface para todos los valores del parmetro desconocido. Relacin entre varianza, precisin del estimador y fdp:
Cuanto mayor sea la dependencia de la fdp con el parmetro a estimar ms fiable ser la estima. Ej: X[0] = +[0]; [0] = N(0, 2); = x[0] var() = 2 (la precisin del estimador decrece con )
Curso de doctorado: Decisin, estimacin y clasificacin. Autor: Jos Luis Alba Castro. Departamento de Teora de la Seal y Comunicaciones.
Criterios de estimacin. Cota de Cramer-Rao (I)
Cuanto ms picuda es la funcin de verosimilitud ms precisa puede ser la estima del parmetro desconocido
Criterios de estimacin. Cota de Cramer-Rao (II)

Una medida de la precisin del estimador es el negativo de la derivada segunda de la funcin de verosimilitud. Ej:
pi ( x[0]; ) = 1 1 exp ( x[0] )2 2 2 i 2 i
ln pi ( x[0]; ) 1 2 ln pi ( x[0]; ) 1 = 2 ( x[0] ) = 2 2 i i var( ) = i =

2
1 2 ln pi ( x[0]; ) 2
Como la segunda derivada puede depender del dato, una medida ms adecuada es tomar la esperanza, reconociendo as que X[0] es una variable aleatoria:
var( ) = 1 2 ln pi ( x[0]; ) E 2
Criterios de estimacin. Cota de Cramer-Rao (III)
Expresin de la Cota de Cramer-Rao:

var() 1 1 = 2 ln p(x; ) ln p(x; ) 2 E E 2
Demostracin
es un estimador EFICIENTE de si :
1 lnp( x; ) = [ ]I ( ) var( ) = I ( )
(Nota: en este caso la estima mximo verosimil es igual al propio parmetro: ML ( x ) = )

Derivando de nuevo obtenemos:
2 ln p(x; ) informacin de Fisher 2 ln p(x; ) I ( ) = I ( ) + [ ] I ( ) = E para los datos x 2 2

La informacin de Fisher es mayor cuanto menor es la Cota de Cramer-Rao. La informacin de Fisher cumple las propiedades de las medidas de informacin: Es no negativa Es aditiva para observaciones independientes
Ejemplo: x[0] = +[0]; [0] = N(0, 2);

1 2 ln p(x[0]; ) 1 1 2 = 2 var() 2; exp 2 ( x[0] ) p(x[0]; ) = 2 2 2 si = x[0] var() = 2 es el estimador de mnima varianza y es eficiente
Ejemplo: x[n] = +[n]; [n] = i.i.d. N(0, 2);

p( x; ) =
1 2
1 N 1 exp 2 ( x[n] )2 2 n=0
N ln p( x; ) 1 N 1 = 2 ( x[n] ) = 2 ( x ) = I ( )( ) n=0
2 N 2 ln p( x; ) ) = 2 var( N 2 la media muestral x es un MVU eficiente
la cota de Cramer-Rao para N observaciones i.i.d. es N veces inferior a la de una observacin, como se deduce de la informacin de Fisher.
Ejercicio: 12) Demostrar que para N observaciones i.i.d. la informacin de Fisher es N veces superior a la de una observacin (propiedad aditiva)
Criterios de estimacin. Cota de Cramer-Rao (IV)

Cota de Cramer-Rao para seales en ruido blanco:
X [n] = s(n; ) + [n]; p( x; ) =
[n] i.i.d . N (0, 2 )
1 2
1 N 1 2 exp 2 ( x[n] s(n; ) ) 2 n=0
2 2 ln p( x; ) 1 N 1 2 s(n; ) s(n; ) = 2 ( x[n] s(n; ) ) 2 2 n =0
2 ln p( x; ) 1 N 1 s(n; ) E = 2 var( ) 2 n =0
2
2
s(n; ) n =0
N 1 2
Cuanto ms sensible es la seal respecto al parmetro, ms precisin pueden alcanzar los estimadores
Ejemplo: estimacin de frecuencia.

X[n] = s[n;]+[n] = Acos(2f0n + ) + [n] 0 < f0 <1/2
var(f0)
2
A (2n sen(2f0n +))
2 n=0 N1 2
Ejercicio: 13) Encontrar la cota de Cramer-Rao para un estimador de la fase de la sinusoide en ruido.Verificar que no existe un estimador eficiente.
Criterios de estimacin. Cota de Cramer-Rao (V)

Extensin a un vector de parmetros.
Dado el vector de parmetros
= [12 L P ]
T
la cota de CR impone la varianza mnima para los estimadores del parmetro i :

var(i ) I 1() ii
C = I 1()
I() es la matriz de informacin de Fisher (PxP), definida como:

2 ln p( x; ) [I ()]ij = E i j
El mnimo C= I-1() se alcanza si y solo si:

ln p( x; ) = I ()
Ejemplo: X[n] = +[n]; [n] = i.i.d. N(0, 2); A y 2 desconocidos: = [A 2 ]T

2 ln p ( x ; ) E A2 I ( ) = 2 ln p ( x ; ) E 2 A 2 ln p ( x ; ) E 2 A 2 ln p ( x ; ) E 2 2 ( )
N N 1 ln p ( x ; ) = ln( 2 ) ln( 2 ) 2 2 2 2 2 ln p ( x ; ) N = 2; 2 A
( x [ n ] A)
n =0 N 1 n =0
N 1
2 ln p ( x; ) 1 = 4 2 A ( )
( x [ n ] A)
2 ln p ( x ; ) N 1 = 6 ( 2 ) 2 2 4
( x [ n ] A)
n =0
N 1
Tomando esperanzas y cambiando de signo:
N 2 I ( ) = 0
0 var( A) N N 2 4 2 var( ) 2 4 N
2
La cota de CR para es la misma que en el caso de 2 conocida debido a que I() es diagonal, pero no siempre es as. Veamos otro ejemplo:
Ejemplo: ajuste lineal. X[n] = +B[n] + [n]; [n] = i.i.d. N(0, 2): = [A B]T
1 N 1 p( x; ) = exp 2 ( x[n] A Bn)2 (2 2 ) N / 2 2 n=0 1
ln p( x; ) 1 N1 2 ln p( x; ) N = 2 ( x[n] A Bn) ; = 2 ; A A2 n=0 1 N1 2 ln p( x; ) 1 N1 2 ln p( x; ) = 2 ( x[n] A Bn)n ; = 2 n 2 B B n=0 n=0 1 N1 2 ln p( x; ) = 2 n AB n=0
N(N 1) N 1 2 Como las derivadas de 2 orden no dependen de x: I () = 2 N(N 1) N(N 1)(2N 1) 6 2
2 6 2(2N 1) ) 2(2N 1) N(N +1) N(N +1) var(A N (N +1) I 1() = 2 2 6 12 12 ) var(B 2 N (N 2 1) N(N +1) N(N 1)
Veamos ahora si existe un estimador eficiente para: = [A B]T

N 1 lnp( x; ) = 2 N ( N 1) 2
N 1
N ( N 1) A A 2 N ( N 1)( 2 N 1) B B 6
(x[n ] A Bn ) = N (A A) + N ( N 1) (B B )
2 n =0 N 1 N ( N 1) N ( N 1)( 2 N 1) BB (x[n ] A Bn )n = 2 A A + 6 n =0
N 1 6 2( 2 N 1) N 1 A = N ( N + 1) x[n ] N ( N + 1) nx[n ] n =0 n =0 N 1 N 1 6 12 B = x[n ] N ( N 2 1) nx[n ] N ( N + 1) n =0 n =0
Tarea 2) A partir del script bsico de Matlab (en la web el curso) que genera una simulacin de la curva IBEX35, se propone como tarea hacer un script que permita hacer un ajuste lineal a tramos de la curva mediante estimadores como los de este ejemplo.
Ejemplo: (continuacin)
Observaciones: B es ms fcil de estimar que A, ya que su cota decrece como 1/N3 sin embargo la de A decrece como 1/N. Esto indica que X[n] es ms sensible a cambios en B que en A:
CRLB ( A) ( 2 N 1)( N 1) = > 1, N 3 6 CRLB ( B )
La cota de CR para es mayor que si B fuese conocido. En general la cota de CR aumenta cuando se estiman ms parmetros (ver ejemplo anterior). Ejercicio: 14) Para una matriz de informacin de Fisher 2x2 definida positiva, demostrar que:
[I
( )
ii
1 [I ( ) ]ii
cundo se cumple la igualdad?
Criterios de estimacin. Cota de Cramer-Rao (demostracin)

Para comprobar la efectividad de un estimador insesgado se puede
calcular una cota inferior y verificar cuanto se acerca a la misma:
E = 0 = p( x; )dx = 0
[ ] [ ] [ ]p( x; )dx =
p( x; ) p( x; )}dx = p( x; )dx + dx
{[
[ ]
ln p( x; ) p( x; ) dx = p(x; ) dx = 1
[ ]
2
[ ]
Y utilizando la desigualdad de Cauchy-Schwarz:

2 ln p( x; ) p( x; )dx * p( x; )dx 1 2 1 var( ) = E Cota de Cramer - Rao ln p( x; ) 2 E ln p( x; ) 1 Igualdad cuando : = I ( ) var( ) = ( I ( ) no depende de x ni de ) I ( )
{[ ] }
Criterios de estimacin. Cota de Cramer-Rao (demostracin)

Una expresin alternativa para la Cota de CR surge notando que:
p( x; )dx = 1 derivando
ln p( x; ) p( x; ) dx = p( x; )dx = 0 2
ln p( x; ) 2 ln p( x; ) p( x; )dx + p( x; )dx = 0 2 derivando
ln p( x; ) 2 2 ln p( x; ) E = E 2 1 var( ) 2 ln p( x; ) E 2

Cota Cramer-Rao

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Cota Cramer-Rao

Transféré par

Droits d'auteur :

Formats disponibles

Criterios de estimacin.

Cota de Cramer-Rao (I)

Criterios de estimacin. Cota de Cramer-Rao (I)

Criterios de estimacin. Cota de Cramer-Rao (II)

ln pi ( x[0]; ) 1 2 ln pi ( x[0]; ) 1 = 2 ( x[0] ) = 2 2 i i var( ) = i =

Criterios de estimacin. Cota de Cramer-Rao (III)

Expresin de la Cota de Cramer-Rao:

(Nota: en este caso la estima mximo verosimil es igual al propio parmetro: ML ( x ) = )

2 ln p(x; ) informacin de Fisher 2 ln p(x; ) I ( ) = I ( ) + [ ] I ( ) = E para los datos x 2 2

Ejemplo: x[0] = +[0]; [0] = N(0, 2);

Ejemplo: x[n] = +[n]; [n] = i.i.d. N(0, 2);

1 N 1 exp 2 ( x[n] )2 2 n=0

Criterios de estimacin. Cota de Cramer-Rao (IV)

[n] i.i.d . N (0, 2 )

1 N 1 2 exp 2 ( x[n] s(n; ) ) 2 n=0

2 2 ln p( x; ) 1 N 1 2 s(n; ) s(n; ) = 2 ( x[n] s(n; ) ) 2 2 n =0

Ejemplo: estimacin de frecuencia.

Criterios de estimacin. Cota de Cramer-Rao (V)

la cota de CR impone la varianza mnima para los estimadores del parmetro i :

I() es la matriz de informacin de Fisher (PxP), definida como:

El mnimo C= I-1() se alcanza si y solo si:

Ejemplo: X[n] = +[n]; [n] = i.i.d. N(0, 2); A y 2 desconocidos: = [A 2 ]T

Tomando esperanzas y cambiando de signo:

Veamos ahora si existe un estimador eficiente para: = [A B]T

N 1 6 2( 2 N 1) N 1 A = N ( N + 1) x[n ] N ( N + 1) nx[n ] n =0 n =0 N 1 N 1 6 12 B = x[n ] N ( N 2 1) nx[n ] N ( N + 1) n =0 n =0

cundo se cumple la igualdad?

Criterios de estimacin. Cota de Cramer-Rao (demostracin)

Y utilizando la desigualdad de Cauchy-Schwarz:

Criterios de estimacin. Cota de Cramer-Rao (demostracin)

ln p( x; ) 2 ln p( x; ) p( x; )dx + p( x; )dx = 0 2 derivando

Vous aimerez peut-être aussi