ESTIMACIN LINEAL DE ERROR

CUADRTICO MEDIO MNIMO

MOTIVACIN:
Los estimadores ptimos segn el criterio de Bayes son, en
general, funciones no lineales de las observaciones.
Es necesario conocer la f.d.p. de la variable aleatoria dadas las
observaciones.
Usando estimadores lineales (el estimador es combinacin lineal
de los datos):
Slo necesitamos los momentos de segundo orden.
El estimador se obtiene como solucin de un sistema de
ecuaciones lineales.

PLANTEAMIENTO:
Disponemos de un vector de observaciones: x = [x1 , x 2 , x3 ,K, x N ]
El estimador aproxima la variable aleatoria y por una
combinacin lineal de las observaciones:
N

y * = a i xi
i =1

El criterio seguido es el de minimizacin del valor cuadrtico

medio del error de estimacin:

[ ]

E (e )

N

= E y ai xi

i =1

PRINCIPIO DE ORTOGONALIDAD
El estimador lineal de error cuadrtico medio mnimo es el que
produce un error de estimacin que es ortogonal a los datos:
N

E y ai xi xk = E [exk ] = 0; 1 k N
i =1

Demostracin:

{ai }iN=1 : vector de coeficientes del estimador lineal ptimo.

{ai '}iN=1 : vector de coeficientes de otro estimador lineal.
{xi }iN=1 : datos utilizados en la estimacin.

El error de estimacin con el nuevo estimador:

N

i =1

i =1

i =1

i =1

e' = y ai ' xi = y ai xi (ai 'ai ) xi = e (ai ' ai ) xi

Su valor cuadrtico medio:

[ ]

E (e')

N

= E e (ai 'ai ) xi
i =1

2
N

N

E (e' ) = E e + E (ai 'ai ) xi 2 E e (ai 'ai ) xi

i =1

i =1

[ ] [ ]
2

E e (ai 'ai ) xi = 0
i =1

[ ] ( )

E (e')2 E e 2

CONCLUSIN: El valor cuadrtico medio mnimo se obtiene

cuando el error es ortogonal a los datos.

ECUACIONES NORMALES
El principio de ortogonalidad permite obtener fcilmente los
coeficientes del estimador lineal de error cuadrtico medio
mnimo.
N

E y ai xi xk = E [exk ] = 0; 1 k N
i =1

ai E[xi xk ] = E[ yxk ];

1 k N

i =1

Rxi x k ai = R yx k ;

1 k N

i =1

Observacin:
El clculo de los coeficientes del estimador slo requiere
informacin de los estadsticos de segundo orden en
general, peor solucin que en el caso Bayesiano.

CONSIDERACIONES DE INTERS
El error cuadrtico medio es la diferencia de los valores

cuadrticos medios de la variable a estimar y de su estimador

lineal.
Demostracin:
Por ser el error ortogonal a los datos:

[ ] [
es decir: E [yy ] = E [( y ) ]

] [ ] [

E ey * = E ( y y * ) y * = E yy * E ( y * ) 2 = 0
*

* 2

Finalmente, el error cuadrtico medio se expresa como:

[( ) ]
[ ] [ ( )]
= E [( y ) ] E [y y ] = E [( y ) ] E [( y ) ]

E (e )2 = E e y y * = E [ey ] = E y y * y =
2

El error cuadrtico medio puede reducirse utilizando ms datos

en la estima, si estos datos no son ortogonales a la variable a

estimar:
N

Ree = R yy ai R yxi
i =1

La reduccin del error cuadrtico medio es tanto mayor, cuanto

mayor sea la correlacin del dato extra introducido con la

variable a estimar.
Interpretacin geomtrica:
y
e
x2

y*
x1

FILTRO DE WIENER-HOPF DE TIEMPO

DISCRETO
La estimacin lineal de error cuadrtico medio mnimo puede
extenderse fcilmente a la estimacin de seales de tiempo
discreto, con las siguientes consideraciones:
Las observaciones son muestras de un proceso estocstico.
Los coeficientes del estimador son las muestras de la
respuesta impulsiva de un filtro lineal.

d [n] =

N 1

ai [n]x[n i ]

i =0

[n] = d [n] d [n]

d[n]: seal a estimar (deseada).
x[n]: seal observada.
[n]: error de estimacin.
Los coeficientes del filtro se obtienen aplicando el principio de
ortogonalidad:
N 1

E [x[n l ] [n]] = E x[n l ] d [n] ai [n]x[n i ] = 0; l = 0,1,...., N 1

i =0

N 1

ai [n]R x [n l , n i ] = Rdx [n, n l ];

l = 0 ,1,...,N 1

i =0

Para el caso estacionario:

N 1

ai R x [i l ] = Rdx [l ];

i =0

l = 0,1,..., N 1.

[ ] = R [0] a R

N 1

i =0

dx

[i ]

APLICACIONES TPICAS

Problema

Forma de la
observacin
x[n] = s[n] + [n]

Filtrado de la seal con

ruido
Prediccin de la seal con x[n] = s[n] + [n]
ruido
Suavizado de la seal con x[n] = s[n] + [n]
ruido
x[n] = s[n 1]
Prediccin lineal

Secuencia deseada

d [n] = s[n]
d [n] = s[n + p ]; p > 0

d [n] = s[n p ]; p > 0

d [n] = s[n]

PROBLEMA PRCTICO:
Desconocimiento de la caracterizacin estadstica del
problema (funciones de autocorrelacin de la seal observada
y de correlacin cruzada de las seales observada y
deseada).

SOLUCIN:

Estimacin de las funciones de autocorrelacin y correlacin

cruzada (necesitamos ergodicidad).

Utilizacin de algoritmos iterativos Filtro de Widrow-Hopf.

PREDICCIN LINEAL

Se utilizan las muestras disponibles de un proceso para generar

muestras futuras del mismo.

x[n] =

a k x[n k ]

k =1

Puede resolverse el problema sin utilizar algoritmos iterativos

estimando la secuencia de autocorrelacin (ergodicidad).
El predictor lineal se obtiene aplicando el principio de
ortogonalidad:
N

E x[n] a k x[n k ] x[n m] = 0; m = 1,..., N

k =1

R x [m] =

a k R x [m k ];

k =1

m = 1,..., N

APLICACIN: Codificacin diferencial:

Codificador Diferencial.

Decodificador Diferencial.