Vous êtes sur la page 1sur 32

ESTAD ´ ISTICA DE SE NALES ˜ Y ESTIMACI ON ´

Antonio M. Peinado

Depto. Teor´ıa de la Senal ˜

Telematica ´

y Comunicaciones

Universidad de Granada

ESTAD ´ ISTICA DE SE NALES ˜ Y ESTIMACI ON ´ Antonio M. Peinado Depto. Teor´ıa

amp@ugr.es

http://ceres.ugr.es/

ESTAD ´ ISTICA DE SE NALES ˜ Y ESTIMACI ON ´ Antonio M. Peinado Depto. Teor´ıa

Esquema del Tema

Definiciones basicas ´ Filtrado de procesos aleatorios Factorizacion´ espectral Procesos aleatorios basados en filtrado El problema de la estimacion´ Estimacion´ bayesiana Estimacion´ de m´ınimos cuadrados con modelos lineales

´

BiBLIOGRAF IA

Vaseghi: ”Advanced Digital Signal Processing and Noise Reduction”. Wiley, 2000. Hayes: ”Statistical Digital Signal Processing and Modeling”, Wiley.

1. DEFINICIONES B ASICAS ´

Proceso Aleatorio: secuencia de variables aleatorias {x(n)} (n = 0, 1, 2,

.)

Parametros ´

caracter´ısticos:

Parametro ´

Expresion´

Not. vectorial (proc. finitos)

x = (x(0),

, x(N 1)) t

Media

µ x (n) = E[x(n)]

µ x = E[x]

Varianza

σ x (n) = E[|x(n) µ x (n)| 2 ]

2

 

Autocovarianza

c x (k, l) = = E[(x(k) µ x (k)) (x(l) µ x (l)) ]

C x = E[(x µ x ) (x µ x ) H ]

Autocorrelacion´

r x (k, l) = E[x(k)x (l)]

R x = E[xx H ]

Covarianza

c xy (k, l) =

 

Cruzada

= E[(x(k) µ x (k)) (y(l) µ y (l)) ]

C xy = E[(x µ x ) y µ y H ]

Corr. Cruzada

r xy (k, l) = E[x(k)y(l) ]

R xy = E[xy H ]

Relaciones de interes: ´ c x (k, k) = σ x (k) c x (k, l) = r x (k, l) µ x (k)µ x (l) c xy (k, l) = r xy (k, l) µ x (k)µ y (l)

2

Procesos no-correlados: c xy (k, l) = 0,

H

C x = R x µ x µ C xy = R xy µ x µ

x

H

y

r xy (k, l) = µ x (k)µ

y (l)

k, l

Concepto de estacionariedad en sentido amplio (WSS). Se exigen 3 condiciones.

  • 1. Media constante: µ x (n) = µ x n

  • 2. La autocorrelacion´

r x (k, l) solo´

depende de |k l|,

r x (k, l) = r x (k l, 0) r x (k l)

r x (k) = E[x(n)x (n k)] = E[x(n + k)x (n)]

  • 3. Varianza finita σ

x 2 <

Propiedades de r x (k) en procesos estacionarios WSS:

  • 1. Simetr´ıa: r x (k) = r

x (k). Caso x(n) real: r x (k) = r x (k).

  • 2. Valor en k = 0: r x (0) 0.

  • 3. Valor maximo: ´

r x (0) ≥ |r x (k)|

k.

  • 4. Si existe k 0 tal que r x (0) = r x (k 0 ), entonces r x (k) periodica ´

de periodo k 0 .

Procesos WSS finitos: Matrices de autocorrelacion´

tipo Toeplitz (R x = E[xx H ]).

R x

=

=

=

E

 

 

 

   

x(0)x (0)

x(1)x (0) . . .

x(N 1)x (0)

x(0)x (1)

x(1)x (1)

x(N 1)x (1)

·

·

·

·

·

·

.

.

.

·

·

·

x(0)x (N 1)

x(1)x (N 1) . . .

x(N 1)x (N 1)

 

 

 

   

 

 

r x (0)

r x (1) . . .

r x (N 1)

 

 

r x (0)

r x (1) . . .

r x (N 1)

r x (−1) · · · r x (0) . . . · · · ∗
r x (−1)
·
·
·
r x (0)
.
.
.
·
·
·
r x (1)
·
·
·
r x (0)
.
.
.
·
·
·

r x (N + 1)

r x (N + 2) . . .

r x (0)

   

r x (N 1)

r x (N 2) . . .

r x (0)

Ejemplo de proceso aleatorio estacionario: el ruido blanco (de media nula),

2

c x (k) = r x (k) = σ x δ(k)

Ejemplos de ruido blanco (realizaciones):

• Ejemplo de proceso aleatorio estacionario: el ruido blanco (de media nula), 2 c ( k

a) Ruido blanco Gaussiano, b) Ruido blanco de Bernouilli

Densidad Espectral de Potencia (PSD) de procesos WSS:

P x (ω) = F[r x (k)] =

k=−∞

r x (k)e jωk

P x (z) = Z[r x (k)] =

k=−∞

r x (k)z k

Propiedades de la PSD:

Simetr´ıa: la PSD de todo proceso estacionario es real,

P x (ω) = P

x

(ω)

P x (z) = P

x

(1/z )

Si x(n) es real la PSD es una funcion´

par P x (ω) = P x (ω)

Positividad: P x (ω) 0

Potencia total:

(P x (z) = P

x

(z ))

r x (0) = E[|x(n)| 2 ] =

2π

1

π

π

P x (ω)

2. FILTRADO DE PROCESOS ESTACIONARIOS

Filtramos un proceso estacionario x(n) con media µ x y autocorrelacion´

filtro LTI estable de respuesta impulsiva h(n):

r x (k) con un

x(n)

2. FILTRADO DE PROCESOS ESTACIONARIOS • Filtramos un proceso estacionario x ( n ) con media

h(n)

y(n)

2. FILTRADO DE PROCESOS ESTACIONARIOS • Filtramos un proceso estacionario x ( n ) con media

y(n) = h(n) x(n) =

k=−∞

h(k)x(n k)

El proceso de salida y(n) es estacionario:

  • 1. Media del proceso filtrado: E[y(n)] = µ x

2. Autocorrelacion: ´

k=−∞

h(k) = µ x H(ω = 0)

r yx (n + k, n) = r x (k) h(k) = r yx (k)

r y (n + k, n) = r yx (k) h (k) = (r x (k) h(k)) h (k) = r y (k)

h(k)

*

h (−k)

r (k) x
r
(k)
x

r

yx

(k)

r

y

(k)

2. FILTRADO DE PROCESOS ESTACIONARIOS • Filtramos un proceso estacionario x ( n ) con media
2. FILTRADO DE PROCESOS ESTACIONARIOS • Filtramos un proceso estacionario x ( n ) con media

r y (k) = r x (k) r h (k)

Expresion´

compacta de la autocorrelacion´

de salida:

r y (k) = r x (k) r h (k)

Autocorrelacion´

determinista:

r h (k) =

h(n)h (n + k) = h(k) h (k)

n=−∞

PSD del proceso de salida:

Expresion´

en dominio frecuencia:

 
 

P y (ω) = P x (ω)|H(ω)| 2

 

Expresion´

en dominio Z:

 

P y (z) = P x (z)H(z)H (1/z )

 

x(n) real

P y (z) = P x (z)H(z)H(1/z)

Interpretacion´

f´ısica de la PSD: P x (ω 0 )proporciona la energ´ıa de la senal ˜

contenida

en un intervalo de frecuencias [ω 0 dω/2, ω 0 + dω/2].

3. FACTORIZACI ON ´ ESPECTRAL

Si la PSD de un proceso estacionario x(n) es continua (proceso regular), entonces

podra´ descomponerse como,

x(n) real

P x (z) = σ

  • 0 2 Q(z)Q (1/z )

P x (z) = σ

  • 0 2 Q(z)Q(1/z)

donde Q(z) es de fase m´ınima y,

2

σ

0

= exp

2π π

1

π log P x (ω)

real positivo

Propiedades de los procesos regulares:

Cualquier proceso regular x(n) puede obtenerse como la salida de un filtro es-

table y causal excitado por un ruido blanco de varianza σ

  • 0 2 (haciendo H(z) =

Q(z)) Representacion´ mediante innovaciones.

Si filtramos x(n) con 1/H(z) = 1/Q(z) (filtro de blanqueado) obtenemos un

ruido blanco de varianza σ

  • 0 2 (proceso de innovaciones).

Procesos predecibles x p (n) (deterministas): cuando existe un conjunto de coeficientes

de forma que se cumple,

x p (n) =

k=1

a k x p (n k)

La PSD de un proceso predecible es una serie finita de impulsos (de Dirac):

P x p (ω) =

M

k=1

α k u 0 (ω ω k )

Teorema de descomposicion´ de Wold: cualquier proceso estacionario x(n) puede

descomponerse como la suma de un proceso regular x r (n) mas otro predecible x p (n),

x(n) = x r (n) + x p (n)

siendo x r (n) y x p (n) no correlados (E[x r (n)x

p (n + k)] = 0).

Corolario: la PSD de cualquier proceso estacionario puede expresarse como,

P x (ω) = P r (ω) + P p (ω)

4. PROCESOS ALEATORIOS BASADOS EN FILTRADO

Consideramos procesos regulares en los que el ruido blanco es filtrado con un filtro

lineal (causal y estable) invariante en el tiempo con una ecuacion´

en diferencias dada.

Forma general: proceso AutoRegresive Moving Average

4. PROCESOS ALEATORIOS BASADOS EN FILTRADO • Consideramos procesos regulares en los que el ruido blanco

H(z)

e(n)

x(n)

4. PROCESOS ALEATORIOS BASADOS EN FILTRADO • Consideramos procesos regulares en los que el ruido blanco

q

x(n) = p k=1 a k x(n k) + k=0

b k e(n k)

X(z) = H(z)E(Z)

H(z) = B(z) A(z)

=

q

k=0

b k z

k

p

k=0

k

a k z

(a 0 = 1)

e(n) ruido blanco de media nula y varianza σ

  • 2 , b 0 = 1 (usualmente).

e

Notacion: ´

Proceso ARMA(p, q).

PSD del proceso ARMA:

P ARMA (ω) = |H(e jω )| 2 P e (ω) = σ

2

e

|B(e jω )|

2

|A(e jω )|

2

=

q

k=0

b k e jωk

2

p

k=0

a k e jωk

2 σ

2

e

P ARMA (z) = σ

2

e

B(z)B (1/z )

A(z)A (1/z )

Proceso Moving Average: MA(q) = ARMA(p=0,q)

x(n) =

q

k=0

b k e(n k)

H(z) = B(z) =

q

k=0

b k z

k

P MA (ω) = |B(e ω )| 2 σ

2

e

=

q

k=0

b k e jωk

P MA (z) = σ

  • 2 B(z)B (1/z )

e

2

2

σ

e

Proceso Autoregresive: AR(p) = ARMA(p,q=0)

x(n) =

p

k=1

a k x(n k) + b 0 e(n)

H(z) =

b 0

=

A(z)

b 0

p

k=0

k

a k z

P AR (ω) =

|b 0 | 2 σ

2

e

p

k=0

a k e jωk

2

P AR (z) =

|b 0 | 2

A(z)A (1/z ) σ

2

e

NOTA: normalmente b 0 = 1

Espectros caracter´ısticos MA, AR y ARMA:

• Espectros caracter´ısticos MA, AR y ARMA: Antonio M. Peinado, Universidad de Granada 15

Autocorrelacion´

de un proceso ARMA. Ecuaciones de Yule-Walker:

r x (k) =

     

 

  

p

l=1

p

l=1

a l r x (k l) + σ

2

e

a l r x (k l)

qk

l=0

h(l)b l+k

k = 0, 1,

. . .

, q

k q + 1

Ecuaciones de Yule-Walker para procesos AR:

r x (k) =

 

  

    

p

l=1

p

l=1

a l r x (k l) + σ

2

e

a l r x (k l)

k = 0

k > 0

r x (0)

r x (1)

.

.

.

r x (p 1)

r x (1)

r x (0)

·

·

·

·

·

·

.

.

.

r x (p 1)

.

.

.

r x (0)

a

1

a

2

.

.

.

a

p

=

r x (1)

r x (2)

.

.

.

r x (p)

R x a = r x

r x (0) = σ

2

e

p

l=1

a l r x (l)

Autocorrelacion r x (k)

PSD P AR (ω) (dB)

Autocorrelacion r x (k)

PSD P AR (ω) (dB)

Ejemplos Procesos AR(1): σ

  • 2 = 1, a 1 = 0,8 y a 1 = 0,8

e

3

a 1 =−0.8
a 1 =−0.8

2

1

0

−1

−2

−3 −20

−10

Lag 0

k

10

20

15

a 1 =−0.8
a 1 =−0.8
a 1 =−0.8
a 1 =−0.8

10

5

0

−5

−10 −3

−2

−1 Frecuencia 0 norm 1 ω

2

3

3

a 1 =0.8
a 1 =0.8
a 1 =0.8
a 1 =0.8
a 1 =0.8

2

1

0

−1

−2

−3 −20

−10

Lag 0

k

10

20

15

a 1 =0.8
a 1 =0.8
a 1 =0.8
a 1 =0.8
a 1 =0.8

10

5

0

−5

−10 −3

−2

−1 Frecuencia 0 norm 1 ω

2

3

Autocorrelacion r x (k)

PSD P AR (ω) (dB)

Autocorrelacion r x (k)

PSD P AR (ω) (dB)

Ejemplos Procesos AR(2): σ

  • 2 = 1, a 1 = 0, a 2 = 0,49 y a 2 = 0,9025

e

a 1 =0, a 2 =0.49
a 1 =0, a 2 =0.49

10

5

0

−5

−10 −20

−10

Lag 0

k

10

20

20

a =0, a =0.49
a =0, a =0.49

a 1 =0, a 2 =0.49

a =0, a =0.49

15

10

5

0

−5

−10 −3

−2

−1 Frecuencia 0 norm 1 ω

2

3

a =0, a =0.9025
a =0, a =0.9025
a =0, a =0.9025
a =0, a =0.9025

a 1 =0, a 2 =0.9025

a =0, a =0.9025

10

5

0

−5

−10 −20

−10

Lag 0

k

10

20

20

a =0, a =0.9025
a =0, a =0.9025
a =0, a =0.9025

a 1 =0, a 2 =0.9025

15

10

5

0

−5

−10 −3

−2

−1 Frecuencia 0 norm 1 ω

2

3

Autocorrelacion r x (k)

PSD P AR (ω) (dB)

Autocorrelacion r x (k)

PSD P AR (ω) (dB)

Ecuaciones de Yule-Walker para procesos MA:

r x (k) =

  

 

qk

σ


2

e

l=0

b l b l+k

0

k = 0, 1,

, q

k q + 1

Ejemplos Procesos MA(1): σ

  • 2 = 1, b 1 = 0,5 y b 1 = 0,95

e

2

b 1 =−0.5
b 1 =−0.5

1.5

1

0.5

0

−0.5

−1 −10

−5

Lag 0

k

5

10

5

0

−5

−10

−15

−20

−25

b 1 =−0.5
b 1 =−0.5
b 1 =−0.5
b 1 =−0.5

−3

−2

−1 Frecuencia 0 norm 1 ω

2

3

2

b 1 =−0.95
b 1 =−0.95
b 1 =−0.95
b 1 =−0.95

1.5

1

0.5

0

−0.5

−1 −10

−5

Lag 0

k

5

10

5

0

−5

−10

−15

−20

−25

b 1 =−0.95
b 1 =−0.95
b 1 =−0.95
b 1 =−0.95

−3

−2

−1 Frecuencia 0 norm 1 ω

2

3

Autocorrelacion r x (k)

Autocorrelacion r x (k)

Ejemplos Procesos MA(2): σ

  • 2 = 1, b 1 = 0, b 2 = 0,49 y b 2 = 0,9025

e

2

 

b 1 =0, b 2 =0.49

b =0, b =0.49
b =0, b =0.49
b =0, b =0.49
b =0, b =0.49
 

5

b 1 =0, b 2 =0.49

b =0, b =0.49
b =0, b =0.49
b =0, b =0.49
b =0, b =0.49

1.5

0

PSD P AR (ω) (dB)

−5

1

−10

0.5

 

−15

−20

0

 

−10

−5

0

5

10

−3

−2

−1

0

1

2

3

 

Lag

k

Frecuencia norm ω

 

2

 

b 1 =0, b 2 =0.9025

b =0, b =0.9025
b =0, b =0.9025
b =0, b =0.9025
b =0, b =0.9025
 

5

b 1 =0, b 2 =0.9025
b 1 =0, b 2 =0.9025
b 1 =0, b 2 =0.9025
b 1 =0, b 2 =0.9025
b 1 =0, b 2 =0.9025
b 1 =0, b 2 =0.9025

1.5

0

PSD P AR (ω) (dB)

−5

1

−10

0.5

 

−15

−20

0

 

−10

−5

0

5

10

−3

−2

−1

0

1

2

3

 

Lag

k

Frecuencia norm ω

 

5. EL PROBLEMA DE LA ESTIMACI ON ´

Problema: dado un cierto proceso aleatorio x(n), se pretende calcular un cierto

parametro ´

o vector de parametros ´

θ

= (θ(0),

. . .

, θ(p 1)) t del proceso a partir

de una serie de muestras ruidosas del mismo x = (x(0), x(1),

. . .

, x(N 1)) t .

Solucion´

exacta imposible.

Estimacion´

Bayesiana: obtener una aproximacion´

(estimacion) ´

θ ˆ de θ de acuerdo con

algun´

criterio optimo ´

mediante una funcion´

estimadora:

θ ˆ = f(x, N, Modelo)

Valoracion´

de la estimacion: ´

Valor esperado: E[ θ] ˆ

Covarianza: COV [ θ] = E θ E[ θ] θ E[ θ] ˆ t

ˆ

ˆ

ˆ

ˆ

Caso monodimensional: COV [

θ] ˆ = V AR[ θ] ˆ

Caracterizacion´

de estimadores:

Estimador sin desviacion´

ˆ

(unbiased): E[ θ] = θ

Definicion´

de Bias (desviacion): ´

ˆ

ˆ

B[ θ] = θ E[ θ].

Estimador consistente: la covarianza tiende a cero cuando N → ∞.

Error Cuadratico ´

Medio (MSE): MSE[

θ] = E[( θ θ) t ( θ θ)]

ˆ

ˆ

ˆ

Caso monodimensional: MSE[

θ] = V AR[ θ] + B 2 [ θ]

ˆ

ˆ

ˆ

Intervalo de confianza: intervalo θ , θ + ∆ al que θ pertenecera´ con una

ˆ

ˆ

probabilidad P HIGH dada (t´ıpicamente entre 0.9 y 0.95):

θ+∆ ˆ

θ

ˆ
ˆ

ˆ

p( θ)d

ˆ

θ = P HIGH

Ejemplos: estimacion´

de la media y varianza de una distribucion´

N muestras x = (x(0),

. . .

, x(N 1)) t

.

gaussiana a partir de

µˆ x =

1

N

N1

n=0

x(n)

σˆ 2 =

y

N1

  • 1

N

n=0

(x(n) µˆ x ) 2

Estimacion´

de la autocorrelacion´

Dado un segmento de senal ˜

x(n) (n = 0,

. . .

, N

relacion´

mediante un estimador promedio como:

1), podemos estimar la autocor-

r˜ x (k) =

  • 1 N1−|k|

n=0

N − |k|

x(n)x(n + |k|)

Caracter´ısticas de la estimacion: ´

  • 1. Estimacion´

sin desplazamiento (unbiased):

(k = (N 1),

. . .

, N 1)

Er x (k)] =

  • 1 N1−|k|

n=0

N − |k|

E[x(n)x(n + |k|)] = r x (k)

2. Estimacion´

consistente:

  • V ARr x (k)] = E r x (k) Er x (k)]) 2

N

(N − |k|) 2

n=−∞

r x (n) + r x (k n)r x (k + n) −→ 0 (N −→ ∞)

2

Alternativa: considerar que x(n) toma valores nulos fuera del intervalo [0, N 1] y

usarlos en la estimacion´

de r x (k):

1

N

rˆ x (k) =

N1−|k|

n=0

x(n)x(n + |k|)

w (n) B 1 n −N N
w (n)
B
1
n
−N
N

rˆ x (k)

Caracter´ısticas de la estimacion: ´

=

=

=

N − |k|

N

r˜ x (k)

1

|k|

N

r˜ x (k)

w B (kr x (k)

  • 1. Estimacion´

con desviacion´

(biased): Er x (k)] = w B (k)Er x (k)] = w B (k)r x (k)

  • 2. Estimacion´

consistente: V ARr x (k)] = w

B 2 (k)V ARr x (k)] −→ 0

(N −→ ∞)

Esta estimacion´

es preferible a la anterior:

  • 1. Se cumple V ARr x (k)] < V ARr x (k)]

  • 2. r˜ x (k) puede producir estimaciones de la PSD negativas.

6. ESTIMACI ON ´ BAYESIANA

Procedimiento: minimizacion´

funcion´

de coste.

de una funcion´

de riesgo obtenida como promedio de una

ˆ

R( θ)

ˆ

R( θ|