Vous êtes sur la page 1sur 38

Modlisation des signaux

Dr. Wassim El Falou

Chapitre 2 : Estimation
Lestimation consiste calculer une quantit
alatoire partir une observation alatoire dun
signal quelconque
Le problme de lestimation est divise en deux
parties:
Estimation paramtrique: consiste estimer les
paramtres de la densit de probabilit poursuite par
la variable alatoire
Estimation non paramtrique: consiste estimer des
variables identifiant le processus alatoire sans
2
connatre sa densit de probabilit

Chapitre 2 : Estimation
paramtrique
Etant donne une variable alatoire x = [x1, x2 ,
, xN ]T , qui suit une densit de probabilit

f (x)

Un estimateur (x) est une variable alatoire qui


estime la paramtre suivant une critre
destimation quelconque, et pour une observation
quelconque de x

Chapitre 2 : Proprit dun


estimateur
Quelque soit lestimateur utilise pour , cet
estimateur est fonction de N (Nombre de
lobservation):

( x) = N ( x)

Il faut donc caractriser la qualit dun estimateur


par deux notions importantes:

Un estimateur est dite non baise si : E ( N ) = 0

E ( N ) =
il est asymptotiquement non baise si :Nlim

Chapitre 2 : Proprit dun


estimateur
Un estimateur est consistent si :

lim pr[| N |< ] = 1

c..d que lestimateur de converge en probabilit


vers la vrai valeur de
On peut dmontrer quune estimateur est consistent si
sa variance diminue lorsque N augmente.

Chapitre 2 : Estimation par le principe de


maximum de vraisemblance
On peut estimer en utilisant le principe de
maximum de vraisemblance et ceci en prenant
qui maximise la fonction f (x) pour une
observation quelconque x.

( x) = arg max f ( x)

Chapitre 2 : Estimation par le principe de


maximum de vraisemblance
Exemple: Etant donne un signal x[n] = A + b(n)
avec b un bruit blanc de moyen nulle et d'cart
type b . Estimer A en utilisant le principe de
maximum de vraisemblance?
( x A) 2

On a:
1
2.
f A ( x) =

2. . b

.e

2
b

Chapitre 2 : Estimation par le principe de


maximum de vraisemblance
Pour un vecteur dobservation on a:

f A ( x) =

N 1
n =0

1
.e
2. . b

( xn A ) 2
2. b2

puisque les observations sont indpendantes


On a alors :
N 1
( xn A) 2
Ln( f A ( x)) = ln( 2. . b )
2
2. b
n =0
8

Chapitre 2 : Estimation par le principe de


maximum de vraisemblance
Drivons par rapport xn
N 1
( xn A)

( Ln( f A ( x))) = 2.
2
xn
2. b
n =0

la fonction de vraisemblance est donc maximum


lorsque :

1
A=
N

N 1

x
n =0

n
9

Chapitre 2 : Estimation de la moyenne


La moyenne dun signal alatoire est estime par:

1
m=
N

N 1

x
n =0

Cest un estimateur non biaise et consistent.

10

Chapitre 2 : Estimation du variance


La variance dun signal alatoire est estime par:

1
=
N

N 1

(x
n =0

m)

Cest un estimateur biaise et consistent.


On le remplace donc par :

N 1

1
2
2
=
( xn m )

N 1 n =0
qui est non biaise et aussi consistent

11

Chapitre 2 : Estimation de lAutocorrlation


Lauto-corrlation dun signal alatoire est
estime par:
N 1|k |
1
Rx ( k ) =
xn + k xn ; | k |< N

N | k | n =0
Cest un estimateur non biaise et consistent,
mais sa variance est assez grand
12

Chapitre 2 : Estimation de lAutocorrlation


On le remplace par lestimateur:

1
Rx ( k ) =
N

N 1|k |

x
n =0

n+k

xn ; | k |< N

Cest un estimateur biaise et consistent, mais sa


variance est moins grand que lautre estimateur,
et il est parfois utilise dans la modlisation des
signaux
13

Chapitre 3 : Modlisation
La modlisation dun signal x(n) consiste lui
associer un filtre linaire qui, soumis un bruit
2

blanc gaussien de moyenne nulle et de variance


,reproduit ce signal le plus fidlement possible.

14

Chapitre 3 : Modlisation
Les objectifs essentiels de la modlisation dun
signal sont:
la description de son spectre par un ensemble trs
limit de paramtres.
lutilisation des paramtres pour dtecter des non
stationnarits dans un signal.
lutilisation des paramtres pour les problmes de
classification.

15

Chapitre 3 : Diffrents modles


Le modle le plus gnral dun signal
stationnaire correspond le considrer comme un
signal gnr par un filtre H ( z ) = B( z )
A( z )

excit par un bruit blanc gaussien de moyenne


2

nulle et de variance
avec:

B( z ) = bn .z n
n =0
p

A( z ) = an .z n ; a0 = 1
n =0

16

Chapitre 3 : Diffrents modles


Lquation aux diffrences relative un tel filtre
est la suivante :
p

n =0

n =0

xi = an .xi n + bn . i n + i

Le processus dcrit par ce modle sappelle un


processus ARMA (p, q).
17

Chapitre 3 : Diffrents modles


Dans le cas o A(z)=1, alors :
q

xi = bn . i n + i
n =0

et le processus sappelle processus MA(q)


(processus Moving Average dordre q).

18

Chapitre 3 : Diffrents modles


Dans le cas o B(z)=1, alors :
p

xi = an .xi n + i
n =0

et le processus sappelle processus AR(p)


(processus autorgressif dordre p).

19

Chapitre 3 : Prdiction linaire


Objectif:
En connaissant le pass d'un signal, le but est de
prdire sa valeur l'instant prsent.

x i = an .xi n
n =0

Le problme consiste estimer les coefficients ai


20

Chapitre 3 : Prdiction linaire Exemple


Prenons le cas le plus simple:

x i = a1.xi 1

Estimons tous dabord a1 par la mthode de


maximum de vraisemblance.

21

Chapitre 3 : Prdiction linaire


Exemple
On a:

xi = a1.xi 1 + i

On suppose que i suit une loi gaussien de


moyenne nulle et de variance 2 .
Supposons quon a un chantillon de N points.
La probabilit de vraisemblance est:
p ( x0 , x1 ,..., x N 1 ) = f ( 0 , 1 ,..., N 1 ) =
1

N 1

. exp[ ( xn + a1.xn 1 ) 2 / 2 2 ]. exp[ x02 / 2 2 ]

n =1

22

Chapitre 3 : Prdiction linaire Exemple


Prendre a1 de faon maximiser la
vraisemblance consiste minimiser la somme
N 1

(a1 ) = ( xn + a1.xn 1 ) 2 + x02


n =1

Drivons par rapport


et donc:
a1 =

N 1
(a1 )
a1: a = 2. ( xn + a1.xn1 ).xn1 = 0
n =1
1

x0 .x1 + x1.x2 + ... + x N 2 .x N 1


x 20 + x12 + ... + x N2 2
23

Chapitre 3 : Prdiction linaire Exemple


Estimons maintenant a1 par la mthode de YuleWalker (mthode dautocorrlation).
On a pour une processus stationnaire :
Rxx (1) = E[ xn .xn 1 ] = E[(a1.xn 1 + n ).xn 1 ] = a1.Rxx (0)

(1)

E[ xn2 ] = E[(a1.xn 1 + n ) 2 ] = a12 .E[ xn21 ] + 2

et donc

.(1 a ) = = Rxx (0).(1 a )


2
x

2
1

2
1

(2)

24

Chapitre 3 : Prdiction linaire Exemple


Les deux quations peuvent scrire de la faon
matricielle suivante:
Rxx (0) Rxx (1) 1 2

. =
Rxx (1) Rxx (0) a1 0

En remplaant les deux autocorrlations par leurs


estimations non biaise on peut trouver :
a1 et 2

Cest la mthode de Yule-Walker pour rsoudre


le problme de prdiction linaire.
25

Chapitre 3 : Prdiction linaire


On peut gnraliser cette rsultat pour obtenir
lquation matricielle suivante:
1 2
... ...
Rxx (0) Rxx (1) Rxx (2)
a1 0

Rxx (1) Rxx (0) Rxx (1) Rxx (2) ... 0


R (2) R (1) R (0) R (1) ... . a2 =
xx
xx
xx
. .
xx

...
...
...
...
...
.

Ce forme matricielle sappelle matrice de


Teoplitz.

26

Chapitre 3 : Cas du processus AR


Dans le cas dun processus AR dordre p
lquation devient:
Rxx (1)
Rxx (2)
... ... Rxx ( p ) 1 2
Rxx (0)

a
Rxx (0)
Rxx (1) Rxx (2) ... Rxx ( p 1) 1 0
Rxx (1)
. a2 = .
R (2)
R
R
R
R
p

(
1
)
(
0
)
(
1
)
(
2
)
... xx
xx
xx
xx

xx
...
...
... ... ...
. .
...
a 0
R ( p ) R ( p 1)
...
R
(
0
)
...
...
xx
xx
p
xx

27

Chapitre 3 : Cas du processus


AR-Mthode de Yule-Walker
Dans la mthode de Yule-Walker on remplace les
autocorrlations par leurs estimations non
biaise.

1
Rxx (k ) =
N

N 1|k |

x
n =0

n+k

xn ; k = 0,1,..., p

28

Chapitre 3 : Cas du processus


AR-Mthode de Yule-Walker
La mthode de Yule-Walker repose sur le
remplacement de la minimisation statistique de
lerreur de prdiction par une minimisation de
cette erreur sur lensemble des donnes x0, .,
xN-1. Il sagit donc de minimiser la somme :
N + p 1

n =0

f2
p

( n) =

N + p 1

( x + a .x
n =0

k =1

nk

c..d minimiser lerreur quadratique Forward .


29

Chapitre 3 : Cas du processus


AR-Mthode de Yule-Walker
Une code Matlab illustre cette mthode est la suivante:
noise = randn(50000,1); % Normalized white Gaussian noise
x = filter(1,[1 1/2 1/3 1/4],noise);
x = x(45904:50000);
%YULE_WALKER AR ESTIMATION
p=3;
R=xcorr(x,p,'biased');
R=R(p+1:end);
RR=toeplitz(R);
a=inv(RR(2:end,2:end))*(-R(2:end))
a=a';
e=sum(R'.*[1 a])
%Same result using the bult in Matlab function
[aa,vee]=aryule(x,3)

30

Chapitre 3 : Comparaison entre


signaux rel et estime
%First, create the signal data as the output of an autoregressive process
%driven by white noise. Use the last 4096 samples of the AR process output to
%avoid start-up transients
noise = randn(50000,1); % Normalized white Gaussian noise
x = filter(1,[1 1/2 1/3 1/4],noise);
x = x(45904:50000);
%Compute the predictor coefficients, estimated signal,
%prediction error, and autocorrelation sequence of the prediction error:
a = lpc(x,3);
est_x = filter([0 -a(2:end)],1,x); % Estimated signal
e = x - est_x;
% Prediction error
[acs,lags] = xcorr(e,'coeff');
% ACS of prediction error
31

Chapitre 3 : Comparaison entre


signaux rel et estime
%Compare the predicted signal to the original signal:
plot(1:97,x(4001:4097),1:97,est_x(4001:4097),'--');
title('Original Signal vs. LPC Estimate');
xlabel('Sample Number'); ylabel('Amplitude'); grid;
legend('Original Signal','LPC Estimate')
%Look at the autocorrelation of the prediction error:
figure(2)
plot(lags,acs);
title('Autocorrelation of the Prediction Error');
xlabel('Lags'); ylabel('Normalized Value'); grid;

32

Chapitre 3 : Comparaison entre


signaux rel et estime
Autocorrelation of the Prediction Error

Original Signal vs. LPC Estimate

1.2

3
Original Signal
LPC Estimate

0.8
Normalized Value

Amplitude

-1

0.4

0.2

-2

-3

-4

0.6

10

20

30

40
50
60
Sample Number

70

80

90

100

-0.2
-5000 -4000 -3000 -2000 -1000

0
Lags

1000

2000

3000

4000

33

5000

Chapitre 3 : Algorithme de
Levinson
Lalgorithme de Levinson consiste rsoudre
lquation de Yule-Walker dune faon
rcursive.
^
^
p 1 ^
^
R( p i ). a p 1 (i )) / p 1
K p = ( i
=0
^
a p (0) = 1
^
^
^
^

a p (n) = a p 1 (n) + K p . a p 1 ( p n); n = 2,..., p 1


^
^
a p ( n ) = K p

^
^ 2
^
p = p 1 (1 K p )

34

Chapitre 3 : Algorithme de
Levinson
Les coefficients Kp sappelle les coefficients de
rflexion.
Lalgorithme de Levinson est dordre O(N2),
tandis que lalgorithme de Gauss est O(N3).

35

Chapitre 3 : Choix de lordre du


modle
Dans le cas de signaux rels, et lorsquils sont
modliss par un modle AR, lordre du modle
nest pas connu a priori. Plusieurs critres
peuvent tre utiliss pour la slection de lordre,
ces critres tant principalement fonds sur
lvolution de lerreur de prdiction.
Deux critres sont proposs par Akaike. Le
premier est lerreur de prdiction finale (FPE)
Lerreur de prdiction finale est dfinie pour un
processus AR par :
36

Chapitre 3 : Choix de lordre du


modle
Lerreur de prdiction finale est dfinie pour un
processus AR par :
N + ( p + 1)
)
FPE ( p ) = p (
N ( p + 1)
^

avec N le nombre dchantillons, p lordre du


modle, et lestime de la variance du bruit
blanc lordre p. Lordre choisi est celui qui rend
la fonction FPE minimale.
37

Chapitre 3 : Choix de lordre du


modle
Le deuxime est le critre AIC (Akaike
Information Criterion) . La fonction AIC pour un
processus AR est donne par :
^

AIC ( p ) = N .Ln( p ) + 2. p
Comme prcdemment lordre choisi est celui
qui minimise la fonction AIC
38