Vous êtes sur la page 1sur 33

Introduction

LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Moindres carres recursifs et algorithme adaptatif
Departement du Traitement du Signal et des Images
Laboratoire de Transmission et de Communication de lInformation-UMR5141
Telecom Paris-Tech
6 mars 2011
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
1
Introduction
2
LMS
3
Moindres Carres Recursifs (MCR)
4
Estimation Bayesienne
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Introduction
Dans la suite on envisage des syst`emes entree-sortie qui varient
dans le temps.
Sadapter : changer sa structure, ses modes de travail, ses
param`etres pour repondre `a des changements denvironnement.
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Exemple : Annulation decho acoustique
Figure: Annulation decho acoustique
En pratique, les coecients du ltre doivent etre modies de
facon `a suivre les variations du canal acoustique.
En labsence du signal s(n), le signal en sortie de lannuleur decho
doit etre nul.
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Estimation de la moyenne : convergence
On veut estimer la moyenne m = E[x
1
] dune suite de v.a. x
n
supposees i.i.d. On utilise lestimateur
m
n
=
1
n
n

i=1
x
i
Acquisition/convergence : la loi des grands nombres assure
Mis sous forme recursive . . . il vient
m
n
= m
n1
+
n
(x
n
m
n1
)
o` u m
0
= 0 et o` u

n
=
1
n
Le pas tend vers 0 quand n tend vers linni.
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Estimation de la moyenne : poursuite
On suppose `a present que
E[x
n
] =
_
m
1
si n T
m
2
si n > T
Pour n > T, on a m
n
m
2
=
T
n
(m
1
m
2
) +
n
o` u

n
=
1
n
T

i=1
(x
i
m
1
) +
1
n
n

i=T+1
(x
i
m
2
)
Dapr`es les hypoth`eses,
n
est centree. Par consequent pour n > T
E
_
( m
n
m
2
)
2

T
2
(m
1
m
2
)
2
n
2
Capacite de poursuite
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Estimation de la moyenne : algorithme `a pas constant
Considerons lalgorithme `a pas constant :
m
n
= m
n1
+(x
n
m
n1
)
o` u on suppose que x
n
= m+Z
n
avec Z
n
BB(0,
2
).
On pose
n
= m
n
m. Alors

n
= (1 )
n1
+Z
n
Cette equation est celle dun processus AR-1. On sait quelle a une
solution stationnaire ssi [1 [ < 1 cad 0 < < 2,
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
On montre que la solution stationnaire a pour moyenne :
E[
n
] = 0
et, par consequent, m
n
uctue autour de la vraie valeur m et que
sa variance secrit :
var(
n
) =

2
1 (1 )
2

2
=

2

2
Si 2 alors . . .
On doit accepter un compromis entre convergence et capacite de
poursuite.
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Algorithme recursif
Pour prendre en compte deventuelles non-stationnarites, on
consid`ere des algorithmes de la forme suivante :

n
=

n1
+
n
(e(n))
o` u
n
tend vers 0 quand e(n) tend vers 0. On note que cette
forme dalgorithmes ne necessite ni une operation de minimisation
ni une operation de calcul de moyenne. On souhaite verier les
points suivants :
la simplicite dimplementation
la capacite dacquisition,
la capacite de poursuite.
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Theor`eme de projection
On consid`ere un espace de Hilbert H.
Soit x H et ( H.
Il existe un unique element de (, note (x[(), tel que
y ( |x (x[()| |x y|
(x[() verie
x (x[(), (, principe dorthogonalite
|x (x[()|
2
= |x|
2
|(x[()|
2
Soit v H. Notons = v (v[() alors
(x[( v) = (x[C) + (x[) = (x[C) +
(x, )
(, )

Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Filtre de Wiener
Dans la suite, lespace de Hilbert considere est celui des v.a. de
carre integrable E
_
[x
n
[
2

< +.
On consid`ere une suite dobservations (x
n
, y
n
) stationnaires au
second ordre, centrees et de covariance stationnaire et on cherche
= [
0
, ,
P1
]
T
qui minimise
J() = E
_
[x
n

T
y
n
[
2
_
o` u y
n
= [y
n
, , y
nP+1
]
T
. Par consequent verie :
x
n

T
y
n
y
n
cad E
_
y
n
(x
n

T
y
n
)
T
_
= 0
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
La solution est le ltre dit de Wiener dont lexpression secrit :

w
=
_
E
_
y
n
y
T
n
__
1
E
_
(y
n
x
n
)
_
et
J(
w
) = E
_
[x
n
[
2

E
_
x
n
y
T
n
_ _
E
_
y
n
y
T
n
__
1
E
_
(y
n
x
n
)
_
On en deduit :
J() = J(
w
) + (
w
)
T
R
yy
(
w
)
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Reprenons :

w
=
_
E
_
y
n
y
T
n
__
1
E
_
(y
n
x
n
)
_
(1)
Les probl`emes lies au calcul de
w
(expression (1)) sont :
Estimation des covariances,
Calcul de linverse de matrice,
Absence dadaptation
Pour repondre `a ces dierents points, une idee consiste `a deduire,
dans un premier temps, un algorithme recursif pour la solution
stationnaire puis de remplacer certaines esperances par des
estimations basees sur les observations passees.
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Algorithme du gradient
Un algorithme recursif classique en optimisation est lalgorithme
dit du gradient. Soit la fonction dobjectif `a minimiser
J() = E
_
[x
n
[
2

2
T
E
_
x
n
y
n
_
+
T
E
_
y
n
y
T
n
_

Son gradient secrit :

(J) = 2E
_
x
n
y
n
_
+ 2E
_
y
n
y
T
n
_

Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Algorithme du gradient
Lalgorithme du gradient a pour expression :

n
=
n1

h
(J), o` u 0 (2)
=
n1
+ 2E
_
y
n
(x
n
y
T
n

n1
)
_
= (I 2E
_
yy
T

)
n1
+ 2E
_
y
n
x
n
_
On montre qu,e si 0 < < 2/
max
, la suite
n
converge et sa
limite est . . .
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Algorithme du gradient
150
100
50
0
50
100
150 40
30
20
10
0
10
20
30
40
50
0
500
1000
Figure: Crit`ere du gradient deterministe
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
LMS - Least Mean Squares
Lalgorithme LMS, appele aussi algorithme du gradient
stochastique, consiste `a supprimer les esperances dans (2), ce qui
donne :
Valeur initiale :
0
= [0, , 0]
T
,
Repeter :

e
n
= x
n
y
T
n

n1

n
=
n1
+e
n
y
n
(3)
Le probl`eme de la convergence est un probl`eme dicile dans le cas
general.
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
En pratique, pour xer la valeur de , on adopte souvent la
procedure suivante : on augmente progressivement jusqu`a ce
que lalgorithme diverge puis ensuite on reduit la valeur obtenue
dau moins 10%.
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
LMS normalise
On a vu que le pas du gradient doit etre choisi comme linverse de
la plus grande valeur propre. Do` u lidee de prendre, quand le
signal nest pas stationnaire, un pas variant comme linverse de la
puissance instantanee.
Valeur initiale :
0
= [0, , 0]
T
,
Repeter :

e
n
= x
n
y
T
n

n1

n
=
n1
+

+y
T
n
y
n
e
n
y
n
(4)
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Moindres Carres Recursifs avec facteur doubli exponentiel
On reprend lidee des moindres carres qui, dans le cas de la
moyenne secrit
min
m
n

i=1
(x
i
m)
2
qui donne comme estimateur m
n
= n
1

n
i=1
x
i
dont lexpression
recursive secrit
m
n
= m
n1
+
1
n
(x
n
m
n1
) (5)
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Moindres Carres Recursifs avec facteur doubli exponentiel
Un inconvenient de lexpression (5) en terme de poursuite est le
gain de la forme 1/n qui tend vers 0 quand n tend vers linni.
Pour contourner cette diculte on introduit un facteur doubli sur
les echantillons passes :
min
m
n

i=1
(x
i
m)
2

ni
avec 0 < 1
qui donne pour ,= 1
m
n
= m
n1
+
1
1
n
(x
n
m
n1
)
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Moindres Carres Recursifs avec facteur doubli exponentiel
On observe une suite scalaire x
n
et une suite vectorielle y
n
de
dimension P. On cherche
o
qui minimise
J() =
n

i=1

ni
(x
i
y
T
i
)
2
= |x Y |
2

o` u Y = [y
T
1
, , y
T
n
]
T
et x = [x
1
, , x
n
]
T
.
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Moindres Carres Recursifs avec facteur doubli exponentiel
La solution de la minimisation sur verie
(x Y
o
) Y
ce qui secrit :

o
= (Y
T
Y )
1
Y
T
x
et
J(
o
) = x
T
x x
T
Y (Y
T
Y )
1
Y
T
x
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
On note `a present la valeur obtenue `a letape n :

n
= (Y
T
n

n
Y
n
)
1
Y
T
n

n
x
n
o` u Y
n
= [y
T
1
, , y
T
n
]
T
et x
n
= [x
1
, , x
n
]
T
.
On donne le lemme dinversion matricielle :
(R +
T
)
1
= R
1

R
1

T
R
1
1 +
T
R
1

(6)
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Montrons que pour n = 0 . . . :
K
n+1
=

1
Q
n
y
n+1
1 +
1
y
T
n+1
Q
n
y
n+1

n+1
=
n
+K
n+1
(x
n+1
y
T
n+1

n
) (7)
Q
n+1
=
1
Q
n
(1 +
1
y
T
n+1
Q
n
y
n+1
)K
n+1
K
H
n+1
avec comme conditions initiales Q
0
= I
P
/ with 1 et
0
= 0.
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Estimation bayesienne
Mod`ele statistique = famille de mesures de probabilite denies sur
le meme espace dobservation :
A, B(A), p
X|
(x, );
Un estimateur de est une application T : A .
Dans lapproche bayesienne on suppose que est un v.a. et que sa
loi poss`ede une densite notee p

(t). Lestimateur qui minimise


lecart quadratique E
_
|

(X)|
2
_
est lesperance conditionnelle,
qui secrit
E[[X] =
_

tp
|X
(t, X)dt
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Estimateur lineaire, bayesien
Soit une observation X = (x
1
, . . . , x
n
)
T
et R
p
.
On suppose connus les moments jusqu`a lordre deux :
E[], E[X],
R
X
= E
_
( E[])(X E[X])
T

,
R

= E
_
( E[])( E[])
T

,
R
XX
= E
_
(X E[X])(X E[X])
T

.
Lestimateur lineaire de risque quadratique minimum est donne
par :

(X) = E[] +R
X
R
1
XX
(X E[X]) (8)
Le risque quadratique minimal est :
R

= R

R
X
R
1
XX
R
X
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Gauss-Markov bayesien
Soit le mod`ele dobservation lineaire gaussien deni par
x
n
= b
T
n
+w
n
x
n
= B
n
+w
n
(9)
Lestimateur bayesien est alors donne par (8) qui secrit :

n
= E[] +R

B
T
n
(B
n
R

B
T
n
+R
WW
)
1
(x
n
B
n
E[]) (10)
= E[] +
_
R
1

+B
T
n
R
1
WW
B
n
_
1
B
T
n
R
1
WW
(x
n
B
n
E[])
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
et le risque bayesien
R

= R

B
T
n
(B
n
R

B
T
n
+R
WW
)
1
B
n
R

=
_
R
1

+B
n
R
1
WW
B
T
n
_
1
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Algorithme recursif
Posons :
x
n+1
=
_
x
n
x
n+1
_
, B
n+1
=
_
B
n
b
T
n+1
_
, R
WW,n+1
=
_
R
WW,n
0
0
2
n+1
_
et Q
n
=
_
R
1

+B
T
n
R
1
WW,n
B
n
_
.
Les solutions obtenues pour lestimateur aux etapes n et (n + 1)
verient :
Q
n
(

n
E[]) = B
T
n
R
1
WW,n
(x
n
B
n
E[])
Q
n+1
(

n+1
E[]) = B
T
n+1
R
1
WW
(x
n+1
B
n+1
E[])
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
On verie aisement que :
Q
n+1
= Q
n
+
2
n+1
b
n+1
b
T
n+1
(11)
Q
1
n+1
= Q
1
n

Q
1
n
b
n+1
b
T
n+1
Q
1
n

2
n+1
+b
T
n+1
Q
1
n
b
n+1
puis
Q
n+1
(

n+1

n
) = (Q
n+1
Q
n
)(

n
E []) + b
n+1

2
n+1
(x
n+1
b
T
n+1
E [])
=
2
n+1
b
n+1
b
T
n+1
(

n
E []) + b
n+1

2
n+1
(x
n+1
b
T
n+1
E [])
= b
n+1

2
n+1
(x
n+1
b
T
n+1

n
)
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Par consequent :

n+1
=

n
+K
n+1
(x
n+1
b
T
n+1
E[])
o` u nous avons pose K
n+1
= Q
1
n+1
b
n+1

2
n+1
. En utilisant (11) et
en posant P
n
= Q
1
n
, on en deduit que
K
n+1
=
P
n
b
n+1

2
n+1
+b
T
n+1
P
n
b
n+1
o` u P
n+1
verie (11), ce qui donne :
P
n+1
= (I K
n+1
b
T
n+1
)Pn
Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
En denitif, on a lalgorithme recursif :
Valeurs initiales :

0
= E[]
P
0
= R

Pour n = 0, 1, . . . repeter :
_

_
K
n+1
=
P
n
b
n+1

2
n+1
+b
T
n+1
P
n
b
n+1

n+1
=

n
+K
n+1
(x
n+1
b
T
n+1

n
)
P
n+1
= (I K
n+1
b
T
n+1
)P
n
(12)
A rapprocher de (7).