SETIT 2005

3rd International Conference: Sciences of Electronic,

Technologies of Information and Telecommunications
March 17-21, 2005 TUNISIA

Etude de la mthode des moindres carre rcursive

et application au signal de parole
A. Maddi, A. Guessoum, D. Berkani, O. Belkina
Dpartement d'Electronique. Universit de BLIDA
Route de Soumaa. BP 270 BLIDA

E Mail: A_Maddi @hotmail.com

Rsum :Dans cet article nous prsenterons une tude dtaille de la mthode des moindres carrs rcursive,
ensuite nous ferrons une application de cette algorithme pour identifier les paramtres du modle auto rgressif
AR associ au signal de parole. La technique propos ici permet didentifier les paramtres du modle auto
rgressif ARMA avec des estimations non biaises, cette mthode est base sur la minimisation dun critre
quadratique.
Mots cls : moindres carrs, prdiction, modle, estimation baise, parole.

1 Introduction Il est important de souligner quil n y a pas un

Lidentification consiste a dterminer les paramtres
dun modle mathmatique, dont la structure est tablie
selon un critre donn , les paramtres des modles
sont obtenus par la minimisation de lerreur de
prdiction entre le signal de sortie mesur et le signal
estim suivant un critre doptimalit par exemple :
(moindres carrs, erreur quadratique moyenne,
maximum de vraisemblance), nous nous intressons
plus particulirement la mthode qui est base sur le
blanchissement de lerreur de prdiction .
Formellement lopration didentification des
paramtres du modle peut se rsumer par la figure ci-
dessous [5].
algorithme destimation paramtrique unique pour
tous les types de modles de bruit fournit des
estimations paramtriques asymptotiquement non
biaises. Pour chaque structure de bruit, il existe des
algorithmes spcifiques permettant dobtenir des bons
rsultats , il convient tout dabord de prciser les
principaux modles Systme + perturbation [3].
Dans les paragraphes qui suivent nous prsenterons
lalgorithme de base des moindres carrs rcursif
(MCR).
2 Algorithme des moindres carrs ordinaire
La mthode des moindres carrs a t introduite par
Karl Gauss en 1809. Elle a t la base de toutes les
mthodes didentification et destimation des
paramtres, cette mthode est base sur la minimisation
dune fonction quadratique J dfinie comme [2] :
N 2

J = [ (k )]
k =1
(1)

O e (k) reprsente lerreur de prdiction commise sur

lestimation.
SETIT2005

3 Identification du modle ARMA effectuons N mesures d'observations, nous pouvons

crire [2] daprs lquation (6), une forme matricielle :
La modlisation auto- rgressive moyenne ajuste
dordre (n, m) not ARMA (n, m) est dfinie par y(t ) = T(t) + e(t ) (6)
lquation aux diffrences suivante [4] :
Posons pour la commodit des notations [9] :
n m

a y ( t i) = b u ( t i) + e(t)
i i (2) T = [ a1 a2 an ; b0 b1 . bm ]
i =0 i =0
T (t) = [-y (t-1) y (t - n) ;
u (t) u (t-m)]
Avec a0 = 1
u ( t ) : Entre du systme
Avec
T : vecteur des paramtres identifier
y ( t ) : Sortie du systme T (t) : vecteur des donnes.
e (t ) : Bruit blanc. y (t) : sortie du systme
e (t) : bruit blanc affect au systme
T : dsigne la transpose dun vecteur ou
En utilisant la transforme en Z, lquation (2) peut dune matrice.
scrire :
On dfinit lerreur de prdiction comme tant la

a Y (Z) Z = biU (Z )Z + E(Z)

n m
i i diffrence entre la sortie du systme et la sortie du
i (3)
i =0 i =0
modle :

On pose:
n (t ) = y(t ) y( t ) (7)
A (Z) = a i Z i
m
; B (Z) = b i Z i T
i =0 i =0 Sachant que : y (t ) = (t ) (8)
Donc, lquation (3) scrira sous cette forme : T
avec reprsente les paramtres estims.
A ( Z) Y ( Z ) = B( Z) U ( Z) + E ( Z) (4)
La mthode des moindres carrs est base sur la
dtermination des meilleurs paramtres, cest dire
Lerreur de prdiction peut scrire : ceux qui minimiseront un certain critre doptimalit. Il

E ( Z ) = A ( Z ) Y (Z ) B ( Z ) U ( Z )
reprsente la somme des carrs des erreurs de
(5) prdictions, et qui est mentionn au dessous [2] :

A partir de lquation (5), on peut tirer le schma 1 N

suivant : J N ( ) =
N
[ e (t) ] 2
(9)
t =1
tel que N : nombre d'chantillons.
La minimisation du critre JN ( ) consiste trouver
un optimum, cest dire de calculer la drive :

JN ( )
= 0 (10)
= ( N)
JN() 2 N

[
= (t) y(t) T (t)
N t=1
] (11)
=(N)
De lquation (10) et (11), on dduit la solution
En dveloppant lquation (2), on obtient : optimale au sens des moindres carrs de la forme
suivante :
y (t) = - a1 y (t 1) a2 y (t 2) - - an y (t n) + b0 N N
u (t) + + bm u (t -m) + e (t) (N) = [ (t ) T (t ) ]1.(t) y(t) (12)
t=1 t =1

4 Dtermination des paramtres Nous constatons que la matrice ( (t ) T

(t ) ) est
On peut donc, penser de manire intuitive que si lon grande, si le nombre dchantillons N est important,
augmente le nombre dobservations, le problme se do le calcul de son inverse nest pas conseill, pour
ramnera la rsolution dun systme dquations cela on utilise lestimation rcursive des moindres
linaires. Dans le cas dun systme bruit, nous carrs .
SETIT2005

5 Mise en oeuvre de lalgorithme des

E ( t ) = 0
moindres carrs rcursif
Pour la mise en uvre de lalgorithme rcursif, on En remplaant lquation (6) dans (12), on obtient :
pose : 1

(k)[ (k) +e(k) ]
N N
t
( N ) = (k) ( k)
T T
R(t) = (k )T (k) = R(t 1) + (t)T (t)
0
(13) k =1 k =1
k =1

[ ] N
N
E ( N) = 0 + E[ (k) T (k ) ]1.(k )e(k)
Daprs les quations (12) et (13), on a :
k =1 k =1
O E : reprsente lesprance mathmatique.
t
(t ) = R 1
( t ) (k ) y ( k ) (14)
k =1
La mthode des moindres carrs fournit une
estimation non biaise dans le cas o e (k) une
t 1

( t ) = R 1 ( t ) (k ) y ( k ) + (t ) y (t ) (15) squence alatoire centre (moyenne nulle).
k =1 Do, on crit : [ ]
E (N) =0 et lestimateur est non

biais.
(t ) = R 1 (t ) R (t 1) (t 1) + ( t ) y( t ) (16)
Finalement : ( N ) 0 quand N


(t) = R1(t)R(t) (t 1) (t)T (t) (t 1) + (t) y(t) (17)

7 Exemple de simulation


(t) = (t 1) + R 1 (t )(t ) y(t) T (t 1) (t ) (18) Considrons un systme physique stable ayant la
fonction de transfert suivante :
1 + 2 Z 1
H ( z ) = Z 1
Daprs cette dernire quation (18), on remarque que
1 + 0.3Z 1 + 0.8Z 2
la solution des moindres carrs rcursive contient le
Avec a1 = 0.3 a2 = 0.8 b1 = 1 b2 = 2
terme R-1(t) qui ncessite une inversion matricielle
chaque instant t. Donc, on utilise le lemme dinversion
Limplmentation de lalgorithme MCR sur PC, en
matric ielle qui se prsente sous la forme
utilisant le langage de programmation MATLAB, nous
suivante [2] : a donn les rsultats suivants :

[B CD ]T 1
[
= B 1 B 1CDT B1 1 + DT B 1C ]1
(19)
Nous posons:B = R( t 1) , C = ( t ) , D = T ( t)
Or [
R 1 (t ) = R(t 1) (t ) T (t ) ]
1
(20)

Lapplication du lemme dinversion matricielle sur

lquation (20), donne :
1 (21)
R1(t) = R1(t 1) R1 (t 1)(t )TR1(t 1)
1+T (t)R1(t 1)(t)

Lintroduction de la matrice du gain

dadaptation P (t ) = R 1 (t) , permet la mise en uvre
de lalgorithme des moindres carrs rcursif MCR de la
forme suivante :

(t) = (t 1) + P(t)(t)T (t) y(t) T (t 1)(t) (22)

1
P(t) = P(t 1) P(t 1)(t)T P(t 1) (23)
1+ (t)P(t 1)(t)
T

6 Proprits de lestimateur des moindres

carrs
Lestimateur ? (t) est dit non biais si cette condition
est vrifie :
SETIT2005
8 Application au signal de parole
Considrons le signal de sortie comme un signal de
parole qui est sous forme d'un fichier de donnes qui
correspond la phrase suivante : un loup s'est jet
immdiatement sur la petite chvre. (Voir Fig.5).
Le modle qui correspond au signal de parole ayant la
structure auto rgressive AR de la forme : [6].
n [1] M. Kunt, traitement numrique des signaux ,
y (t ) = ai y (t i) + v(t )
i=1
Avec n: reprsente l'ordre du modle
v (t) : bruit blanc
Lutilisation de l'algorithme des moindres carrs
rcursif RLS (Rcursive Least Square) pour identifier
les paramtres ai du modle AR, donne les rsultats
suivants :
9 Conclusion
La mthode des moindres carrs rcursive qui a t
prsente en dtail dans cet article donne des
estimations non biaises uniquement pour des modles
ARMA.
Dautre part cette mthode, n'utilise aucune
information a priori sur le bruit de mesure, et nous
avons montr que si le bruit n'est pas valeur moyenne
nulle, l'estimation des paramtres est biaise. D'une
manire gnrale, nous n'avons pas utilis la loi de
rpartitions statistiques du bruit et nous ne l'avons
mme pas suppose connue. Pour cette raison, si on
veut amliorer la qualit de l'estimateur, on suppose les
statistiques sont connues a priori, do l'utilisation de la
technique du maximum de vraisemblance (MVR).
Rfrences
Dunod
[2] M. Najim, Modlisation et identification en
traitement du signal . Masson, 1988.
[3] D. Landau, Identification des systme , Hermes,
Paris , 1998.
[4] R. Ben Abdnnour, P. Borne, M. Ksouri et F.
Msahli, Identification et commande numrique des
procds industriels , dition tchnip, avril 2001.
[5] M. Boumendil, M. Kardi, Eude et
implmentation des algorithmes didentification
paramtriques et application au signal de parole ,
mmoire dingnieur dtat, Blida, Octobre2002.
[6] O. Siohan, Reconnaissance automatique de la
parole continue en environnement bruit : Application
des modles stochastiques de trajectoires , thse de
doctorat, universit Henri Poincar, Nancy I, septembre
1995.