REPUBLIQUE ALGERIENNE DEMOCRATIQUE ET POPULAIRE

MINISTRE DE LENSEIGNEMENT SUPERIEUR

ET DE LA RECHERCHE

Facult de technologie
Dpartement gnie lectrique
Option automatique

Mini projet

Thme : La mthode des moindres carres

Prsent par:

responsable de module

Anne universitaire 2013/2014

PLAN DE TRAVAIL

La mthode des moindres carres

1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2 principe de la mthode . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1 ajustement dun model de type y= + . . . . . . . . . . . . . . . .
2.2 rgression linaire . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Calcul des coefficients . . . . . . . . . . . . . . . . . . . . . . . .
Algorithme de calcul parthique. . . . . . . . . . . . . . . . . . .
3 Ajustement dun polynme linaire . . . . . . . . . . . . . . . . . . . . . . .
3.1 Cas particuliers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2 Caractres transformes. . . . . . . . . . . . . . . . . . . . . . . . . .
3.3 Formulation non linaire . . . . . . . . . . . . . . . . . . . . . . .
4 Fonctions MATLAB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.1 Exemplesur larsolution dessystmes linaires . . . . . . . . . . . . . . . .
Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

La mthode des moindres carres

1 INTRODUCTION:
La mthode du maximum de vraisemblance et celle des moindres carrs sont les outils
de la thorie des erreurs ou de l'estimation, utiliss tous les jours dans toutes les sciences
d'observation.
La thorie des erreurs a t dveloppe pour rsoudre trois problmes :
Combiner les erreurs pour choisir une valeur "juste milieu", trouver la loi de densit de
probabilit (loi normal appele par ailleurs loi Gauss-Laplace ....) des erreurs, choisir une
dmarche pour dterminer des quantits dans un systme d'quations surdtermin.
L'estimation du maximum de vraisemblance est une mthode statistique courante utilise
pour infrer les paramtres de la distribution de probabilit d'un chantillon de mesures
donn.
La mthode des moindres carrs permet de comparer des donnes exprimentales,
gnralement entaches derreurs de mesure un modle mathmatique cens dcrire ces
donnes.
Ce modle peut prendre diverses formes. Il sagira en gnral de lois de conservation
que les quantits mesures doivent respecter. La mthode des moindres carrs permet alors de
minimiser limpact des erreurs exprimentales et valuer les valeurs plus probables des
paramtres de la loi recherche, ainsi ajoutant de linformation dans le processus de mesure.

La mthode des moindres carres

2 Principe de la mthode des moindres carres :
Comme dj cit ci-dessus, on fait appelle la mthode des moindres carres pour
trouver la fonction qui dcrit des mesures acquises lors des expriences Y exprimentales et
s'approcher le maximum possible des valeurs des mesures de prdiction Y thoriques.
C'est dire, si on dispose de N mesures (Yi / i=1, 2, 3,.........N) lors d'une exprience, les
paramtres de la fonction qui dcrit, une certaine prcision, le comportement du system
tudi appels parfois " " sont calculs en suivant sont en suivant la mthode des MC par:
.
Ou les
sont les erreurs ou les carts entre les points de mesures et la courbe et
les paramtres rels du model thorique supposs vraies. O
est la mesure de la distance
quadratique entre les donnes exprimentales et le modle thorique qui prdit ces donnes. La
prescription des moindres carrs commande que cette distance soit minimale.
La mthode des moindres carres permet encore de faire lajustement dune fonction,
cest dire on peut chercher les paramtres de cette dernire qui une foi optimises nous
permettra de tracer la courbe des valeurs qui se rapproche considrablement des valeurs
relles.

2.1 Ajustement dun modle de type

carrs :

par la mthode des moindres

Une srie statistique a deux variable est un ensemble de couple

variable statistique et est la seconde).
Il peut existe entre ces deux variable des relations qui dversent :

Fig 1

et

ou (

est la premire

fig 2

La figure 1 nous dmontre que la relation entre et est affine puisque le

nuage de point est align.
La figure 2 la relation entre et est de type exponentiel.

La mthode des moindres carres

2.2 Rgression linaire : calcul des coefficients

-

La prescription des moindres carrs scrit pour ce type de modle :

Le minimum de cette expression est trouv quand les deux drives partielles S/a
et S/ sont gales zro:

Ce qui donne le systme dquations suivantes:

Peut tre crit en forme matricielle:

Ce qui donne la solution:

Rgression linaire: un algorithme de calcul pratique :

Si on dfini les sommes suivantes:

La mthode des moindres carres

Les coefficients et sont ensuite calculs par:

Ajustement d'un modle linaire :

O les
Sont n fonctions quelconques de la variable x.
Un tel cas est trs courant en pratique: tous les types de rgressions Proposs son
linaires sauf la puissance.
Plus gnralement tout modle polynomial est linaire, avec
Aussi, de trs nombreux modles utiliss en sciences exprimentales sont des
dveloppements polynomiaux sur des bases fonctionnelles classiques (splines, bases de
Fourier, bases d'ondelettes, etc.).
Dans le cas le plus gnral on trouve que les
fonction linaire :

et une srie de donnes

qui minimisent les carts entre une

,sont trouvs par lexpression matricielle

avec les dfinitions suivantes:

-La matrice j est appele matrice jacobenne du problme. C'est une matrice
rectangulaire, de dimension N x n, avec gnralement N >> n.
Elle contient les valeurs des fonctions de base
pour chaque point de mesure.
-La matrice diagonale W est appele matrice des poids: elle prend en compte le fait que
chaque valeur de peut tre affect dun cart type diffrent.
Si ce nest pas le cas, W peut tre remplac par la matrice unit.

La mthode des moindres carres

3 Ajustement d'un polynme linaire :
Le cas d'ajustement dun polynme d'ordre k un ensemble de n points de mesures
donns par les couples
admet des mthodes de solution assez simples mettre
en uvre.
Dfinissons le polynme recherch comme:

Les inconnues sont les valeurs des .

Il faut donc disposer de k+1 quations.
Multiplions successivement la relation prcdente par
systme dquations suivantes:

obtient le

On crit ces k+1 relations pour tous les n points Pi, de coordonnes xi, yi, puis l'on somme
toutes les quations par catgorie.
On obtient ainsi:

Enfin les valeurs

matricielles suivantes sobtiennent par la solution de lquation :

La mthode des moindres carres

3.1 Cas particuliers
3.2 Caractres transforms
Remarque : Il se peut quun caractre explicatif apparaisse sous une forme
transforme : cos(v), v, ln(v), . . . . Dans ce cas, on considre simplement que la forme
transforme du caractre constitue une nouvelle variable explicative.

3.3 Formulation non-linaire

Remarque : Il arrive parfois que la relation fonctionnelle entre la variable explique et les
variables explicatives ne soit pas donne sous forme linaire, comme dans lexemple
suivant :

Dans ce cas, on linarise :

La nouvelle variable explique est

et les nouvelles variables explicatives sont

Voici lalgorithme qui rsume les dmarche suivre fin parvenir au rsultat dsir :
Soit un systme dcrit par lquation aux diffrences suivante :

u(k) : lentre.
y(k) : la sortie.
e(k) : le bruit.
Lobjectif est de trouver les valeurs des paramtres
On utilise lestimateur suivant :
est le vecteur des paramtres estimes.
X est une matrice forme des entres et des sorties du systme
.
Pour (N-n) chantillons des mesures
la matrice X prend la forme suivante :

La mthode des moindres carres

N : est le nombre de couple de mesure dentre/sortie.

n : degr du dnominateur,
p : degr du numrateur.

4 Programme avec matlab

function [teta,Y,x]=mcs(n,p,u,y)
N=length(u);
N=length(y);
for i=1:N-n
for j=1:n
x1(i,j)=-y(N+1-i-j);
end;
end;
for i=1:N-n
for j=1:p+1
x2(i,j)=u(N+2-i-j);
end;
end;
x=[x1,x2];
Y=y(N:-1:n+1);
teta=inv(x'*x)*x'*Y

4.2 Exemple sur la resolution de systemes lineaire :

M
ethode des moindres carr
es
1. Lensemble des solutions est

1
0

2
1/2
S=
+
, R .

3
3/2
2. Le syst`eme na pas de solution.

3. On cherche `a resoudre le syst`eme lineaire

1 et1


c1

...
= b avec A = ...
A
, et b =
c2
1 etn

2.2

y1
.. .
.
yn

Travaux pratiques.

1. >> A1=[ 1 1 1; 2 -1 1];

>> b1=[5 ; 1];
>> x1=A1\b1 %On obtient une solution particuliere
x1 =
2.0000
3.0000
0
>> A1*x1 %x1 est bien solution
ans =
5.0000
1.0000
>> z1=null(A1) %On obtient une base du noyau de A1, sous forme
%approchee
z1 =
-0.5345
-0.2673

0.8018
>> A1*z1

%On nobtient pas tout a fait 0!

ans =
1.0e-15 *
-0.1110
-0.1110
>>z1= null(A1,r) %On obtient un vecteur de coordonnees rationelles.
z1 =
-0.6667
-0.3333
1.0000
>> A1*z1 %Cette fois, on a bien 0.
ans =
0
0
2. >> A2=[ 1 1; 2 -1; 0 1];
>> b2=[2 0 -2];
>> y2=A2\b2
y2 =
0.4286
0.1429
Matlab rend une solution, alors quil ny en a pas ! En fait, Matlab rend le vecteur x
qui minimise kA2x b2k2 .
3. >> t=[0 0.3 0.8 1.1 1.6 2.3];
>> A3=[ones(6,1) exp(-t)];
>> b3=[0.82 0.72 0.63 0.6 0.55 0.5];
>> y3=A3\b3;
>> x=[0:0.01:2.5];
>> y=y3(1)+y3(2)*exp(-x);
>> plot(x,y,t,b3,+r)
>> title(Moindre carres)
>> xlabel(t)
>> ylabel(y)
On obtient la figure 1

Moindre carres
0.9

0.85

0.8

0.75

0.7

0.65

0.6

0.55

0.5

0.5

1.5

Fig. 1 Approximation par moindres carres

2.5

La mthode des moindres carres

Conclusion
La rsolution dun problme de moindres carrs via les quations normales possde
deux Inconvnients majeures. Dune part, la perturbation due aux erreurs darrondi
lorsque lon Passe par les quations normales peut tre importante.
En eet, si la matrice des donnes A est lgrement perturbe : A= A + A, le passage
aux quations normales va amplier la perturbation :
alors quen passant par dautres mthodes de rsolution
(par exemple factoriser A sous la forme QR ou Q est orthogonale et R triangulaire) la
perturbation des donnes sera moindre.
Dautre part, le calcul de
peut faire intervenir des overflow ou underflow parasites
comme dans lexemple suivant : soit la matrice des donnes suivante :

Avec

On a bien

On a alors

Si est suprieur au plus petit flottant reprsentable alors que

La matrice

lui est infrieur, soit :

ne sera plus rgulire !

Pour ces problmes, on recourt des transformations orthogonales lmentaires comme

celles de Householder ou de Givens. Avec ces mthodes, on obtient une meilleure
stabilit de notre systme.