ch11 4up

Meilleure approximation
dans un EVMPS
Moindres carres
Meilleure approximation
Denition. Soit V un EVMPS, Wun sous-espace quelconque de
V, et u un vecteur quelconque de V. On appelle meilleure approxi-
mation de u par un vecteur de W, un vecteur de W à distance
minimum de u.
Theorème. La meilleure approximation de u par un vecteur de W
est le vecteur p projection orthogonale de u sur W.
Pr. Soit p := proj
W
(u). On montre que u p <
u w w W, w = p.
Algèbre Lineaire - Th. M. Liebling, A. Prodon, ROSO-EPFL 1
On a, pour tout w W, w = p
u w
2
= (u p) + ( p w)
2
Or (u p) est par denition de p orthogonal à W, et ( p w) W.
On obtient donc par le theorème de Pythagore generalise :
u w
2
= (u p)
2
+( p w)
2
> (u p)
2
2
Meilleure approximation dune fonction par un
polyn ome
Donne : Un intervalle [a, b] et une fonction f denie sur cet inter-
valle.
f : [a, b] R
On supposera ici que f est un polynome de degre très grand :
f(t) = a
0
+ a
1
t + . . . + a
r
t
r
, r 1
Cherche : La meilleure approximation p(t) de f par un polynome
de degre m petit,
p(t) = b
0
+ b
1
t + . . . + b
m
t
m
, m r
Principe des moindres carres : On denira la meilleure approxi-
mation (comme la fait Gauss), comme celle qui minimise
_
b
a
e
2
(t)dt :=
_
b
a
(f(t) p(t))
2
dt
la sommedes carres des ecarts.
a
b
f(t)
p(t)
^
e(t)
+
-
+ +
-
-
Munissant P
r
du produit scalaire
f, g =
_
b
a
f(t)g(t)dt
on constate que
_
b
a
(f(t) p(t))
2
dt = (f(t) p(t)), (f(t) p(t))
= f(t) p(t)
2
Ainsi le problème devient :
Dans le sous-espace P
m
de P
r
, determiner le polynome p(t) se
trouvant à distance minimum de f(t), donc, par le theorème de la
meilleure approximation,
p(t) = proj
P
m
f(t)
Demarche :
1. Determiner, à laide du procede de Gram-Schmid, une base or-
thonormee de P
m
, soit
BON = {v
0
(t), v
1
(t), . . . , v
m
(t)}
2. La meilleure approximation est
p(t) = proj
P
m
f(t)
= f(t), v
0
(t) v
0
(t) + . . . +f(t), v
m
(t) v
m
(t)
Remarque.
Soit p
k
(t) la meilleure approximation de f(t) dans P
k
.
Alors
p
0
(t) = f(t), v
0
(t) v
0
(t)
et pour tout k, 0 < k r,
p
k
(t) = p
k1
(t) +f(t), v
k
(t) v
k
(t)
On peut donc calculer de manière iterative une meilleure approxi-
mation de plus en plus ne.
Exemple.
Dans P
2
muni du produit scalaire
p, q =
_
1
0
p(t)q(t)dt
determiner une base orthonormee à partir de la base canonique
BC =
_
u
0
(t) = t
0
, u
1
(t) = t, u
2
(t) = t
2
_
1. u
0
(t)
2
=
_
1
0
1
2
dt = 1 do` u
v
0
(t) =
1
u
0
(t)
u
0
(t) = 1
2. proj
P
0
u
1
(t) = u
1
(t), v
0
(t) v
0
(t) =
_
_
1
0
t 1dt
_
1 =
1
2
w
1
(t) = u
1
(t) proj
P
0
u
1
(t) = t
1
2
w
1
(t)
2
=
_
1
0
(t
1
2
)
2
dt =
1
12
=
_
1
2
3
_
2
v
1
(t) =
1
w
1
(t)
w
1
(t) =

3(2t 1)
3. proj
P
1
u
2
(t) = u
2
(t), v
0
(t) v
0
(t) +u
2
(t), v
1
(t) v
1
(t)
=
1
3
+
1
2
3(2t 1) =
1
6
+ t
w
2
(t) = u
2
(t) proj
P
1
u
2
(t) = t
2
(t
1
6
)
w
2
(t)
2
=
_
1
0
(t
2
t +
1
6
)
2
dt =
1
180
=
_
1
6
5
_
2
v
2
(t) =
1
w
2
(t)
w
2
(t) = 6
5(
1
6
t + t
2
)
En resume,
Base de depart :
BC =
_
u
0
(t) = t
0
, u
1
(t) = t, u
2
(t) = t
2
_
0.2 0.4 0.6 0.8 1
0.2
0.4
0.6
0.8
1
Base orthonormee :
BON = {v
0
(t), v
1
(t), v
2
(t)}
=
_
1,
3(2t 1), 6
5(
1
6
t + t
2
)
_
0.2 0.4 0.6 0.8 1
-1
1
2
Determinons successivement les meilleures approximations dans
[0, 1] de
f(t) = t
2
+ t
3
par des polynomes de P
0
, P
1
, P
2
et P
3
.
p
0
(t) = proj
P
0
f(t) = f(t), v
0
(t) v
0
(t)
=
_
_
1
0
(t
2
+ t
3
)1dt
_
1 =
1
12
p
1
(t) = p
0
(t) +f(t), v
1
(t) v
1
(t)
=
1
12
+
_
_
1
0
(t
2
+ t
3
)
3(2t 1)dt
_
3(2t 1)
=
1
12
+
1 2t
20
=
1
30
1
10
t
p
2
(t) = p
1
(t) +f(t), v
2
(t) v
2
(t)
=
1
30
1
10
t + (
_
1
0
(t
2
+ t
3
)6
5(
1
6
t + t
2
)dt)v
2
(t)
=
1
30
1
10
t +
1
2
(
1
6
t + t
2
) =
1
20
3
5
t +
1
2
t
2
Enn on a
p
3
(t) = proj
P
3
f(t) = f(t)
0.2 0.4 0.6 0.8 1
-0.15
-0.1
-0.05
0.05
f
p0
p1
p2
Correspondances
Denition. Une matrice carree symetrique Q dordre n est dite
denie positive si
x
T
Qx > 0 x R
n
, x =

0
Theorème. Soit V un espace vectoriel muni dun produit scalaire
quelconque , et dune base quelconque B =
_
b
1
, . . . ,
b
n
_
.
Alors il existe une matrice Q denie positive telle que,
pour tout x et y V avec u := [x]
B
et v := [y]
B
on a
x, y = u
T
Qv
Pr. Par denition de u et v on a x = u
1
b
1
+ . . . + u
n
b
n
et y =
v
1
b
1
+ . . . + v
n
b
n
. Ainsi
x, y =
_
u
1
b
1
+ . . . + u
n
b
n
, v
1
b
1
+ . . . + v
n
b
n
_
= u
1
v
1
_
b
1
,
b
1
_
+ . . . + u
1
v
n
_
b
1
,
b
n
_
+
+. . . +
+u
n
v
1
_
b
n
,
b
1
_
+ . . . + u
n
v
n
_
b
n
,
b
n
_
x, y =
_
u
1
. . . u
n
_
_
b
1
,
b
1
_
. . .
_
b
1
,
b
n
_
.
.
.
. . .
.
.
.
_
b
n
,
b
1
_
. . .
_
b
n
,
b
n
_
_
_
_
_
v
1
.
.
.
v
n
_
_
= u
T
Qv
La matrice Q herite la symetrie ainsi que les autre proprietes qui
font que u
T
Qv est un produit scalaire legal, de la linearite de []
B
et du fait que , est un produit scalaire legal. 2
Ainsi
V x y x, y
B (=)
R
n
u = [x]
B
v = [y]
B
u
T
Qv
Remarque. Si la base B est orthonormee, alors Q = I
n
et le pro-
duit scalaire dans R
n
est le produit scalaire euclidien.
Theorème. Dans R
n
, soit B une base quelconque, donnee par les
colonnes de la matrice B : n n.
Alors on peut munir R
n
dun produit scalaire particulier, tel que B
soit une base orthonormee par rapport à ce produit scalaire.
Pr. On cherche une matrice Q : n n denie positive telle que les
colonnes de B satisfassent
b
T
i
Q
b
j
=
_
0 : i = j
1 : i = j
cest-à-dire
B
T
QB = I
Mais B etant une matrice inversible, il vient
Q =
_
B
T
_
1
B
1
=
_
BB
T
_
1
On verie que Q est bien symetrique :
_
BB
T
_
T
= BB
T
et denie positive : x R
n
, x =

0, on a x
T
Qx > 0
En eet
x
T
Qx = x
T
_
B
T
_
1
B
1
x =
_
B
1
x
_
T
B
1
x = y
T
y
avec y := B
1
x.
Or y
T
y > 0 y =

0 et y =

0 x =

0 car B a rang n. 2
Solutions approchees de systèmes
(incompatibles) dequations lineaires par la
methode des moindres carres
On considère le système dequations lineaires
Ax =
b
deni par A : mn et
b : m1.
Questions.
Quand ce système est-il compatible ?
Que faire quand il est incompatible ?
Lemme. Les armations suivantes concernant ce système sont
equivalentes :
1. Le système est compatible. (x R
n
avec Ax =
b).
2.

b est dans lespace des colonnes de A. (
b C(A)).
3. Le rang de la matrice augmentee A
b
:= [A| b] est egal au rang de
A. (rang(A) = rang(A
b
)).
Pr.
1 2 : Par denition de C(A),
b C(A) x
1
, . . . , x
n
avec

b =
x
1
a
1
+ . . . + x
n
a
n
2 3 : Par denition du rang, le rang de A est la dimension de
C(A), et le rang de A
b
est la dimension de lespace engendre par
les colonnes de A et

b. Or ces deux espaces sont les memes si et
seulement si
b C(A). 2
Pour le système
Ax =
b
posons
r :=
b Ax
Si le système est compatible, il existe x tel que r =

0.
Sinon, cest-à-dire si
b / C(A), on aura r =

0 pour tout x.
Dans tous les cas on cherchera un vecteur x rendant le vecteur des
ecarts r aussi petitque possible.
La mesure de petitproposee par Gauss consiste à minimiser le carre
de la norme euclidienne de r :
minimiser r
2
= r
T
r = r
2
1
+ . . . + r
2
m
Lorsque x varie dans R
n
, le vecteur z := Ax parcourt C(A). On
peut donc formuler le problème de la manière suivante : On cherche
z C(A) minimisant r
2
avec r =

b z. Par le theorème de la
meilleure approximation, on a
z
opt
= proj
C(A)
b
C(A)
b
r
a
1
a
n
a
2
z
R
m
z
opt
Il en decoule deux demarches pour determiner la meilleure approxi-
mation :
Première demarche : utiliser la methode generale en construisant
une base orthonormee de C(A).
Deuxième demarche : utiliser une methode specique en resolvant
les equations normales.
Première demarche
1. Determiner une base orthonormee de C(A) :
BON = {v
1
, . . . , v
r
}
2. Calculer la projection de
b sur C(A) :
z
opt
:= proj
C(A)
b = (v
T
1
b)v
1
+ . . . + (v
T
r
b)v
r
3. Resoudre le système (toujours compatible)
Ax = z
opt
(ce système peut avoir plusieurs solutions)
Remarque. Au pas 2 on peut aussi calculer la projection à laide de
la matrice de projection orthogonale V V
T
ainsi quon la vu pre-
cedemment. Soit V =
_
v
1
| |v
r
la matrice ayant comme

colonnes les vecteurs dune base orthonormee de C(A).
Alors la matrice P : mm denie par P = V V
T
est la matrice
de projection orthogonale sur C(A).
La matrice de projection a les proprietes suivantes :
P est symetrique et idempotente :
P = P
T
et P
2
= P
Lespace des colonnes de P satisfait C(P) = C(V ) = C(A)
Deuxième demarche : equations normales
Principe.
On cherche à determiner directement x de sorte que r, deni par
r :=
b Ax, soit orthogonal à C(A). (On aura bien alors que Ax

est la projection de
b sur C(A).)
On veut donc que
a
T
1
r = . . . = a
T
n
r =

0
ce qui secrit
A
T
r =

0
soit pour x
A
T
_
b Ax
_
=

0
On obtient ainsi le système (toujours compatible) dequations ap-
pelees equations normales : A
T
Ax = A
T
b
La deuxième methode consiste donc à resoudre les equations nor-
males :
A
T
Ax = A
T
b
(ce système peut avoir plusieurs solutions)
Si le système dequations normales a une solution unique (cest-à-
dire si la matrice A
T
A est inversible, ou de manière equivalente,
si rang(A) = n ), alors cette solution unique secrit
x
=
_
A
T
A
_
1
A
T
b
et la projection de
b
z
opt
= proj
C(A)
b = Ax
= A
_
A
T
A
_
1
A
T
b
Exemples.
Exemple 1.
Soit le système
x
1
= 10
2x
1
= 22
On a
A =
_
1
2
_
et

b =
_
10
22
_
Le système est incompatible, car
C(A) =
_
s
_
1
2
_
: s R
_
et

b / C(A)
ou encore
rang(A) = 1 et rang(A
b
) = 2
Première demarche
1. Calculer une base orthonormee de C(A)
BON =
_
v =
1
5
_
1
2
__
2. Projeter

b sur C(A)
z
opt
= proj
C(A)
b =
_
v
T
b
_
v
=
1
5
_
_
1 2

_
10
22
___
1
2
_
=
54
5
_
1
2
_
3. Resoudre Ax = z
opt
_
1
2
_
[x
1
] =
54
5
_
1
2
_
soit
x
1
=
54
5
= 10.8
Deuxième demarche
1. Former les equations normales A
T
Ax = A
T
b
_
1 2

_
1
2
_
[x
1
] =
_
1 2

_
10
22
_
5x
1
= 54
2. Resoudre ce système :
x
1
=
54
5
Exemple 2.
Soit le système
x
1
= 10
x
1
= 11
Ce système est semblable au precedent - on la obtenu en multi-
pliant la deuxième equation par une constante non nulle - et est
donc aussi incompatible.
On a
A =
_
1
1
_
et

b =
_
10
11
_
C(A) =
_
s
_
1
1
_
: s R
_
et

b / C(A)
ou encore
rang(A) = 1 et rang(A
b
) = 2
Première demarche
BON =
_
v =
1
2
_
1
1
__
2. Projeter

b sur C(A)
z
opt
= proj
C(A)
b =
_
v
T
b
_
v
=
1
2
_
_
1 1

_
10
11
___
1
1
_
=
21
2
_
1
1
_
3. Resoudre Ax = z
opt
_
1
1
_
[x
1
] =
21
2
_
1
1
_
soit
x
1
=
21
2
= 10.5
Deuxième demarche
T
Ax = A
T
b
_
1 1

_
1
1
_
[x
1
] =
_
1 1

_
10
11
_
2x
1
= 21
2. Resoudre ce système :
x
1
=
21
2
Exemple 3.
Soit le système
3x
1
+ 4x
2
= 12
x
2
= 1
3x
1
+ 4x
2
= 12
On sinteresse à linterpretation geometrique de ce système :
-4 4
3
1
x
1
x
2
x*
Chaque equation est lequation cartesienne dune droite dans le
plan et lensemble des solutions est lensemble des points du plan
à lintersection de ces trois droites. Les trois droites ne se coupent
pas en un point et le système na pas de solution.
On cherche alors un point du plan dont la somme des distances
aux trois droites soit minimale.
Pour une droite du plan denie par a
T
x = b soit a
1
x
1
+a
2
x
2
= b
on appelle Forme Hessiennede lequation cartesienne :
a
T
a
x =
b
a
soit
a
1
x
1
+ a
2
x
2
_
a
2
1
+ a
2
2
=
b
_
a
2
1
+ a
2
2
Alors, pour un point quelconque x =
_
x
1
x
2
T
du plan, la
distance entre le point et la droite est precisement la valeur absolue
de lecart r
r =
b
_
a
2
1
+ a
2
2
a
1
x
1
+ a
2
x
2
_
a
2
1
+ a
2
2
Le point du plan minimisant la somme des carres des distances aux
trois droites est donc la solution approchee au sens des moindres
carres du système dans lequel on utilise la forme hessienne de
lequation de chaque droite.
Le système secrit alors :
3
5
x
1
+
4
5
x
2
=
12
5
x
2
= 1
3
5
x
1
+
4
5
x
2
=
12
5
On a alors
A =
_
_
3
5
4
5
0 1
3
5
4
5
_
_ et

b =
_
_
12
5
1
12
5
_
_
Première demarche
BON =
_
_
v
1
=
1
2
_
_
1
0
1
_
_, v
2
=
1
57
_
_
4
5
4
_
_
_
_
2. Projeter

b sur C(A)
z
opt
= proj
C(A)
b =
_
v
T
1
b
_
v
1
+
_
v
T
2
b
_
v
2
= 0v
1
+
121
57
_
_
4
5
1
4
5
_
_
3. Resoudre Ax = z
opt
_
_
3
5
4
5
0 1
3
5
4
5
_
_
_
x
1
x
2
_
=
121
57
_
_
4
5
1
4
5
_
_
soit
x
1
= 0 x
2
=
121
57
= 2.12
Deuxième demarche
T
Ax = A
T
b
A
T
A =
_
3
5
0
3
5
4
5
1
4
5
_
_
_
3
5
4
5
0 1
3
5
4
5
_
_ =
_
18
25
0
0
57
25
_
A
T
b =
_
3
5
0
3
5
4
5
1
4
5
_
_
_
12
5
1
12
5
_
_ =
_
0
121
25
_
2. Resoudre le système
_
18
25
0
0
57
25
_ _
x
1
x
2
_
=
_
0
121
25
_
soit
x
1
= 0 x
2
=
121
57
= 2.12

ch11 4up

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

ch11 4up

Transféré par

Droits d'auteur :

Formats disponibles

Meilleure approximation

la matrice ayant comme

b Ax, soit orthogonal `a C(A). (On aura bien alors que Ax

Vous aimerez peut-être aussi