ASI 3

Mthodes numriques
pour lingnieur
Approximation de fonction :

la mthode des moindres carrs

Approximation/interpollation:
moindres carrs
2

f(x)

1
0

yi

-1
-2
-3
-4
0

0.2

0.4

donnes : xi , yi i 1,n
k

f ( x) j x

0.8

xi

1.2

1.4

1.6

1.8

k n interpollation

j 1

k n approximation

j 1

f ( xi ) yi

0.6

j xi
j 1

j 1

yi

n quations et n inconnues ( k )

min f ( xi ) yi 2

i 1

approximation au sens
des moindres carrs

Posons le problme
matriciellement
k

f ( x) j x j 1
j 1

pour

xi , yi i 1,n

1 2 x1(1) ... j x1( j 1) ... k x1( k 1)

(1)
( j 1)
( k 1)

...

...

2 2
j 2
k 2
1

(1)
( j 1)
... k xi( k 1)
1 2 xi ... j xi

1 2 xn(1) ... j xn( j 1) ... k xn( k 1)

f x1

f x2

f xi
f xn

Xa = f

f ( x) j x j 1
j 1

pour

xi , yi i 1,n

1
1

x1(1) ...
x2(1) ...

x1( j 1) ...
x2( j 1) ...

x1( k 1)
x2( k 1)

f x1
f x2

xi(1) ...

xi( j 1) ...

xi( k 1)

f xi

xn( k 1)

f xn

Posons le problme

matriciellement
=

xn(1) ...

xn( j 1) ...

1 2 x1(1) ... j x1( j 1) ... k x1( k 1)

(1)
( j 1)
( k 1)

...

...

2 2
j 2
k 2
1

(1)
( j 1)
... k xi( k 1)
1 2 xi ... j xi

1 2 xn(1) ... j xn( j 1) ... k xn( k 1)

f x1

f x2

f xi
f xn

Approximation au sens des

moindres carrs

j 1
min f ( xi ) yi min J ( ) avec J ( ) j xi yi
i 1

i 1 j 1

J
principe : * argmin J ( )
( *) 0;
j 1,..., k
j

n
J
k

2 xi 1 yi xij 1 0
j

i 1 1

n 1 j 1 n
xi xi yi xij 1
i 1
i 1
1
k

Systme linaire de k quations et k inconnues

Approximation : version matricielle

j
min f ( xi ) yi min J ( ) avec J ( ) j xi yi
i 1

i 1 j 0

k
ei f ( xi ) yi j xij yi
j 0
Erreur

e X y
dapproximation
e1 1 x1 x1k 1
y1
1



e 1 x x k 1 y
i
i
j i
i

k 1 k
y
1
x

x
n
n

i
i
2
2
J ( ) e X y

J ' ( ) 2 X ' X y
J ' ( ) 0 X ' X X ' y
n

Systme linaire de k quations et k inconnues

Approximation : version matricielle

j
min f ( xi ) yi min J ( ) avec J ( ) j xi yi
i 1

i 1 j 0

k
ei f ( xi ) yi j xij yi
j 0
Erreur

Matrice de Vandermonde
e X y
dapproximation
(1735-1796)
e1 1 x1 x1k 1
y1
1



e 1 x x k 1 y
i
i
j i
i

k 1 k
y
1
x

x
n
n

i
i
2
2
J ( ) e X y

J ' ( ) 2 X ' X y
J ' ( ) 0 X ' X X ' y
n

Systme linaire de k quations et k inconnues

Un problme de base
Une nouvelle
variable explicative

a0 a1 x1(1) ... a j x1( j ) ... am x1( m ) y1

(1)
( j)
( m)
a

a
x

...

a
x

...

a
x
y2
j 2
m 2
0 1 2

(1)
( j)
(m)
a0 a1 xi ... a j xi ... am xi yi

Une nouvelle a a x (1) ... a x ( j ) ... a x ( m ) y

0 1 n
j n
m n
n
exprience
(individu)
n quations et m+1 inconnues

Xa=y

Que se passe til si ?

On dispose dun nouvel individu

on dispose dune nouvelle variable
m=n
m<n
m>m
X
on recopie deux individus
on duplique une variable

= y

Illustration : systme de 2
quations 2 inconnues
2

pas de solution

solution unique

x1

x1

a11 x1 a12 x2 b1

a21 x1 a22 x2 b2

une solution unique

pas de solution
une infinit de solution
solution triviale : x1= x2 = 0

Les diffrents cas