Vous êtes sur la page 1sur 24

Newton locale

• Conditions nécessaires d’optimalité

∇f (x) = 0

• Il s’agit d’un système d’équations non linéaires


• Appliquons la méthode de Newton
• Rappel : pour résoudre F (x) = 0, F : Rn → Rn ,
1. Résoudre ∇F (xk )dk+1 = −F (xk )
2. Définir xk+1 = xk + dk+1 .
Algorithme : Newton locale

Objectif
Trouver une approximation de la solution du système

∇f (x) = 0.

Input
• Le gradient de la fonction ∇f : Rn → Rn ;
• Le hessien de la fonction ∇2 f : Rn → Rn×n ;
• Une première approximation de la solution x0 ∈ Rn ;
• La précision demandée ε ∈ R, ε > 0.

´
Algorithme : Newton locale

Output
Une approximation de la solution x∗ ∈ Rn
Initialisation
k=0

´
Algorithme : Newton locale

Itérations
1. Calculer dk+1 solution de ∇2 f (xk )dk+1 = −∇f (xk ),
2. xk+1 = xk + dk+1 ,
3. k = k + 1.
Critère d’arrêt
Si k∇f (xk )k ≤ ε, alors x∗ = xk .

´
Newton locale

1 2
min f (x1 , x2 ) = x1 + x1 cos x2 ,
2
3
2
1
0
-1

-6
-4
-2
x2 0
2 -1.5
4 -0.5 -1
6 0.5 0
1.5 1 x1

´
Newton locale

1 2
min f (x1 , x2 ) = x1 + x1 cos x2 ,
2
x∗2 6
x̄1 4
x∗1
x̄0 2
x∗0 0 x2
x̄−1 -2
x∗−1 -4
x̄−2
x∗−2 -6
-1.5 -1 -0.5 0 0.5 1 1.5
x1

Point de départ x0 = (1 1)T . Convergence rapide.

´
Newton locale
Solution:
! ! !
∗ 0 ∗ 0 2 ∗ 1 −1
x = π ∇f (x ) = ∇ f (x ) =
2 0 −1 0

6
x∗ 4
2
x0 0 x2
-2
-4
-6
-2 -1.5 -1 -0.5 0 0.5 1 1.5 2
x1

´
Newton locale
Solution:
! ! !
∗ 0 ∗ 0 2 ∗ 1 −1
x = π ∇f (x ) = ∇ f (x ) =
2 0 −1 0

2
1.8
1.6
x∗ 1.4 x2
x0
1.2
1
-0.4 -0.2 0 0.2 0.4 0.6 0.8 1
x1

´
Newton locale

• Méthode rapide mais peu fiable


• Interprétation géométrique
• Equations : modèle linéaire à chaque itération
• Optimisation : modèle quadratique
Newton locale

Modèle quadratique d’une fonction


Soit f : Rn → R une fonction deux fois différentiable. Le modèle quadra-
b est une fonction mxb : Rn → R définie par
tique de f en x

1
mxb(x) = f (x b)T ∇f (x
b) + (x − x b)T ∇2 f (x
b) + (x − x b)(x − x
b),
2

où ∇f (x b et ∇2 f (x
b) est le gradient de f en x b) est la matrice hessienne de
b. En posant d = x − x
f en x b, on obtient la formulation équivalente:

1
b) + dT ∇f (x
b + d) = f (x
mxb(x b) + dT ∇2 f (x
b)d.
2
Newton locale

T 1
b) + (x − x
min mxb(x) = f (x b) ∇f (x b)T ∇2 f (x
b) + (x − x b)(x − x
b)
x 2

Condition suffisante d’optimalité (premier ordre)

∇mxb(x b) + ∇2 f (x
b + d) = ∇f (x b)d = 0

c’est-à-dire
d = −∇2 f (x
b)−1 ∇f (x
b),
ou encore
b − ∇2 f ( x
x=x b)−1 ∇f (x
b),

´
Newton locale

Condition suffisante d’optimalité (second ordre)


∇2 f ( x
b) définie positive

Lorsque la matrice hessienne de la fonction est définie positive en


xk , une itération de la méthode de Newton locale revient à
minimiser le modèle quadratique de la fonction en xk , et ainsi
définir
xk+1 = argminx∈Rn mxk (x).

´
Algorithme : Modèle quadratique

Objectif
Trouver une approximation de la solution du système

∇f (x) = 0. (1)

Input
• Le gradient de la fonction ∇f : Rn → Rn ;
• Le hessien de la fonction ∇2 f : Rn → Rn×n ;
• Une première approximation de la solution x0 ∈ Rn ;
• La précision demandée ε ∈ R, ε > 0.

´
Algorithme : Modèle quadratique

Itérations
1. Construire le modèle quadratique

T 1 T 2
b + d) = f (x
mxb(x b) + d ∇f (x b)d,
b) + d ∇ f (x
2

2. Calculer
b + d)
dk+1 = argmind mxb(x
3. xk+1 = xk + dk+1 ,
4. k = k + 1.
Critère d’arrêt
Si k∇f (xk )k ≤ ε, alors x∗ = xk .

´
Algorithme : Modèle quadratique

Attention : si ∇2 f (xk ) n’est pas définie positive, le modèle n’est par


borné inférieurement

40
20
f (x1 , x2 ) 0
-20

-4
-2
0
x2 2
4 -2 -4
6 6 4 2 0
x1

´
Algorithme : Modèle quadratique

Attention : si ∇2 f (xk ) n’est pas définie positive, le modèle n’est par


borné inférieurement

40
20
mx0 (x1 , x2 ) 0
-20

-4
-2
0
x2 2
4 -2 -4
6 6 4 2 x1 0

Dans ce cas, l’algorithme ne peut être appliqué.

´
Modèle quadratique

f (x) = −x4 + 12x3 − 47x2 + 60x.


xk = 3
m3 (x) = 7x2 − 48x + 81

25
f (x)
20 m3 (x)
15
10
5
f (xk )f (x )
0 • •k+1
-5
-10
-15
1 1.5 2 2.5 3 3.5 4 4.5 5 5.5
x ´
Modèle quadratique

f (x) = −x4 + 12x3 − 47x2 + 60x.


xk = 3
m3 (x) = 7x2 − 48x + 81

5
f (x)
4 m3 (x)
3
2
1
f (xk )
0 •
-1 f (xk+1 )

-2
2.6 2.8 3 3.2 3.4 3.6 3.8 4
x ´
Modèle quadratique

f (x) = −x4 + 12x3 − 47x2 + 60x.


xk = 4
m4 (x) = x2 − 4x

25
f (x)
20 m4 (x)
15 f (xk+1 )

10
5
f (xk )
0 •
-5
-10
-15
1 1.5 2 2.5 3 3.5 4 4.5 5 5.5
x
Modèle quadratique

f (x) = −x4 + 12x3 − 47x2 + 60x.


xk = 4
m4 (x) = x2 − 4x

14
f (xk+1 ) f (x)
12 •
m4 (x)
10
8
6
4
2
f (xk )
0 •
-2
-4
1 1.5 2 2.5 3 3.5 4 4.5 5 5.5
x ´
Modèle quadratique

f (x) = −x4 + 12x3 − 47x2 + 60x.


xk = 5
m5 (x) = −17x2 + 160x − 375.

25
f (x)
20 m5 (x)
15
10
5 f (xk+1 )

0 •
f (xk )
-5
-10
-15
1 1.5 2 2.5 3 3.5 4 4.5 5 5.5
x ´
Modèle quadratique

f (x) = −x4 + 12x3 − 47x2 + 60x.


xk = 5
m5 (x) = −17x2 + 160x − 375.

2 f (x•k+1 ) f (x)
0 • k ) m5 (x)
f (x

-2
-4
-6
-8
-10
-12
4 4.2 4.4 4.6 4.8 5 5.2 5.4
x ´
Modèle quadratique

Point de Newton
Soit f : Rn → R une fonction deux fois différentiable, et soit xk ∈ Rn . Le
point de Newton de f en xk est le point

xN = xk + dN

où dN est solution du système d’équations

∇2 f (xk )dN = −∇f (xk ).

Ce système est souvent appelé équations de Newton.


Résumé
• Conditions nécessaires d’optimalité = système d’équations.
• Méthode de Newton locale.
• Rapide ... sous conditions.
• Pas de distinctions entre minima, maxima et point de selle.