Série de TD, 1ère Master en ELT Semestre : S1 ; Option : 1MAUT

Solut
Solution de
de TDN°1
TDN°1 ‘Exercices 8,12,
12,13 et 14’
Exercice 8 :
Minimisons f(x)=5(x-3)2+1 sur I0=[0 ,10] avec une précision des calculs ε=0.1 :
1) Par l’algorithme de ‘dichotomie’ :
k xmin x1 x2 x3 xmax xmax-xmin 0.5*(x1+x2) f
1 0 2.5000 5.0000 7.5000 5.0000 5.0000 2.5000 2.2500
2 1.2500 1.2500 2.5000 3.7500 3.7500 2.5000 2.5000 2.2500
3 2.5000 1.8750 2.5000 3.1250 3.7500 1.2500 3.1250 1.0781
4 2.8125 2.8125 3.1250 3.4375 3.4375 0.6250 3.1250 1.0781
5 2.8125 2.9688 3.1250 3.2813 3.1250 0.3125 2.9688 1.0049
6 2.8906 2.8906 2.9688 3.0469 3.0469 0.1563 2.9688 1.0049
7 2.9688 2.9297 2.9688 3.0078 3.0469 0.0781 3.0078 1.0003
2) Par la technique de la section d’or :
k xmin x1 x2 xmax xmax-xmin 0.5*(x1+x2) f
1 0 2.3608 3.8200 6.1800 6.1800 3.0904 1.0408
2 0 1.4592 2.3608 3.8200 3.8200 1.9100 6.9405
3 1.4592 2.3608 2.9182 3.8200 2.3608 2.6395 1.6499
4 2.3608 2.7053 2.9182 3.2626 0.9018 2.8117 1.1772
5 2.7053 2.9182 3.0497 3.2626 0.5573 2.9839 1.0013
6 2.9182 2.9995 3.0497 3.1310 0.2128 3.0246 1.0030
7 2.9182 2.9684 2.9995 3.0497 0.1315 2.9840 1.0013
8 2.9684 2.9876 2.9995 3.0186 0.0502 2.9935 1.0002

Exercice 12
12 :
1) Mettons f ( X ) = x12 + x22 - 4 sous la forme : f ( X ) =
1 T
X Q X +b X +c :
T

2
 2 x1  2 0 0 
g = ∇ f ( X )=   = QX + b et Q = H = ∇ 2 f ( X ) =   c=-4 , b=   ,
 2 x2  0 2 0 
 2 0
Q=  
 0 2
0 
2) La solution exacte de ce problème est triviale : X * =   ,
0 
 4
3) Soit la solution initiale : X 0 =   ; et soit la direction initiale choisie arbitrairement :
 4
 d 10   1/2 
d0 =  =  
 d 20   3 /2 
Calculons en deux itérations la solution de ce problème en utilisant la méthode des directions
conjuguées et la comparer à la solution exacte :
T
g0 d 0
• 1ère itération : Nous avons X 1 = X 0 + α 0 d 0 , α 0 = − T avec :
d0 H d0

d0= 
 1/2  T
[
 . Notons que d 0 d 0 = 1/2 3/2  ]
 1/2 
 = 1.
 3 /2   3/2 

Matière : ‘Optimisation’ Prof. L. Mokrani

1
Série de TD, 1ère Master en ELT Semestre : S1 ; Option : 1MAUT

 1/2 
[8 8] 
Donc : α0 = -  3/2 
= -5.46
[ 1/2 3/2 ]
2 0   1/2 
 
0 2   3/2 
 1/2   - 2.73   4   - 2.73   1.27 
D'où α 0 d 0 = - 5.46  =  et X 1 =   +   =  - 0.74  .
 3 /2   - 4.74   4   - 4.74   

• 2ème itération : La direction suivante d1 doit être Q-conjuguée à d0 tel que d1T Q d0 = 0.

 2 0   1/2   d 11 
Alors : [ d 11 d 21 ]    = 0 De plus, [ d 11 d 21 ]   =1 D'où d 11 + 3 d 21 = 0
 0 2   3/2   d 21 
 - 3/2 
et d 121 + d 221 = 1 . Ce qui donne : d 1 =  .
 1/2 
 - 3/2 
[ 2.54 - 1.48 ]  
Ensuite : α1 = −  1/2 
= 1.47
[ - 3/2 1/2  ]  2 0   - 3/2 
 
 0 2   1/2 
 1.27   - 3/2   0 
D'où : X 2 =   + 1.47  = .
 - 0.47   1/2   0 
Remarquons que dans ce cas de deux variables indépendantes, deux itérations sont suffisantes
pour converger vers la solution.

Exercice 13
13 :
1) Mettons f(X) sous la forme : f ( X ) =
1 T
X Q X +b X :
T

2
3 3 1  3 - 1  x1  x1 
f(X) = x12 + x 22 - x1 x 2 - 2 x1 = [ x1 x 2 ]     - [2 0]  
2 2 2  - 1 3  x 2   x2
 3 - 1  2
D'où: Q =   et b = 0
- 1 3  
2) La solution exacte de ce problème :
g=0 QX*=b X*=(3/4=0.75 1/4=0.25)T
 - 2
3) Soit la solution initiale : X 0 =   . Calculons en deux itérations la solution de ce problème
4
en utilisant la méthode du gradient conjugué et comparons la à la solution exacte :
 3 x1 - x 2 - 2  - 12
Le gradient s'écrit g = ∇ f ( X )=   , d'où g 0 =  14 
 3x 2 - x1   
 3 -1 
et la matrice hessianne Q = ∇2 f ( X ) =  ,
 -1 3 

Matière : ‘Optimisation’ Prof. L. Mokrani

2
Série de TD, 1ère Master en ELT Semestre : S1 ; Option : 1MAUT

La direction et le pas de déplacement à partir du point initial sont :

[ - 12 14 ] 
12 
 12 
T 
= − g = et α = −
g0 d 0
= −  - 14  =
340
= 0.2507
d0 0  − 14  0
 3 - 1   12  1356
T
  g0 Q d 0
[ - 12 14 ]   
 - 1 3   - 14 
 -2   12   1.0088   0.5369 
1ère itération : X 1 = X 0 + α 0 d 0 =   + 0.2507   =  g1 =  
 4   - 14   0.4897   0.4602 
Et : d 1 = - g 1 + ω0 d 0
3 - 1   12 
T
[ 0.5369 0.4602 ]    - 14  1.872
Avec : ω 0 = T
g1 Q d 0
=  - 1 3  = = 0.0015
 3 - 1   12 
d0 Q d0
[ 12 - 14 ]   
1356
- 1 3   - 14 

 0.5369   12   - 0.5192 
D'où : d 1 = -   + 0.0015  - 14  =  - 0.4808 
 0.4602     

[ 0.5369 0.4602 ] 
- 0.5192 
T 
Et :
g d
α1 = − T 1 1 = −  - 0.4808  =
0.5000
= 0.4985
 3 - 1   - 0.5192  1.0029
g1 Q d 1
[ - 0.5192 - 0.4808 ]    
- 1 3   - 0.4808 

 1.0088   - 0.5192   0.7500 

2ème itération : X 2 = X 1 + α 1 d 1 =   + 0.4985   =  0.2500  = X
*

 0.4897   - 0.4808   
En deux itérations, la solution par gradient conjugué converge à sa valeur exacte.

Exercice 14
14 :
1) Mettons f(X) sous la forme f ( X ) =
1 T
X Q X +b X +c :
T

2
8 0   x1   x1 
f( X ) = 4( x1 - 5 )2 + ( x 2 - 6 )2 = [x1 x 2 ]    − [40 12 ]  x  + 136
0 2   x 2   2
8 0 40
Q=  ; b = 12  et c=136.
0 2  

2) La solution exacte de ce problème : g=QX-b=0 X*=(5 6)T.

8 
3) En partant de la solution initiale : X 0 =   et la matrice de direction initiale F0=I2. Calculer
9 
en deux itérations la solution de ce problème en utilisant la méthode de DFP et la comparer à la
solution exacte :
Voici la relation récursive de la DFP : Xk+1 = Xk - αk Sk gk où Sk = Fk est la matrice de direction à
T T
DFP p k p k Fk q k q k Fk
actualiser à chaque itération comme suit : Fk +1 = Fk + T - T .
p k qk q k Fk q k

Matière : ‘Optimisation’ Prof. L. Mokrani

3
Série de TD, 1ère Master en ELT Semestre : S1 ; Option : 1MAUT

8 
• Point initial : Choisissons H0 = I au point X 0 =   .
9 
 8 ( x1 - 5 ) 
La fonction du gradient est: g =  
 2 ( x2 - 6 ) 
 8 ( 8 - 5 )   24 
Et donc : g0 =  = .
 2(9-6)   6 

 1 0   24   24 
La direction initiale est : d0= -   6 =- 6 .
 0 1    

Minimisons f(X1 )= f(X0 - α d0 ) par rapport à α, ce qui donne

[
f ( X 1 ) = f ( X 0 + α d 0 ) = 4 ( 8 - 24 α - 5 )2 + ( 9 - 6 α - 6 )2 ]
d f ( X1 )
= 51 - 390 α * = 0 ⇒ α 0* = 0.1307
dα
 4.862 
• 1ère itération : On a : X 1 = X 0 + α 0 d 0 =  
 8.215 
 - 3.138 
On a aussi : p0 = X 1 − X 0 =  
 - 0.785 

 8 ( 4.862 - 5 )   - 1.108 
Le gradient devient : g1 =  = 
 2 ( 8.215 - 6   4.431 

 - 25.108 
Et : q0 = g1 - g 0 =  
 - 1.569 
T T
p0 p0 F0 q0 q0 F0
Maintenant, calculons F1 d’après : F1DFP = F0 + T
- T
p 0 q0 q0 F0 q0
 - 3.138  1 0 − 25.10850 0
[− 25.108 − 1.569] 
1 0
[− 3.138 − 0.785]
1 0  - 0.785  0 1  − 1.569
 

0 0 1 
F1 =  + −
0 1 [− 3.138 − 0.785]− 25.108 1 0 − 25.108
[− 25.108 − 1.569]  
 − 1.569  
  0 1  − 1.569 
 4.862   0.1270 - 0.0315   - 1.108 
2ème itération : X 2 = X 1 - α 1 F 1 g1 =   - α 1   
 8.215   - 0.0315 1.0038   4.431 
Il faut ensuite déterminer α1 en dérivant f(X2) par rapport à α et ainsi de suite.

Le tableau suivant résume les résultats des différentes étapes.

Matière : ‘Optimisation’ Prof. L. Mokrani

4
Série de TD, 1ère Master en ELT Semestre : S1 ; Option : 1MAUT

Itération x1 k x2k ∂f ( X k ) ∂f ( X k ) f ( Xk ) αk
∂ x1 ∂ x2
0 8.000 9.000 24.000 6.000 45.000 0.1307
1 4.862 8.215 -1.108 4.431 4.985 0.4942

2 5.000 6.000 3.81 10-7 2.55 10-9 9.06 10-15 1.000

3 5.000 6.000 0 0 0 -

Les approximations de l'inverse de la matrice hessianne obtenues durant le calcul sont

résumées dans le tableau suivant :

k Fk
0  1 0
 
0 1
1  1.270 10-1 - 3.149 10-2
 
- 3.149 10 1.0038
-2

2  1.250 10-1 - 8.882 10-16

 
- 8.882 10-16 5.000 10-1
3  1.250 10-1 - 1.387 10-17 
 
- 1.387 10 5.000 10-1
-17

* 8 0
La vraie matrice hessianne est : H =  et son inverse est
0 2 
* −1
1/8 0 0.125 0
H = = .
 0 1/2  0 0.5

On remarque que F3 est pratiquement identique à F*=H*-1.

Matière : ‘Optimisation’ Prof. L. Mokrani

5