Académique Documents
Professionnel Documents
Culture Documents
f(x)
f(x)
II. OPTIMISATION SANS CONTRAINTE
II.1 Mthodes de recherches unidimensionnelles (2)
Principes de la mthode du nombre dor
f(x)
II. OPTIMISATION SANS CONTRAINTE
II.1 Mthodes de recherches unidimensionnelles (3)
Principes de la mthode du nombre dor (suite)
Rpter
Choisir un des points de ltape prcdente :
II. OPTIMISATION SANS CONTRAINTE
II.1 Mthodes de recherches unidimensionnelles (4)
Calcul de la valeur de dans la mthode du nombre dor:
= NOMBRE DOR
II. OPTIMISATION SANS CONTRAINTE
II.1 Mthodes de recherches unidimensionnelles (5)
II.1.2 Mthode des suites de Fibonacci
est variable pour optimiser la convergence
II. OPTIMISATION SANS CONTRAINTE
II.1 Mthodes de recherches unidimensionnelles (6)
Slection optimale des facteurs de rduction:
Si N itrations sont permises :
Minimiser q(x)
=> x =
II. OPTIMISATION SANS CONTRAINTE
II.1 Mthodes de recherches unidimensionnelles (8)
II.1.3 Mthode de Newton (suite)
q(x)
q(x)
f(x)
II. OPTIMISATION SANS CONTRAINTE
II.1 Mthodes de recherches unidimensionnelles (9)
II.1.3 Mthode de Newton (suite)
f(x)
g(x)
II. OPTIMISATION SANS CONTRAINTE
II.1 Mthodes de recherches unidimensionnelles (10)
II.1.3 Mthode de Newton (suite)
g(x)
II. OPTIMISATION SANS CONTRAINTE
II.1 Mthodes de recherches unidimensionnelles (11)
II.1.4 Mthode de la scante
g(x)
II. OPTIMISATION SANS CONTRAINTE
II.1 Mthodes de recherches unidimensionnelles (13)
II.1.5 Mthodes unidirectionnelles Line search
pente
a b
!
II. OPTIMISATION SANS CONTRAINTE
II.1 Mthodes de recherches unidimensionnelles (16)
2 Algorithme de Fletcher
pente
pente
A B max
Conditions
de Wolfe-Powell
II. OPTIMISATION SANS CONTRAINTE
II.1 Mthodes de recherches unidimensionnelles (17)
II.1.5.2. La fonction f est non drivable
Soit
Proprits :
1
2
II. OPTIMISATION SANS CONTRAINTE
II.2 Mthode du Gradient (3)
II.2.2 Evaluation du Gradient
Problmes possibles: * , mais calcul du f trop complexe
*
Si => diffrences finies:
Critres :
II. OPTIMISATION SANS CONTRAINTE
II.2 Mthode du Gradient (5)
II.2.4 Convergence
Exemple 1
Exemple 2
Critre darrt :
=> 15 itrations
II. OPTIMISATION SANS CONTRAINTE
II.2 Mthode du Gradient (8)
II. OPTIMISATION SANS CONTRAINTE
II.2 Mthode du Gradient (9)
II. OPTIMISATION SANS CONTRAINTE
II.2 Mthode du Gradient (10)
Exemple 3
Soit
Les directions sont Q-conjugues si
En effet :
Proprits:
converge vers
en n itrations
II. OPTIMISATION SANS CONTRAINTE
II.3 Mthode des directions conjugues (3)
II.3.1 Algorithme des directions conjugues (suite)
Dmonstration : n 1
n coefficients i x x 0 = i di
i=0
T T dkT Q(x x 0 )
d Q(x x 0 ) = d Q dk
k k k k =
dkT Q dk
x k = x 0 + 0 d0 + 1d1 + + k 1dk 1
x k x 0 = 0 d0 + + k 1dk 1
x x0 = x xk + xk x0
dkT Q(x x 0 ) = dkT Q(x x k ) = dkT (Q x k b) = dkT f (x k )
dkT f (x k )
k = T = k x n 1 = x
dk Q dk
II. OPTIMISATION SANS CONTRAINTE
II.3 Mthode des directions conjugues (4)
II.3.2 Algorithme du gradient conjugu
Soit
Algorithme: choisir
Si => arrt
A. Formule de Hestenes-Stiefel
NB:
II. OPTIMISATION SANS CONTRAINTE
II.3 Mthode des directions conjugues (10)
II.3.3 Gradients conjugus pour les fonctions non quadratiques
B. Formule de Polak-Ribire
C. Formule de Fletcher-Reeves
II. OPTIMISATION SANS CONTRAINTE
II.3 Mthode des directions conjugues (11)
II.3.3 Gradients conjugus pour les fonctions non quadratiques
Algorithme de Fletcher-Reeves: choisir
Exemple:
Proprit
Condition quasi-Newton
II. OPTIMISATION SANS CONTRAINTE
II.6 Mthodes Quasi-Newton (2)
II.6.1 Formule de correction de rang 1
B. Broyden-Fletcher-Goldfarb-Shanno (BFGS)
Proprits :
* si f(x) est quadratique => convergence en n itrations
* si f(x) quelconque
=> Proprit de descente garantie !
II. OPTIMISATION SANS CONTRAINTE
II.7 Mthodes sans calcul du gradient (1)
II.7.1 Mthode univariable alterne
P
Convergence ralentie en P
II. OPTIMISATION SANS CONTRAINTE
II.7 Mthode sans calcul du gradient (2)
II.7.2 Mthode du simplexe (Nelder-Mead)
Dfinition : Forme gomtrique avec n+1 sommets dans
un espace n dimensions = simplexe
n=2 n=3
n=2
n=3
II. OPTIMISATION SANS CONTRAINTE
II.7 Mthode sans calcul du gradient (4)
A. Rflexion
II. OPTIMISATION SANS CONTRAINTE
II.7 Mthode sans calcul du gradient (6)
C. Expansion
II. OPTIMISATION SANS CONTRAINTE
II.8 Sommes de carrs Equations non linaires (1)
II.8.1 Moindres carrs non linaires
II. OPTIMISATION SANS CONTRAINTE
II.8 Sommes de carrs Equations non linaires (2)
II.8.1.1 Mthode de Gauss-Newton
Mthode de Newton :
Gauss- Newton :
Problmes
f (x)T
1
x k +1 = x k J(x k ) 1 F(x k ) J(x) = 0
f (x)T
n
Gauss-Newton pour minimiser
Fonction de Rosenbrock:
Mthode du Gradient
II. OPTIMISATION SANS CONTRAINTE
II.9 Exemple comparatif (3)
Mthode du Simplexe
II. OPTIMISATION SANS CONTRAINTE
II.9 Exemple comparatif (4)
Mthode de Gauss-Newton
II. OPTIMISATION SANS CONTRAINTE
II.9 Exemple comparatif (5)
Mthode de Levenberg-Marquardt
II. OPTIMISATION SANS CONTRAINTE
II.9 Exemple comparatif (6)