P. 1
Poly Ana Mat

Poly Ana Mat

2.0

|Views: 16,437|Likes:
Publié parsehsou
analyse numérique...
analyse numérique...

More info:

Published by: sehsou on Oct 23, 2009
Droits d'auteur :Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

12/22/2014

pdf

text

original

Faisons le point sur les avantages et inconvénients des méthodes qu’on a vues
sur l’optimisation sans contrainte.

Méthodes de gradient : Ces méthodes nécessitent le calcul def(x(n)

).

Leur convergence est linéaire (donc lente).

Méthode de gradient conjugué : Si f est quadratique (c.à.d. f(x) = 1

2Ax·
xb·x avec A symétrique définie positive), la méthode est excellente si
elle est utilisée avec un préconditionnement (pour N grand). Dans le cas

général, elle n’est efficace que si N n’est pas trop grand.

Méthode de Newton : La convergence de la méthode de Newton est ex-

cellente (convergence localement quadratique) mais nécessite le calcul de

Hf(x(n)

) (et def((n)

)). Si on peut calculer Hf(x(n)

), cette méthode est

parfaite.

Méthode de quasi Newton : L’avantage de la méthode de quasi Newton

est qu’on ne calcule quef(x(n)

) et pas Hf(x(n)

)). La convergence est

super linéaire. Par rapport à une méthode de gradient où on calcule w(n)

=

−∇f(x(n)

), la méthode BFGS nécessite une résolution de système linéaire :

w(n)

= (B(n)

)−1

(−∇f(x(n)

)).

Quasi–Newton modifié :

Pour éviter la résolution de système linéaire dans BFGS, on peut choisir de

travailler sur (B(n)

)−1

au lieu de B(n)

, pour obtenir l’algorithme de quasi
Newton (3.3.28). Cependant, on perd alors en vitesse de convergence.

Comment faire si on ne veut (ou peut) pas calculerf(x(n)

)?

On peut utiliser des “méthodes sans gradient", c.à.d. qu’on choisit a priori

les directions w(n)

. Ceci peut se faire soit par un choix déterministe, soit

par un choix stochastique.

Un choix déterministe possible est de calculer x(n)

en résolvant N pro-
blèmes de minimisation en une dimension d’espace. Pour chaque direction

i = 1,...,N, on prend w(n,i)

= ei, où ei est le i-ème vecteur de la base

canonique, et pour i = 1,...,N, on cherche θIR tel que :

f(x(n)

1 ,x(n)

2 ,...,θ,...,x(n)

N )f(x(n)

1 ,x(n)

2 ,...,t,...,x(n)

N ),t IR.

Remarquons que si f est quadratique, on retrouve la méthode de Gauss

Seidel.

You're Reading a Free Preview

Télécharger
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->