Cours

dAnalyse Numrique Matricielle

et
dOptimisation
Philippe Destuynder
Calcul Scientifique CNAM Paris 292 rue saint Martin 75003
ml: destuynd@cnam.fr
30 janvier 2006

F IG . 1 Machine calculer de Blaise Pascal

Table des matires

I

Introduction aux mthodes dcrites dans ce cours

I.1

La rsolution des systmes linaires . . . . . . . . . . . . . . . . . . . . .

I.2

Le calcul des valeurs propres des matrices . . . . . . . . . . . . . . . . . .

I.3

Loptimisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

I.4

Le contrle des systmes linaires . . . . . . . . . . . . . . . . . . . . . .

15

II La mthode de Gau et ses variantes

19

II.1 La factorisation de Gau . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

II.2 Lalgorithme de Gau . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

II.3 Pivotage et astuces de programmation . . . . . . . . . . . . . . . . . . . .

23

II.4

Dcompte des oprations . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

II.5

Cas dune matrice symtrique dfinie positive . . . . . . . . . . . . . . . .

24

II.6 Possibilits de mthodes par blocs, aspects oprationnels . . . . . . . . . .

26

II.7 Stockage des matrices creuses et bandes . . . . . . . . . . . . . . . . . . .

27

II.7.1

Stokage en ligne de ciel . . . . . . . . . . . . . . . . . . . . . . .

27

II.7.2

Stokage Morse . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

II.8 Vectorisation et paralllisation . . . . . . . . . . . . . . . . . . . . . . . .

29

II.9 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

III Introduction lanalyse matricielle

31

III.1 Normes sur un espace vectoriel . . . . . . . . . . . . . . . . . . . . . . . .

31

III.2 Convergence dans un espace vectoriel . . . . . . . . . . . . . . . . . . . .

33

III.2.1 Exemples lmentaires de rsultats danalyse vectorielle . . . . . .

33

III.3 Normes matricielles vectorielles et normes subordonnes . . . . . . . . . .

34

III.4 Quelques proprits de convergence des suites vectorielles et matricielles .

38

III.5 Robustesse et conditionnement des systme linaires . . . . . . . . . . . .

41

Table des matires

IV Mthodes itratives de rsolution des sytmes linaires

43

IV.1 La mthode de Jacobi . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43

IV.2 La mthode du point fixe . . . . . . . . . . . . . . . . . . . . . . . . . . .

44

IV.3 La mthode de relaxation de Gau-Seidel . . . . . . . . . . . . . . . . . .

46

IV.4 La mthode de surrelaxation . . . . . . . . . . . . . . . . . . . . . . . . .

46

V Calcul de valeurs et de vecteurs propres de matrices

V.1 La puissance itre inverse avec shift . . . . . . . . . . . . . . . . . . . . .

49
49

V.1.1

Description de lalgorithme lmentaire . . . . . . . . . . . . . . .

50

V.1.2

Auto-ajustement de . . . . . . . . . . . . . . . . . . . . . . . . .

51

V.1.3

Calcul des autres valeurs et vecteurs propres . . . . . . . . . . . . .

52

V.1.4

Cas dune matrice M de pondration . . . . . . . . . . . . . . . .

52

V.2 Itration sur un sous-espace . . . . . . . . . . . . . . . . . . . . . . . . . .

53

V.3 La mthode de Jacobi . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

V.4 La mthode de Householder pour tridiagonaliser les matrices . . . . . . . .

53

V.5 La mthode de Lanczos . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

V.6 La mthode de bissection de Givens . . . . . . . . . . . . . . . . . . . . .

53

V.7 La mthode de Franis pour des matrices arbitraires . . . . . . . . . . . . .

54

V.8 Recherche du noyau dune matrice . . . . . . . . . . . . . . . . . . . . . .

54

VI Introduction loptimisation

55

VI.1 Position du problme . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

55

VI.2 Equivalence entre le problme doptimisation et un systme linaire . . . .

56

VI.3 Cas dune matrice symtrique positive mais non dfinie . . . . . . . . . . .

57

VI.3.1 Procd de Schmidt pour orthogonalis . . . . . . . . . . . . . . .

57

VI.3.2 Construction dun algorithme de rsolution du systme linaire lorsque

A est singulire . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
VI.4 Lalgorithme du gradient . . . . . . . . . . . . . . . . . . . . . . . . . . .

59

VI.5 Convergence de lalgorithme du gradient . . . . . . . . . . . . . . . . . . .

61

VI.5.1 Convergence du gradient pas optimal . . . . . . . . . . . . . . .

61

VI.5.2 Convergence du gradient pas constant . . . . . . . . . . . . . . .

62

VI.6 Le gradient conjugu . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

VI.6.1 Description de lalgorithme . . . . . . . . . . . . . . . . . . . . .

63

VI.6.2 Justification des conjuguaisons . . . . . . . . . . . . . . . . . . . .

64

VI.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

65

Table des matires

VIIOptimisation de fonctions convexes

67

VII.1 Digest sur les fonctions convexes . . . . . . . . . . . . . . . . . . . . . . .

67

VII.2 Algorithme du gradient pas constant pour minimiser une fonctionnelle

convexe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

71

VII.3 Algorithme de Newton . . . . . . . . . . . . . . . . . . . . . . . . . . . .

72

VII.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

74

VIIIPrise en compte des contraintes linaires en optimisation quadratique

75

VIII.1Existence et unicit dune solution . . . . . . . . . . . . . . . . . . . . . .

75

VIII.2Caractrisation de la solution de VIII.1 . . . . . . . . . . . . . . . . . . . .

76

VIII.2.1Projection orthogonale sur Ker(B) . . . . . . . . . . . . . . . . .

76

VIII.3Construction de la projection PK . . . . . . . . . . . . . . . . . . . . . . .

79

VIII.4Introduction de la dualit . . . . . . . . . . . . . . . . . . . . . . . . . . .

80

VIII.5Une interprtation du systme dual . . . . . . . . . . . . . . . . . . . . .

81

VIII.5.1La mthode de Uzawa . . . . . . . . . . . . . . . . . . . . . . . .

81

VIII.5.2La mthode de Uzawa rgularise . . . . . . . . . . . . . . . . . .

82

VIII.5.3Lalgorithme de Arrow-Urwicz . . . . . . . . . . . . . . . . . . . .

84

VIII.6La pnalisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

86

VIII.7Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

88

IX Un exemple doptimisation de fonctionnelles non diffrentiables

89

IX.1 Le problme initial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

89

IX.2 Analyse du problme pos lorsque A est dfinie . . . . . . . . . . . . . . .

90

IX.3 Rgularisation du problme non drivable . . . . . . . . . . . . . . . . . .

93

IX.3.1 Calcul de la drive Gteaux de J . . . . . . . . . . . . . . . . .

93

IX.3.2 Analyse du problme doptimisation rgularis . . . . . . . . . . .

95

IX.3.3 Etude de lquation de Euler du modle rgularis . . . . . . . . .

95

IX.4 Algorithme de rsolution du type gradient . . . . . . . . . . . . . . . . . .

97

IX.5 Une mthode de dualit . . . . . . . . . . . . . . . . . . . . . . . . . . .

99

IX.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

X Optimisation convexe

103

X.1 Existence et unicit de solution . . . . . . . . . . . . . . . . . . . . . . . . 103

X.2 Caractrisation des solutions . . . . . . . . . . . . . . . . . . . . . . . . . 104
X.3 Projection sur le convexe K

. . . . . . . . . . . . . . . . . . . . . . . . . 104

X.4 Lalgorithme du gradient projet . . . . . . . . . . . . . . . . . . . . . . . 105

X.5 Introduction de la dualit . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

X.5.1 Formalisme thorique . . . . . . . . . . . . . . . . . . . . . . . . 106
X.5.2 Algorithme de Uzawa . . . . . . . . . . . . . . . . . . . . . . . . 109
X.6 La mthode de pnalisation . . . . . . . . . . . . . . . . . . . . . . . . . . 110
X.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
XI Introduction au contrle optimal

111

XI.1 Un problme modle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

XI.2 Quelques rsultats mathmatiques utiles . . . . . . . . . . . . . . . . . . . 113
XI.3 Calcul de la drive Gteaux de J . . . . . . . . . . . . . . . . . . . . . . 116
XI.4 Relation doptimalit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
XI.5 Mthodes de calcul du contrle optimal . . . . . . . . . . . . . . . . . . . 117
XI.5.1 Algorithme du gradient pas constant . . . . . . . . . . . . . . . . 117
XI.5.2 Rsolution par la mthode de Ricatti . . . . . . . . . . . . . . . . . 117
XI.6 Passage la limite lorsque 0 . . . . . . . . . . . . . . . . . . . . . . . 118
XI.6.1 Une mthode asymptotique . . . . . . . . . . . . . . . . . . . . . . 118
XI.6.2 Rsultat de convergence . . . . . . . . . . . . . . . . . . . . . . . 122
XI.7 Rsolution approche du modle de contrle optimal . . . . . . . . . . . . 123
XI.8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

Introduction
Quest-ce que lanalyse numrique ?
Il y a un sicle, les mathmaticiens travaillaient trouver des solutions analytiques aux
quations proposes par les physiciens et les mcaniciens. Parfois, la complexit de ces
quations tait telle, quils mirent beaucoup dnergie simplifier ces modles afin den obtenir des plus simples pour lesquels les outils disponibles, en particulier lanalyse complexe,
pouvait fonctionner. Ces apports considrables ont constitus le fond de roulement de lingnieur de bureau dtude. Cependant ils se sont vite rvls insuffisants et ce nest quavec
lapparition des premiers calculateurs au milieu du XX me sicle, quune autre voie beaucoup plus prometteuse et complmentaire, a vu le jour : cest lanalyse numrique. Les
premiers problmes furent obtenus par discrtisation dquations aux drives partielles en
utilisant la clbre mthode des diffrences finies. Cela permit de se ramener la rsolution
dun systme matriciel. Trs vite, les limites de cette mthode sont apparues principalement
en raison des gomtries complexes, des milieux htrognes et des conditions aux limites
varies que lingnieur souhaitait introduire dans ses modles. Larrive de la mthode des
lments finis a alors apport une solution efficace et agrable tous ces problmes et a
transform tous les modles dquations aux drives partielles de la physique en systmes
matriciels (linaires ou non). Lobjet de ce cours est de donner les principales mthodes
dont dispose le scientifique pour rsoudre ces systmes.