Vous êtes sur la page 1sur 54

Rvision des concepts importants dalgbre linaire et doptimisation

Julie Carreau
carreau@iro.umontreal.ca

Universit de Montral

Rvision des concepts importants dalgbre linaire et doptimisation p.1/38

Algbre linaire

Oprations sur les matrices. Dterminant et matrice dnie positive. Valeurs propres et vecteurs propres. Indpendance linaire et rang dune matrice.

Rvision des concepts importants dalgbre linaire et doptimisation p.2/38

Somme de matrices
Soient les matrices A et B de dimensions n x m, on dnit la somme de A et de B par : C = A + B, o C est une matrice n x m dont les lments sont Ci j = Ai j + Bi j .

Rvision des concepts importants dalgbre linaire et doptimisation p.3/38

Multiplication scalaire
Soit A une matrice de dimensions n x m et dnit la multiplication scalaire par: C = A, o C est une matrice n x m dont les lments sont C i j = Ai j . , on

Rvision des concepts importants dalgbre linaire et doptimisation p.4/38

Proprits
Soient A, B et C des matrices n x m et soient et des nombres rels. Alors: 1. A + B = B + A 2. (A + B) + C = A + ( B + C ) 3. A + 0 = 0 + A = A 4. A + (A) = A + A = 0 5. (A + B) = A + B 6. ( + )A == A + A 7. (A) = ()A 8. 1A = A

Thorme

Rvision des concepts importants dalgbre linaire et doptimisation p.5/38

Produit matriciel
Soit A une matrice n x m et soit B une matrice m x p, on dnite le produit matriciel de A et de B par: C = AB, o Ci j =
m k=1

Aik Bk j , pour i = 1, . . . , n et j = 1, . . . , p.

Rvision des concepts importants dalgbre linaire et doptimisation p.6/38

Produit matriciel
Soit A une matrice n x m et soit B une matrice m x p, on dnite le produit matriciel de A et de B par: C = AB, o Ci j =
m k=1

Aik Bk j , pour i = 1, . . . , n et j = 1, . . . , p.

` me ligne de A avec la On calcule C i j en multipliant la ie ` me je colonne de B.

Rvision des concepts importants dalgbre linaire et doptimisation p.6/38

Matrices spciales

Matrice carre: matrice A telle que n = m, on dit que A est une matrice carre dorde n. Matrice diagonale: matrice carre D telle que Di j = 0 pour tout i j. Matrice identite dordre n: matrice diagonale I n n telle que Iii = 1 pour i = 1, . . . n.

Matrice triangulaire suprieure: matrice carre U dordre n telle que U i j = 0 pour tout i = j + 1, . . . , n. Matrice triangulaire infrieure: matrice carre L dordre n telle que Li j = 0 pour tout i = 1, . . . , j 1.

Rvision des concepts importants dalgbre linaire et doptimisation p.7/38

Proprits
Soit A une matrice n x m, B une matrice m x k, C une matrice k x p, D une matrice m x k et un scalaire. Alors: 1. A( BC ) = (AB)C 2. A( B + D) = AB + AD 3. I m B = B et BI k = B 4. (AB) = (A) B = A( B)

Thorme

Rvision des concepts importants dalgbre linaire et doptimisation p.8/38

Matrice inverse
Soit A une matrice carre dordre n. Sil existe une matrice carre B dordre n telle que AB = BA = I , alors B est appele la matrice inverse de A et est note A1 .

Rvision des concepts importants dalgbre linaire et doptimisation p.9/38

Matrice inverse
Soit A une matrice carre dordre n. Sil existe une matrice carre B dordre n telle que AB = BA = I , alors B est appele la matrice inverse de A et est note A1 . Une matrice A est dite singulire si son inverse A1 nexiste pas.

Rvision des concepts importants dalgbre linaire et doptimisation p.9/38

Proprits

Thorme
dordre n:

Pour toute matrice non-singulire A

1. A1 est unique 2. A1 est non-singulire et (A1 )1 = A 3. Si B est aussi une matrice non-singulire dordre n alors: (AB)1 = B1 A1 .

Rvision des concepts importants dalgbre linaire et doptimisation p.10/38

Matrice transpose
Soit une matrice A de dimensions n x m. La transpose de A est une matrice de dimensions m x n note At telle que chaque ligne de A correspond une colonne de At . 2 3 t A = 2 4 7 4 5 A= 3 5 1 7 1

Rvision des concepts importants dalgbre linaire et doptimisation p.11/38

Matrice transpose
Soit une matrice A de dimensions n x m. La transpose de A est une matrice de dimensions m x n note At telle que chaque ligne de A correspond une colonne de At . 2 3 t A = 2 4 7 4 5 A= 3 5 1 7 1 Une matrice carre A est dite symtrique si A = At .

Rvision des concepts importants dalgbre linaire et doptimisation p.11/38

Proprits

Thorme
matrice: 1. (At )t = A

Oprations sur la transpose dune

2. (A + B)t = At + Bt 3. (AB)t = Bt At 4. si A1 existe, alors (A1 )t = (At )1 .

Rvision des concepts importants dalgbre linaire et doptimisation p.12/38

Dterminant
On note le dterminant dune matrice carre A par |A|.

Rvision des concepts importants dalgbre linaire et doptimisation p.13/38

Dterminant
On note le dterminant dune matrice carre A par |A|. Quelques proprits: 1. Si une ligne ou une colonne de A ne contient que des 0, alors |A| = 0. 2. Si deux lignes ou deux colonnes de A sont identiques, alors |A| = 0.

Rvision des concepts importants dalgbre linaire et doptimisation p.13/38

Proprits
Suite des proprits: 3. Si B est aussi une matrice carre dordre n, alors |AB| = |A|| B|. 4. |At | = |A|. 5. Si A1 existe, alors |A1 | = |A|1 . 6. Si A est diagonale ou triangulaire suprieure ou infrieure, alors |A| = n i=1 Aii .

Rvision des concepts importants dalgbre linaire et doptimisation p.14/38

Matrice dnie positive


Une matrice A est dite dnie positive si elle est symtrique et si xt A x > 0, pour tout x 0.

Rvision des concepts importants dalgbre linaire et doptimisation p.15/38

Matrice dnie positive


Une matrice A est dite dnie positive si elle est symtrique et si xt A x > 0, pour tout x 0. Si A est une matrice dnie positive dordre n, alors: 1. A est non-singulire, i.e. A1 existe 2. Aii > 0, pour i = 1, . . . , n

Thorme

Rvision des concepts importants dalgbre linaire et doptimisation p.15/38

Factorisation
A est une matrice dnie positive dordre si et seulement si A = LLt o L1,1 L1,2 . . . ... L1,n 0 L L . . . L 2,2 2,3 2,n , L= . . . . . . . . . . . . . . . L 0 0 . . . L n 1 , n 1 n 1 , n 0 0 ... 0 Ln,n et Lii 0 pour i = 1, . . . , n.

Thorme

Rvision des concepts importants dalgbre linaire et doptimisation p.16/38

Polynme caractristique
Soit A une matrice carre, le polynme caractristique de A est donn par: p() = |A I |.

p() est un polynme dorde n donc possdant au plus n racines distinctes.

Rvision des concepts importants dalgbre linaire et doptimisation p.17/38

Valeurs propres et vecteurs propres


Les valeurs propres de la matrice A sont les racines de p(), i.e. les valeurs i telles que p(i ) = 0.

Rvision des concepts importants dalgbre linaire et doptimisation p.18/38

Valeurs propres et vecteurs propres


Les valeurs propres de la matrice A sont les racines de p(), i.e. les valeurs i telles que p(i ) = 0. Soit une valeur propre de A, si x 0 satisfait A x = x,

alors x est le vecteur propre associ .

Rvision des concepts importants dalgbre linaire et doptimisation p.18/38

Indpendance linaire
Soit {v(1) , {v(2) , . . . , {v(k) } un ensemble de vecteurs dans n . On dit que cet ensemble est linairement indpendants si: 1 v(1) + 2 v(2) + + k v(k) = 0 1 = 2 = = k = 0.

Rvision des concepts importants dalgbre linaire et doptimisation p.19/38

Indpendance linaire
Soit {v(1) , {v(2) , . . . , {v(k) } un ensemble de vecteurs dans n . On dit que cet ensemble est linairement indpendants si: 1 v(1) + 2 v(2) + + k v(k) = 0 1 = 2 = = k = 0.

Thorme
dpendant.

Soit une matrice A et {1 , . . . , k } ses

valeurs propres et { x(1) , . . . , { x(k) } leurs vectors pro-

pres associs. Alors { x(1) , . . . , { x(k) } est linairement in-

Rvision des concepts importants dalgbre linaire et doptimisation p.19/38

Rang
Le rang dune matrice A est donn par le nombre de lignes ou de colonnes linairement indpendantes de A. 3Une matrice carre A est de rang plein si |A| 0, une matrice carre de rang plein est inversible et donc non-singulire.

Rvision des concepts importants dalgbre linaire et doptimisation p.20/38

Base
Soit {v(1) , v(2) , . . . , v(n) } un ensemble de vecteurs linairement indpendants dans n . Alors tout x n peut scrire de faon unique comme: x = 1 v(1) + 2 v(2) + + n v(n) .

Thorme

On dit alors que {v(1) , v(2) , . . . , v(n) } est une base pour

Rvision des concepts importants dalgbre linaire et doptimisation p.21/38

Orthogonalit
Un ensemble de vecteurs {v(1) , v(2) , . . . , v(k) } est dit orthogonal si (v(i) )t v( j) = 0 pour tout i j. Cet ensemble est dit orthonormal si en plus dtre orthogonal, (v(i) )t v(i) = 1.

Rvision des concepts importants dalgbre linaire et doptimisation p.22/38

Orthogonalit
Un ensemble de vecteurs {v(1) , v(2) , . . . , v(k) } est dit orthogonal si (v(i) )t v( j) = 0 pour tout i j. Cet ensemble est dit orthonormal si en plus dtre orthogonal, (v(i) )t v(i) = 1.

Thorme

Un ensemble de vecteurs orthogonaux non-nuls est linairement indpendant.

Rvision des concepts importants dalgbre linaire et doptimisation p.22/38

Dcomposition en vecteurs propres


Une matrice Q est dite orthogonale si Q1 = Qt .

Rvision des concepts importants dalgbre linaire et doptimisation p.23/38

Dcomposition en vecteurs propres


Une matrice Q est dite orthogonale si Q1 = Qt . Si A est une matrice symtrique et D est une matrice diagonale contenant les valeurs propres de A, alors il existe une matrice orthogonale Q telle que: D = Q1 AQ = Qt AQ.

Thorme

Rvision des concepts importants dalgbre linaire et doptimisation p.23/38

Matrices symtriques

Thorme

Si A est une matrice symtrique dordre n, alors A possde n vecteurs propres qui forme un ensemble orthonorm et les valeurs propres de A sont relles.

Rvision des concepts importants dalgbre linaire et doptimisation p.24/38

Matrices symtriques

Thorme

Si A est une matrice symtrique dordre n, alors A possde n vecteurs propres qui forme un ensemble orthonorm et les valeurs propres de A sont relles. Une matrice symtrique A est dnie positive si et seulement si les valeurs propres de A sont positives.

Thorme

Rvision des concepts importants dalgbre linaire et doptimisation p.24/38

Optimisation

Conditions doptimalit Descente de gradient Recherche linaire Gradients conjugus Mthodes de deuxime ordre

Rvision des concepts importants dalgbre linaire et doptimisation p.25/38

Minimum
Problme: on cherche x tel que f ( x ) = min x f ( x).

Rvision des concepts importants dalgbre linaire et doptimisation p.26/38

Minimum
Problme: on cherche x tel que f ( x ) = min x f ( x). Un minimum local est dni par: f ( x ) f ( x ) x tels que || x x || < .

Rvision des concepts importants dalgbre linaire et doptimisation p.26/38

Conditions doptimalit
Condition ncessaire de premier-ordre: Si x est un minimum local de f , alors: f ( x ) = 0. Un point satisfaisant cette condition est appel stationnaire.

Rvision des concepts importants dalgbre linaire et doptimisation p.27/38

Conditions doptimalit
Condition ncessaire de premier-ordre: Si x est un minimum local de f , alors: f ( x ) = 0. Un point satisfaisant cette condition est appel stationnaire. Si f ( x ) = 0 et 2 f ( x ) est dnie positive, alors x est un minimum local strict. Condition susante de deuxime-ordre:

Rvision des concepts importants dalgbre linaire et doptimisation p.27/38

Direction de recherche
Soit x0 une valeur intiale. On fait un pas de grandeur k vers le minimum en suivant une direction de recherche pk : xk+1 = xk + k pk .

Rvision des concepts importants dalgbre linaire et doptimisation p.28/38

Direction de recherche
Soit x0 une valeur intiale. On fait un pas de grandeur k vers le minimum en suivant une direction de recherche pk : xk+1 = xk + k pk .

Les mthodes doptimisation varient dans la faon de dterminer la direction et la grandeur du pas.

Rvision des concepts importants dalgbre linaire et doptimisation p.28/38

Descente de gradient
La mthode de descente de gradient (la plus grande pente) fait un pas dans la direction du gradient: xk+1 = xk f ( xk ).

Rvision des concepts importants dalgbre linaire et doptimisation p.29/38

Descente de gradient
La mthode de descente de gradient (la plus grande pente) fait un pas dans la direction du gradient: xk+1 = xk f ( xk ). + simple implementer. - la convergence est linaire et peut tre trs lente. - il faut dterminer , le learning rate, de faon adquate.

Rvision des concepts importants dalgbre linaire et doptimisation p.29/38

Recherche linaire
La recherche linaire consiste optimiser la grandeur du pas k : min F () = min f ( xk+1 ) = min f ( xk + pk ).

Il sagit dun problme doptimisation unidimensionel. En gnral, on nutilise pas le gradient.

Rvision des concepts importants dalgbre linaire et doptimisation p.30/38

Recherche linaire: mthode


On procde en deux tapes: 1. Encadrer le minimum: on cherche un intervalle [a, b] qui contient le minimum. 2. Raccourcir lintervalle: on choisit deux points , [a, b] et si F () > F (), le nouvel intervalle est [, b] sinon le nouvel intervalle est [a, ].

Rvision des concepts importants dalgbre linaire et doptimisation p.31/38

Recherche linaire: algorithmes


La recherche dichotomique et la Golden search sont deux faons de choisir les points et dans lintervalle [a, b].

Rvision des concepts importants dalgbre linaire et doptimisation p.32/38

Recherche linaire: algorithmes


La recherche dichotomique et la Golden search sont deux faons de choisir les points et dans lintervalle [a, b]. Approximation polynmiale, algorithme de Brent: 1. On cherche trois points 1 , 2 et 3 tels que F (1 ) > F (2 ) et F (3 ) > F (2 ).

2. On approxime le minimum [1 , 3 ] par approximation polynmiale. On retourne ltape 1 avec 2 , 1 2 si F (2 ) > F ( ) et 3 2 sinon.

Rvision des concepts importants dalgbre linaire et doptimisation p.32/38

Gradients conjugus
3La meilleure direction de recherche nest pas donne par le gradient local. 3Soit tel que F () est minimal. Alors: f ( xk + pk ) = f ( xk+1 )t pk = 0, i.e. le gradient au nouveau point xk+1 est orthogonal la direction de recherche prcdente.

Rvision des concepts importants dalgbre linaire et doptimisation p.33/38

Gradients conjugus: condition


On choisit donc la nouvelle direction pk+1 de sorte que: f ( xk+1 + pk+1 )t pk = 0.

Aprs r-arrangement cette condition scrit: ptk+1 H pk = 0, o H est la matrice hessienne.

Rvision des concepts importants dalgbre linaire et doptimisation p.34/38

Gradients conjugus: algorithme


Algorithme: 1. Choisir x0 et p0 = f ( x0 ). 2. Dterminer par recherche linaire pour minimiser f ( xk + pk ). 3. valuer f ( xk+1 ). 4. Calculer la nouvelle direction de recherche: pk+1 = f ( xk+1 ) + k pk , o f ( xk+1 )t ( f ( xk+) f ( xk )) k = f ( x k )t f ( x k )

Rvision des concepts importants dalgbre linaire et doptimisation p.35/38

Mthodes de deuxime ordre


Approximation quadratique de f (): 1 q( x) = f ( xk ) + f ( xk ) ( x xk ) + ( x xk )t H ( xk )( x xk ), 2
t

o H ( xk ) est la matrice hessienne en xk .

Rvision des concepts importants dalgbre linaire et doptimisation p.36/38

Mthodes de deuxime ordre


Approximation quadratique de f (): 1 q( x) = f ( xk ) + f ( xk ) ( x xk ) + ( x xk )t H ( xk )( x xk ), 2
t

o H ( xk ) est la matrice hessienne en xk . Condition ncessaire doptimalit: q( x) = 0 f ( xk ) + H ( xk )( x xk ) = 0. Mthode de Newton : xk+1 = xk H ( xh )1 f ( xk ).

Rvision des concepts importants dalgbre linaire et doptimisation p.36/38

Mthodes quasi-Newton
3Utilise la matrice hessienne = coteux en temps de calcul. Mthodes quasi-Newton: approximation de linverse de la matrice hessienne.

Rvision des concepts importants dalgbre linaire et doptimisation p.37/38

Rfrences
1. http://mathworld.wolfram.com 2. Numerical Analysis, Burden & Faires 3. Linear and Nonlinear Programming, Nash & Sofer 4. Numerical Recipes in C, Press et al.

Rvision des concepts importants dalgbre linaire et doptimisation p.38/38