JPaul Kimbambu, Tsasa Vangu

Laboratoire dAnalyse Recherche en Economie Quantitative

118
Projection Orthogonale, JPaul K., Tsasa
Laboratoire dAnalyse Recherche en Economie Quantitative
One Pager Mars 2013 Vol. 5 Num. 018
Copyright Larq 2013
http://www.lareq.com
Projection Orthogonale
Dcomposition Orthogonale et Meilleure Approximation
JeanPaul Kimbambu, Tsasa Vangu

Ne commence rien dont tu puisses te repentir dans la suite. Garde toi dentreprendre ce que
tu ne sais pas faire, et commence par tinstruire de ce que tu dois savoir. Cest ainsi que tu
mneras une vie dlicieuse.
Pythagore de Samos

Rsum
Ce papier propose une prsentation pdagogique du concept de projection orthogonale, et dmontre
les thormes dits de la dcomposition orthogonale et de la meilleure approximation utiliss
dans la recherche des solutions approximatives des systmes dquations linaires par la mthode
des moindres carrs.

Mots cl : Ensembles orthogonal et orthonorm, oprateur linaire et projection orthogonale.

Abstract
This paper introduces the concept of orthogonal projection used in the research of approximate
solutions of systems of linear equations by the method of least squares.

Introduction

Ce papier, sinscrivant dans la suite de Tsasa (2013b), sintresse aux diffrentes proprits lies au
concept de projection orthogonale et aborde la question en cause dans une perspective de prsenter
dans une prochaine publication la formalisation et la rsolution du problme gnral des moindres
carrs. Contrairement Tsasa (2012a, 2012b), le processus de drivation du problme des moindres
carrs, tel que propos, sera analytiquement plus rigoureuse. Par ailleurs, il convient de noter que la
bonne apprhension du concept de projection orthogonale ncessite une connaissance de quelques
pralables et considrations thoriques, notamment, sur les concepts : (i) densemble orthogonal que je
prsente la section premire ; (ii) densemble orthonorm que je dveloppe la section deuxime et
(iii) dapplication linaire que jaborde la section troisime.

A la fin de la troisime section, tous les lments du puzzle seront quasi runis pour prsenter lobjet
principal de ce papier. Lobjectif poursuivi dans ces trois diffrentes publications (Num. 017, 018 & 019)
est celui de poser et prsenter pdagogiquement les fondements de la mthode des moindres carrs
1
. In
fine, il sied de prciser quun traitement plus explicite du problme des moindres carrs, ainsi que
lanalyse de ses extensions figurent parmi les thmes dtude de la srie Sujets spciaux en
conomtrie tels que prvus dans le calendrier de publication du Laboratoire pour lexercice 2013.



1
Les deux premires publications (One pager, vol. 5, num. 017 & num. 018) portent respectivement sur
lorthogonalit et sur la projection orthogonale. La troisime publication (One pager, vol. 5, num. 019), paratre
prochainement, sintresse la formalisation et la rsolution du problme gnral des moindres carrs.

JPaul Kimbambu, Tsasa Vangu
Laboratoire dAnalyse Recherche en Economie Quantitative
119
Ensembles orthogonaux

Le concept densemble orthogonal est un pralable indispensable lanalyse des ensembles orthonorms
et de la projection orthogonale. Soient vecteurs

de

et

un ensemble de vecteurs.
Lensemble est orthogonal si chaque paire de vecteurs

et

tel que est orthogonale. Dans un

papier prcdent
1
, il a t tabli que deux vecteurs sont orthogonaux si et seulement si :

Si les vecteurs

et

sont orthogonaux, on note :

Et on obtient ainsi :

Par exemple, si

et

Alors

et donc :

soit

Dans

la dtection de lorthogonalit entre deux vecteurs est plus facile. Il suffit dappliquer les
formules suivantes :






Ainsi, pour un ensemble orthogonal comprenant trois vecteurs, on vrifie que :

et

Thorme 1. Soit

un ensemble orthogonal de vecteurs non nuls de

Si est
linairement indpendant, il sensuit quil est une base du sousespace quil engendre.

Dmonstration.
Soient

une suite finie de scalaires telle que

Il vient que :

puisque

Et comme

donc

De mme, un raisonnement identique permet dtablir que

doivent galement tre nuls. Et par

consquent, lensemble est linairement indpendant.

Une base dun sous espace de

est un ensemble orthogonal, appel base orthogonale. Le thorme

reprend un des rsultats importants concernant les bases orthogonales.

1
Tsasa (2013b, p. 115).

JPaul Kimbambu, Tsasa Vangu
Laboratoire dAnalyse Recherche en Economie Quantitative
120
Thorme 2. Soient

une base orthogonale dun sousespace de

Quel que soit

un lment du sousespace de

les pondrations dans la combinaison linaire :

peuvent toujours tre extraites laide de la formule :

Dmonstration.
Lensemble tant une base orthogonale, il vient que :

Puisque

lquation

peut, de ce fait, tre rsolue par rapport

Il en est de
mme pour tous les

tels que

Une question intressante pouvant tre soulev cette tape de lanalyse est celle de la dcomposition
du vecteur de

en une somme de deux vecteurs telle que : (i) le premier soit un multiple dun
vecteur donn non nul de

; (ii) le second soit orthogonal A cet effet, on crit :

o et est un vecteur orthogonal

Il faut donc trouver la valeur de tel que le vecteur est orthogonal

De (5), On sait que si et seulement Ainsi,
on a :









Le vecteur est appel projection orthogonale de sur et la composante de orthogonale

En considrant une application illustrative dans

telle que

et

:

- la projection orthogonale de sur est :

- la composante de orthogonale est :

On peut galement montrer que lensemble est orthogonal :

JPaul Kimbambu, Tsasa Vangu
Laboratoire dAnalyse Recherche en Economie Quantitative
121

Il ressort de cette application que le vecteur est donc crit comme la somme de deux vecteurs
orthogonaux :



Ensemble orthonorm

Soient

un ensemble de vecteurs de

Lensemble est orthonorm sil est une base

orthonorme du sousespace de

quil engendre, cest dire un ensemble orthogonal de vecteurs

de norme 1. Ainsi, on vrifie pour chaque paire de vecteurs distincts : (i)

; (ii)

Les vecteurs

sont donc des vecteurs unitaires et forment ainsi

une base de

puisquils sont doffice linairement indpendants.

Thorme 3. Une matrice de format possde des colonnes orthonormes si et seulement :

o est une matrice identit.

Dmonstration.
Sans perte de gnralit, on admet que comprend trois colonnes de vecteurs de

Et donc :

Les lments de la matrice

sont de produits scalaires. Les colonnes de sont orthogonales si et

seulement :

Paralllement, les colonnes de sont de norme 1 si et seulement si :

Do,

Soient et deux vecteurs de

Si une matrice de format est colonnes orthonormes, il

vient que : (i) ; (ii) ; (iii) si et seulement si

Les proprits (i, ii, iii) rvlent que lapplication linaire :


conserve les normes et lorthogonalit.


JPaul Kimbambu, Tsasa Vangu
Laboratoire dAnalyse Recherche en Economie Quantitative
122
Par ailleurs, pour une matrice carre Si est orthogonale, on tablit que : (i)

est
linverse de et

la transpose de ; (ii) les colonnes de sont orthonormes.

Il sied de noter quune matrice colonnes orthonormes est appele matrice orthogonale ou
abusivement matrice orthonorme.

Proposition. Toute matrice carre dont les colonnes sont orthonormes est une matrice orthogonale
ses lignes, dans ce cas, sont galement orthonormes.

Application linaire

Lanalyse du concept doprateur linaire (opration ou transformation linaire) prsente dans ce papier
reprend essentiellement les dfinitions et rsultats qui trouvent une application directe par rapport
lobjet de la prsente discussion. Soient un corps quelconque, un espace vectoriel,

et

des
vecteurs non nuls et une application linaire. La proprit fondamentale de est donne par :

et

sont des scalaires.

La proprit fondamentale de loprateur peut tre clate en deux : (i) proprit dadditivit,

; (ii) proprit dhomognit,

Il vient donc quun scalaire quelconque est insensible loprateur Ainsi, la drivation dune fonction,
lintgration sur lintervalle dune fonction ou encore la projection orthogonale sont des applications
linaires. Si tout vecteur de lespace loprateur associe un autre vecteur de est dit
endomorphisme.

Soient une application linaire de lespace vers et

un sousespace de lespace darriv

Alors, lensemble des vecteurs tel que

est appel image rciproque ou inverse de

par
not

Lensemble

est un sousespace non vide de lespace et contenant notamment le vecteur nul de

Soient

et

deux vecteurs du sousespace

Par dfinition de limage rciproque :

et puisque :

donc :

JPaul Kimbambu, Tsasa Vangu
Laboratoire dAnalyse Recherche en Economie Quantitative
123
Ds lors, le noyau de loprateur not correspond limage rciproque du vecteur nul de lespace
darrive . Soit :

Dans la section qui suit, on se rendra compte que la projection, tant une transformation de lespace, est
une application linaire (oprateur linaire ou transformation linaire).

Projections orthogonales

Cette section gnralise lanalyse de projections orthogonales dun point de

sur une droite passant par

lorigine dans

et prsente, par ailleurs, les principales proprits qui sensuivent. Soient un sous
espace de

et

est une combinaison linaire de vecteurs

et

une combinaison
linaire de vecteur

et la combinaison linaire des vecteurs

dune base

telle que les

termes sont rassembls en deux groupes

et

Il existe un vecteur dans un sousespace de

tel
que : (i) est lunique vecteur de pour lequel ; (ii) est lunique vecteur de le plus
proche de Techniquement, ces deux proprits fondamentales constituent la cl de la recherche des
solutions des systmes linaires par les moindres carrs et alimente la formulation des deux thormes
(thorme de la dcomposition orthogonale et thorme de la meilleure approximation) repris ciaprs.

Thorme 4 (Dcomposition orthogonale). Soient un sousespace de

et

lensemble de tous
les vecteurs orthogonaux Tout vecteur de

peut tre crit de faon unique sous la

forme :


o et

Si

est une base orthogonale quelconque de alors :

et o est une projection orthogonale de sur note

Dmonstration.
La dmonstration du thorme5 se fait en deux temps : (i) montrer que

; (ii) tablir que le

vecteur est unique.
- Soit

une base orthogonale de De (12) : (12a). En substituant (12a)

dans (13), on obtient , aprs ramnagement :

De (14), on conclut que

Et par analogie,

Puisque est orthogonal chaque vecteur de en consquence

- Soit

et

Alors

Daprs cette dernire

expression, puisque

donc

JPaul Kimbambu, Tsasa Vangu
Laboratoire dAnalyse Recherche en Economie Quantitative
124
Il vient que :

Lintrt de ce thorme est quune fois on a

il nest pas ncessaire de dispose dune base

orthogonale de

car la connaissance dune base orthogonale de est suffisante.

Thorme 5 (Meilleure approximation). Soient un sousespace de

un vecteur quelconque de

et la projection orthogonale de sur Il vient que est le point de le plus proche

de :

o est dsign meilleure approximation de par des lments de

Dmonstration.
Soit tel que Puisque donc Par le thorme 4 :



Soit Daprs le thorme de Pythagore tel qutabli dans (Tsasa, 2013, p. 115),
on a :

avec

car

Ainsi driveton lingalit recherche :

La distance est communment appele erreur car on considre la place de Daprs le
thorme 5, on conclut donc que :



Le critre des moindres carrs, tabli indpendamment en 1805 par le mathmaticien franais Adrien
Marie Legendre (1752 1833) et en 1809 par le mathmaticien allemand Johann Carl Friedrich Gau
(1777 1855), est largement utilis en sciences conomiques pour appliquer les donnes
exprimentales aux modles conomtriques. Un traitement rigoureux et pdagogiquement plus dtaill
de ce critre, ainsi que lanalyse de ses extensions feront lobjet de la srie Sujets spciaux en
conomtrie .

Au total, ce papier en compltant le numro prcdent met en vidence tous les pralables ncessaires
la formulation et la rsolution du problme gnral des moindres carrs. Cest ainsi que dans le
prochain papier, il sera question daborder les problmes se rapportant aux systmes dquations tels
que la solution est exige bien quil nen existe pas naturellement.



JPaul Kimbambu, Tsasa Vangu
Laboratoire dAnalyse Recherche en Economie Quantitative
125
Bibliographie
AIGNER Martin et Gnter M. ZIEGLER, 1998, Raisonnements Divins : Quelques Dmonstrations
Mathmatiques Particulirement Elgantes, 2
ime
dition Springer, Berlin, 270p.
BOURBAKI Nicolas, 1975, Topologie Gnrale, Chapitres 5 10, Springer Verlag Berlin and
Heidelberg GmbH & Co. K, Berlin, 336p.
BOURBAKI Nicolas, 1981, Espaces Vectoriels Topologiques, Chapitre 1 5, Dunod, Paris, 368p.
BOURBAKI Nicolas, 2006, Topologie Gnrale, Chapitre 1 4, Springer Verlag Berlin and
Heidelberg GmbH & Co. K, Berlin, 376p.
BOURBAKI Nicolas, 2007, Elments dhistoire des mathmatiques, Springer Verlag Berlin and
Heidelberg GmbH & Co. K, Berlin, 374p.
HAMILTON James D., 1994, Times Series Analysis, Princeton University Press, Princeton, New
Jersey, 799p.
OK Efe A., 2007, Real Analysis with Economic Applications, Princeton University Press, Princeton,
802p.
TOMBOLA Cdrick et Jean Paul TSASA, 2013, Analyse de la Structure dEspaces Vectoriels ,
One Pager Larq (fvrier), vol. 5, num. 15, 93 99.
TSASA Jean Paul, 2012a, Faisceau des Moindres Carrs , One Pager Larq (mai), vol. 2, num.
001, 1 11.
TSASA Jean Paul, 2012b, Drivation de la Rgle dor dEstimation : un regard plus attentif sur
les points focaux de la mthode des moindres carrs linaires , One Pager Larq (mai), vol. 2,
num. 004, 22 28.
TSASA Jean Paul, 2013a, Ensemble R et Extraction de Quelques Thormes Fondamentaux ,
One Pager Larq (janvier), vol. 5, num. 006, 31 36.
TSASA Jean Paul, 2013b, Produit Scalaire, Mtrique et Orthogonalit : Pralables la Rsolution
du Problme des Moindres Carrs , One Pager Larq (mars), vol. 5, num. 017, 112 117.