PSI* — 2019/2020 — Corrigé partiel du T.D.

11b Page 1

13.c) Méthode des moindres carrés

n
Il s’agit de minimiser (axk + b − yk )2 , somme qui s’écrit AX − B 2 , où · est la norme euclidienne
k=1
canonique sur Rn et :    
x1 1 y1
 .. ..  a  .. 
A =  . . , X = , B =  . .
b
xn 1 yn
A et B étant fixées, on cherche X pseudo-solution du système AX = B et les résultats précédents
a
s’appliquent (le cas où le système admet une solution est celui où tous les points du nuage sont
b
alignés sur la droite d’équation y = ax + b, cas sans intérêt dans ce contexte. . . ).
D’après le b) nous devons résoudre le système t AAX = t AB. Je note :
1 n 1 n 1 n 1 n 2 1 n 2
x= xk , y = yk , xy = xk yk , x2 = xk , y 2 = y ,
n k=1 n k=1 n k=1 n k=1 n k=1 k
de sorte que  
n n
k=1 x2k xk 
t
2
=n x x t xy
AA = 
 n
k=1
 et AB = n .
x 1 y
xk n
k=1
Remarquons tout d’abord que
n n 2
det t AA = n x2k − xk .
k=1 k=1
L’inégalité de Cauchy-Schwarz dans Rn , appliquée aux vecteurs (1, . . . , 1) et (x1 , . . . , xn ), montre que
det t AA ≥ 0, avec égalité si et seulement si lesdits vecteurs sont colinéaires, c’est-à-dire si et seulement
si les xk sont tous égaux, c’est-à-dire si et seulement si A est de rang 1. Nous retrouvons ainsi le dernier
résultat du a), puisqu’ici ΦA est injective si et seulement si elle est de rang 2.
Le système t AAX = t AB s’écrit explicitement :
x2 a + xb = xy
.
xa + b = y
• Lorsque tous les xk sont égaux, leur valeur commune est x et par conséquent la première équation
est proportionnelle à la seconde : les droites solutions sont les droites non parallèles à Oy passant
par le point moyen du nuage (x, y).
• Sinon le système admet une unique solution donnée par
xy − x.y
a= et b = y − ax (tel que la droite passe par le point moyen).
x2 − x2
Calculons pour finir, avec ces valeurs de a et de b, le minimum
2
AX − B = (B − AX|B) (car AX − B est orthogonal à Im ΦA , donc à AX)
= n y 2 − axy − by

= n y 2 − y 2 − a (xy − x.y) (en remplaçant b)

Cov (x, y)2

= nV (y) 1 −
V (x) V (y)
cela compte tenu de la valeur de a, en notant :
Cov (x, y) = xy − x.y , V (x) = Cov (x, x) et V (y) = Cov (y, y) .

Je reconnais le coefficient de corrélation ρ !

2
AX − B = nV (y) 1 − ρ2 .