Académique Documents
Professionnel Documents
Culture Documents
5 - Moindres Carres
5 - Moindres Carres
carrés
1
Méthodes des moindres carrés
Chapitre 6 du polycopié
2
Les données suivent la courbe
figurée en pointillés et sont
affectées par une erreur
aléatoire.
Elles sont représentées
graphiquement sous la forme de
points de mesures, munis de
barres d'erreur.
Le meilleur ajustement déterminé
par la méthode des moindres
carrés est représenté en rouge.
Il s'agit de la fonction qui
minimise la somme
quadratique des écarts
(appelés résidus) entre les
données et le modèle.
3
Dans le cas le plus courant, le
modèle théorique est une famille de
fonctions ƒ(x,θ) d’une ou plusieurs
variables x, indexées par un ou
plusieurs paramètres θ inconnus.
La méthode des moindres carrés
permet de sélectionner parmi ces
fonctions, celle qui reproduit le
mieux les données
expérimentales. On parle dans ce
cas d’ajustement par la méthode des
moindres carrés.
Si les paramètres θ ont un sens
physique la procédure d’ajustement
donne également une estimation
indirecte de la valeur de ces
paramètres.
4
La méthode consiste en une prescription (initialement empirique) qui est que
la fonction ƒ (x;θ) qui décrit « le mieux » les données est celle qui minimise la
somme quadratique des déviations des mesures aux prédictions de ƒ (x;θ) .
où les ri(θ) sont les résidus au modèle, i.e. les écarts entre les points de
mesure yi et le modèle f (x;θ).
6
Régression linéaire
Une régression linéaire est l'ajustement d'une loi linéaire du type
y=αx+β
sur des mesures indépendantes, fonction d'un paramètre connu x.
Ce type de situation se rencontre par exemple lorsque l'on veut calibrer un
appareil de mesure simple (ampèremètre, thermomètre) dont le
fonctionnement est linéaire.
8
Régression linéaire: calcul des coefficients
La prescription des moindres carrés s'écrit pour ce type de modèle:
N N
S yi f xi ; yi xi
2 2
i 1 i 1
1 yi
i 1
xi
i 1 10
Régression linéaire: un algorithme de calcul pratique
S X x1 x2 ... x N
SY y1 y2 ... y N
S XX x12 x22 ... x N2
S XY x1 y1 x2 y2 ... x N y N
N S XY S X SY
N S XX S X S X
SY S X
N
11
Régression linéaire – cas particulier: calcul de la pente si on suppose (ou
impose) le passage de la droite par zéro
i 1 i 1
N N x i yi
S XY
x 2
i x i yi et donc i 1
N
i 1 i 1 S XX
xi2 12
i 1
Evaluation de l’écart-type par rapport à la régression
Diagramme avec barres d’erreurs
régression linéaire
y = 0.6364x + 0.5455
12
10
6 y
Y
4 Linéaire (y)
0
0 5 10 15
-2
X
13
Problème
x= 1 3 4 6 8 9 11 14
y= 1 2 4 4 5 7 8 9
1. par minimisation de la somme des carrés des écarts sur les ordonnées.
2. par minimisation de la somme des carrés des écarts sur les ordonnées et en
forçant la droite à passer par l'origine
Faire l’exercice avec Excel mais sans utiliser l’option « courbe de tendance »
Déterminer les coefficients des droites de régression correspondantes aux
différents critères mentionnés et les représenter sur un graphe avec également
les points figurant dans le tableau.
Evaluer ensuite l’écart-type des écarts résiduels et tracer le diagramme avec les
barres d’erreur.
Vérifier qu’on obtient les mêmes résultats avec l’option « courbe de tendance »
14
Régressions curvilinéaires
Dans de nombreux problèmes, une relation nette apparaît entre les variables
étudiées, mais cette relation n’est pas linéaire.
Il peut alors être utile de procéder à l'ajustement d'une courbe de régression
au nuage de points observés.
Deux problèmes distincts se posent alors:
1. le choix de l'équation de la courbe (donc choix d'un certain type de
fonction),
2. la détermination des paramètres intervenant dans cette équation.
Il existe des régressions polynomiales, exponentielles, logarithmiques,….
15
Régressions curvilinéaires avec Excel
16
17
Le coefficient de détermination R
18
Problème
y = AxB
pour l’ensemble des points suivants:
19
20
Ajustement d'un modèle linéaire
φk(x) = xk.
Aussi, de très nombreux modèles utilisés en sciences expérimentales
sont des développement polynomiaux sur des bases fonctionnelles
classiques (splines, bases de Fourier, bases d'ondelettes, etc.).
21
Dans le cas le plus général on trouve que les min qui minimisent les écarts
entre une fonction linéaire
22
Ajustement d'un polynôme linéaire
Le cas d'ajustement d’un polynôme d'ordre k à un ensemble de n points de
mesures donnés par les couples (xi, yi) admet des méthodes de solution
assez simples à mettre en œuvre.
Définissons le polynôme recherché comme:
a0 x 0 a1 x1 a 2 x 2 a3 x 3 ............. a k x k y
Les inconnues sont les valeurs des ak.
Il faut donc disposer de k+1 équations.
On obtient ainsi:
n n n
n
n x 1
i x 2
i ..... k
x
i yi
n i 1 i 1 i 1
a0 in1
x1
n n n
k 1
a1 y x
i i
2 3
i x x ..... xi
i i
i 1
.....
i 1 i 1 i 1 .... i 1
..... ..... ..... ..... ....
....
n..... ..... ..... ..... ..... n .....
2k k k
n n n a
i 1
xi
k
x
i 1
k 1
i x
i 1
k 2
i ..... i 1
x i
i i
i 1
y x
24
Enfin les valeurs ao-k s’obtiennent par la solution de l’équation
matricielle suivante:
1
n n n
k n
a0
n x 1
i x 2
i ..... xi yi
i 1 i 1 i 1
in1
a n 1 n n n
k 1 y x
1 xi i i
2 3
x x ..... xi
i i
.... i 1 i 1 i 1 i 1 i 1
..... ..... ..... ..... ..... ....
.... ..... ..... ..... ..... ..... .....
ak n
2k n k
n n n
i i i ..... i i
k 1 k 2
x k
x x x i y x
i 1 i 1 i 1 i 1 i 1
25
Problème
1. Excel
2. Matlab, par la fonction polyfit
26
Ajustement d'un cercle
( x a ) ( y b) R
2 2 2
2ax 2by ( R 2 a 2 b2 ) x 2 y 2
ou: 2ax 2by c x y 2 2
avec: c R 2 a 2 b2
27
Les inconnues sont
• a, b, les coordonnées x,y du centre
• c qui donnera R, rayon du cercle recherché
2ax 2by c x 2 y 2
on obtient:
2ax 2 2bxy c x x 3 xy2
et
2axy 2by 2 c y x 2 y y 3
28
Ajustement d'un cercle par la méthode des moindres carrés
2a x 2b y c x 2 y 2
2a x 2 2b xy c x x 3 xy2
2axy 2b y 2 c y x 2 y y 3
On écrit ces trois relations pour tous les N points Pi, de coordonnées xi,
yi, puis l'on somme toutes les équations par catégorie.
On obtient ainsi:
2a xi 2b yi cN x y 2
i
2
i
i i i i
29
Le système d’équations:
2a xi 2b yi cN x y 2
i
2
i
i i i i
2
xi y 2a
xi yi
2
i N
i 2 i
i 3 i
2
xi x y i i i xi 2b i xi i xi yi
i i c
xi yi y i yi xi yi yi
2 2 3
i
i i i i
30
Ajustement d'un cercle par la méthode des moindres carrés
1
2
2a y xi yi
2
xi i n
i 2 i
i 3 i
2
2b xi x y i i i xi xi xi yi
c i i i 2 i
xi yi y 2
i i yi xi yi yi
3
i i i i
31
Problème
R (mm) 83 64 50 54 70 88 93 91
(°) 0 45 90 135 180 225 270 315
32
Plus de 2 variables:
33
34
Ajustement d'un plan par la méthode des moindres carrés
35
Enfin les valeurs de a, b, c pour le plan
z f ( x, y ) ax by c
s’obtiennent par:
1
a x y i xi xi zi
2
x i i i
i i
i
b xi yi y i yi yi z i
2
i
c i i i
xi y i n zi
i i i
36