Ministère de la

défense
nationale
Intelligence Artificielle
Apprentissage automatique
3ème année Géomatique

Chapitre 3 : Apprentissage supervisé

Régression

Sonia Ben Ticha Azzouz

Novembre 2022
 Principe

Les modèles de Régression sont utilisés pour

Régression

Linéaire simple prédire une valeur réelle continue,

Linéaire multiple le salaire
Polynomiale

Evaluation
Le prix de vente d’une maison
La note d’un étudiant
Si la variable indépendante
est le temps, alors le modèle prédit des valeurs futures.
Sinon, le modèle prédit des valeurs présentes, mais
inconnues

2 Sonia Ben Ticha Azzouz

 Régression linéaire simple

Le modèle est une droite dans le plan

Régression définie par la donnée de son coefficient y= b0 + b1*x
Linéaire simple directeur b1 et la valeur à l’origine b0
Linéaire multiple

Polynomiale y
y: variable dépendante, ou variable cible,
Evaluation
celle qu’on cherche à prédire
x: une seule variable indépendante,
variable prédictive
b1: coefficient directeur de la droite
b0: constante, indiquant la valeur de y
lorsque que x=zéro
x
Régression linéaire simple on a une
seule variable indépendante
3 Sonia Ben Ticha Azzouz
 Régression linéaire simple
Exemple1

Régression

Linéaire simple

Linéaire multiple y= b0 + b1*x

Polynomiale

Evaluation
Prédire la distance de freinage d’une voiture en fonction de sa
vitesse
y: la distance de freinage
x: la vitesse de la voiture

4 Sonia Ben Ticha Azzouz

 Régression linéaire simple
Exemple2

Régression

y= b0 + b1*x
Linéaire simple

Linéaire multiple

Polynomiale

Evaluation

Prédire la note d’un étudiant à l’examen en fonction du nombre

d’heures de travail
y: la note
x1: nombre d’heures de travail

5 Sonia Ben Ticha Azzouz

 Régression linéaire simple
Exemple3

Régression

Linéaire simple

Linéaire multiple
y= b0 + b1*x
Polynomiale Prédire le salaire d’un employé en fonction du nombre d’années
Evaluation d’expérience
y: le salaire
x: nombre d’années d’expérience
b1: de combien augmente le salaire en une année
b0: le salaire de départ

On cherche à comprendre comment le salaire évolue en

fonction des années d’expérience
6 Sonia Ben Ticha Azzouz
 Régression linéaire simple
le modèle

Régression y Valeur observée pour x7

y= b0 + b1 *x
Linéaire simple

Linéaire multiple

Polynomiale

Evaluation salaire

Salaire= b0 + b1 *experience

b0 Valeur prédite x7 Vraies observations

x7
expérience x
7 Sonia Ben Ticha Azzouz
 Régression linéaire simple
Que signifie b0?
b0: le salaire de départ avec 0
y
année d’expérience
Régression i y= b0 + b1 *x
Linéaire simple

Linéaire multiple

Polynomiale salaire
Evaluation

Salaire= b0 + b1 *experience
b0

intercept

x
expérience

8 Sonia Ben Ticha Azzouz

 Régression linéaire simple
Que signifie b1?

Régression
Linéaire simple
Linéaire multiple
y y= b0 + b1 *x
b1: de combien augmente le salaire
lorsque l’expérience augmente
d’une unité (1 an)

Polynomiale
salaire
Evaluation

b1
Salaire= b0 + b1 *experience
b0

x 1 an X+1 x
expérience

𝑦𝑦𝑦 = 𝑏𝑏𝑏 + 𝑏𝑏𝑏𝑏𝑏

𝑦𝑦𝑦 − 𝑦𝑦𝑦 = 𝑏𝑏𝑏
𝑦𝑦𝑦 = 𝑏𝑏𝑏 + 𝑏𝑏𝑏(𝑥𝑥 + 1)
9 Sonia Ben Ticha Azzouz
 La méthode des moindres carrés ordinaires
Ordinary Least Squares(O.L.S)
Comment la régression linéaire trouve-t-elle la droite qui se rapproche le plus des
points d’observation?
Régression

Linéaire simple

Linéaire multiple y y= b0 + b1*x1

Polynomiale

Evaluation 𝑦𝑦5
𝑦𝑦5 − 𝑦𝑦
�5
𝑦𝑦
�5
𝑁𝑁
y1 �(𝑦𝑦𝑖𝑖 − 𝑦𝑦�𝑖𝑖 )2
b0 𝑖𝑖=1

x5
x1 x1
expérience

10 Sonia Ben Ticha Azzouz

 La méthode des moindres carrés ordinaires
Ordinary Least Squares(O.L.S)

Régression SCR (SSR en anglais) Somme des Carrées des Résidus

𝑁𝑁
Linéaire simple
𝑆𝑆𝑆𝑆𝑆𝑆 = �(𝑦𝑦𝑖𝑖 − 𝑦𝑦�𝑖𝑖 )2
Linéaire multiple
𝑖𝑖=1
Polynomiale 𝑦𝑦�𝑖𝑖 : valeur prédite par le modèle, 𝑦𝑦𝑖𝑖 : valeur observée, pour 𝑥𝑥𝑖𝑖
𝑦𝑦𝑖𝑖 − 𝑦𝑦�𝑖𝑖 : différence entre la valeur prédite et la valeur observée (résidu)
Evaluation

Principe: on cherche les points 𝑦𝑦�𝑖𝑖 tel que ∑𝑁𝑁 �𝑖𝑖 )2 est le minimum
𝑖𝑖=1(𝑦𝑦𝑖𝑖 − 𝑦𝑦
c’est-à-dire la droite 𝑦𝑦� = 𝑏𝑏𝑏 + 𝑏𝑏𝑏 ∗ 𝑥𝑥 passant par les points (𝑥𝑥𝑖𝑖 , 𝑦𝑦�𝑖𝑖 ),pour
laquelle 𝑆𝑆𝑆𝑆𝑆𝑆 = ∑𝑁𝑁 �𝑖𝑖 )2 est minimale
𝑖𝑖=1(𝑦𝑦𝑖𝑖 − 𝑦𝑦

Ceci revient à un problème d’optimisation

11 Sonia Ben Ticha Azzouz

 La méthode des moindres carrés ordinaires
Ordinary Least Squares(O.L.S)

Régression
La méthode des moindres carrées
Linéaire simple s’adapte à des dataset de taille moyenne
à grande
Linéaire multiple

Polynomiale

Evaluation
En raison de la complexité du calcul pour trouver
les coefficients
Pour les dataset de taille très grande la
méthode du descente du Gradient est
utilisée
12 car beaucoup plus flexible (réseaux de neurones)
Sonia Ben Ticha Azzouz
 Régression linéaire multiple (RLM)

Plusieurs variables indépendantes

Régression

Linéaire simple

Linéaire multiple

Polynomiale y= b0 + b1*x1 +b2*x2+…+bi*xi +…. +bl*xl

Evaluation

y: variable dépendante, à prédire

Chaque variable indépendante xi a un coefficient bi
Les variables indépendantes doivent être non colinéaires
Dans quel cas utiliser la RLM?
Lorsqu’on pense que la variable dépendante dépend de plusieurs variables
13 Sonia Ben Ticha Azzouz
 Régression linéaire multiple (RLM)

Régression Exemple 1: y :distance de freinage

Linéaire simple x1: la vitesse
Linéaire multiple x2: l’état des pneus
Polynomiale

Evaluation
Exemple 2: y: la note d’un étudiant à l’examen
x1: nombre d’heures de travail
x2: nombre d’heures de sommeil avant l’examen
x3: nombre d’exercices effectués
Exemple 3: y: salaire d’une employé
x1: nombre d’années dans l’entreprise
x2: nombre d’années d’expérience
x3: niveau d’étude
14 Sonia Ben Ticha Azzouz
 Régression polynomiale: Régression non linéaire

y= b0 + b*x1 +b2*x2+ b3*x3 +b4*x4

Régression

Linéaire simple

Linéaire multiple

Polynomiale

Evaluation

Modèle de régression non linéaire MRNL

Le modèle est un polynôme de degrés k
y= b0 + b1*x1 +b2*x2+… +bk*xk
Une seule variable indépendante élevée à différentes puissances
Appropriée aux problèmes non linéaires
15 Sonia Ben Ticha Azzouz
 Régression polynomiale vs régression linéaire

Comment choisir entre un MRL et un MRNL?

Régression

Linéaire simple
Tester sur le même dataset, un modèle linéaire et un modèle non
Linéaire multiple
linéaire et voir quel modèle donne de meilleurs résultats
Polynomiale La relation entre les variables dépendantes et indépendantes est non
Evaluation linéaire
Visualiser le nuage de points du dataset pour voir s’il y a linéarité ou
pas
La régression polynomiale
est appropriée pour modéliser la propagation d’une épidémie ou
d’une maladie dans une population
Plus le degré du polynôme est élevé, plus il est sensible aux données
et s’y adapte mieux.
16 Sonia Ben Ticha Azzouz
 R2 le coefficient de détermination
Régression linéaire simple

Mesure la qualité d’un modèle de régression linéaire simple utilisant la méthode

Régression des moindres carrés
Linéaire simple Qualité de la prédiction
Linéaire multiple y
𝑆𝑆𝑆𝑆𝑆𝑆 = ∑𝑁𝑁
𝑖𝑖=1(𝑦𝑦𝑖𝑖 − 𝑦𝑦
�𝑖𝑖 ) 2
Polynomiale

Evaluation
Somme des Carrés Totale
𝑁𝑁

𝑆𝑆𝐶𝐶𝐶𝐶 = �(𝑦𝑦𝑖𝑖 − 𝑦𝑦𝑚𝑚𝑚𝑚𝑚𝑚 )2

ymoy
𝑖𝑖=1
Moyenne des points
R2 le coefficient de détermination observés
𝑁𝑁 2
2
∑ 𝑖𝑖=1 𝑦𝑦𝑖𝑖 − 𝑦𝑦
�𝑖𝑖
𝑅𝑅 = 1 − 𝑁𝑁 2
∑𝑖𝑖=1 𝑦𝑦𝑖𝑖 − 𝑦𝑦�
𝑅𝑅2 ∈[0,1], plus 𝑅𝑅2 est proche de 1, et x
plus la droite se rapproche des points
observés, et meilleur est le modèle

17 Est-ce que 𝑅𝑅 2 peut être négatif?

Sonia Ben Ticha Azzouz
 R2 ajusté (Adjusted R2)
Régression linéaire multiple

Régression Mesure la qualité d’un modèle de régression

Linéaire simple linéaire multiple utilisant la méthode des moindres
Linéaire multiple

Polynomiale
carrés
Evaluation R2 le coefficient de détermination ajusté
(𝑛𝑛 − 1)
𝐴𝐴𝐴𝐴𝐴𝐴 𝑅𝑅 2 = 1 − (1 − 𝑅𝑅 2 )
(𝑛𝑛 − 𝑝𝑝 − 1)
n: taille de l’échantillon
p: nombre de régresseurs (variables indépendantes
du modèle)
18 Sonia Ben Ticha Azzouz
 RMSE: Root Mean Square Error
Racine de l’erreur quadratique moyenne

Régression
Pour évaluer la précision de la prédiction
Linéaire simple

Linéaire multiple Pour comparer différents algorithmes de régression

Polynomiale (Régression linéaire, régression polynomiale, KNN, …)
Evaluation

Racine de l’erreur quadratique moyenne

𝑁𝑁
1
𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 = �(𝑦𝑦𝑖𝑖 − 𝑦𝑦�𝑖𝑖 )2
𝑁𝑁
𝑖𝑖=1

N : taille de l’échantillon
19 Sonia Ben Ticha Azzouz