Abdessamad Youssfi Alaoui

abdessamad.youssfialaoui@gmail.com
Régression linéaire
 Un modèle de régression linéaire simple est un modèle où on représente une variable
expliquée Y en fonction d'une variable explicative X en supposant que la fonction qui
relie les deux variables est linéaire.
 Données 𝑋 = 𝑥 (1) , … , 𝑥 (𝑛) 𝑎𝑣𝑒𝑐 𝑥 (𝑖) 𝜖ℝ𝑑
 Les classes correspondantes Y = 𝑦 (1) , … , 𝑦 (𝑛) 𝑎𝑣𝑒𝑐 𝑦 (𝑖) 𝜖ℝ
Régression linéaire
𝑑

𝑦 = 𝜃0 + 𝜃1 𝑥1 + 𝜃2 𝑥2 + ⋯ + 𝜃𝑑 𝑥𝑑 = 𝜃𝑖 𝑥𝑖
𝑖=0
Avec 𝑥0 = 1

Adapter le modèle en minimisant la somme des erreurs carrées

Régression linéaire
Fonction erreur
1 𝑛 2
𝐽 𝜃 = 𝑖=0 ℎ𝜃 𝑥 (𝑖) −𝑦 (𝑖)
2𝑛

La modification se fait en gardant min 𝐽(𝜃)

𝜃
Régression linéaire
Fonction erreur
1 𝑛 2
𝐽 𝜃 = 𝑖=0 ℎ𝜃 𝑥 (𝑖) −𝑦 (𝑖)
2𝑛

Soient 𝑥𝜖ℝ 𝑒𝑡 𝜃 = 𝜃0 , 𝜃1
Régression linéaire
Fonction erreur
1 𝑛 2
𝐽 𝜃 = 𝑖=0 ℎ𝜃 𝑥 (𝑖) −𝑦 (𝑖)
2𝑛

Soient 𝑥𝜖ℝ 𝑒𝑡 𝜃 = 𝜃0 , 𝜃1
Régression linéaire
Fonction erreur
1 𝑛 2
𝐽 𝜃 = 𝑖=0 ℎ𝜃 𝑥 (𝑖) −𝑦 (𝑖)
2𝑛
Soient 𝑥𝜖ℝ 𝑒𝑡 𝜃 = 𝜃0 , 𝜃1
Régression linéaire
Régression linéaire
Régression linéaire
Régression linéaire
Régression linéaire
Régression linéaire
 Initialiser les valeurs de 𝜃
 Choisir des nouvelles valeurs de 𝜃 en minimisant 𝐽(𝜃)
Régression linéaire
 Initialiser les valeurs de 𝜃
 Choisir des nouvelles valeurs de 𝜃 en minimisant 𝐽(𝜃)
Régression linéaire
 Initialiser les valeurs de 𝜃
 Choisir des nouvelles valeurs de 𝜃 en minimisant 𝐽(𝜃)
Régression linéaire
 Initialiser 𝜃
 Répéter jusqu’à la convergence
𝜕𝐽(𝜃)
𝜃𝑗 ← 𝜃𝑗 − 𝛼 pour j=0,…,n et 𝛼 le taux d’apprentissage
𝜕𝜃𝑗
Régression linéaire

𝑛
𝜕𝐽(𝜃) 𝜕 1 𝑖 (𝑖) 2
= ℎ𝜃 (𝑥 ) − 𝑦
𝜕𝜃𝑗 𝜕𝜃𝑗 2𝑛
𝑖=1

𝜕 1 (𝑖) 2
𝑛 𝑑
= 𝑖=1 𝜃 𝑥
𝑘=0 𝑘 𝜃 − 𝑦 (𝑖)
𝜕𝜃𝑗 2𝑛

1 𝑛 𝑑 (𝑖) 𝜕 𝑑 (𝑖)
= 𝑖=1 𝜃 𝑥
𝑘=0 𝑘 𝜃 − 𝑦 (𝑖) 𝜃 𝑥
𝑘=0 𝑘 𝑘 − 𝑦 (𝑖)
𝑛 𝜕𝜃𝑗

1 𝑛 𝑑 (𝑖) (𝑖)
= 𝑖=1 𝑘=0 𝜃𝑘 𝑥𝜃 − 𝑦 (𝑖) 𝑥𝑗
𝑛
Régression linéaire
 Initialiser 𝜃
 Répéter jusqu’à la convergence
1 𝑛 (𝑖)
𝜃𝑗 ← 𝜃𝑗 − 𝛼 𝑖=1 ℎ𝜃 (𝑥 𝑖 ) − 𝑦 (𝑖) 𝑥𝑗 pour j=0,…,n et 𝛼 le taux d’apprentissage
𝑛
Pour la mise à jour
 À chaque itération de GD, en calcule ℎ𝜃 (𝑥 𝑖 )
 Utiliser cette valeur pour la modification de 𝜃𝑗

La condition de convergence 𝜃𝑛𝑒𝑤 − 𝜃𝑜𝑙𝑑 2 <𝜀

Régression linéaire
Régression linéaire
Régression linéaire
Régression linéaire
Régression linéaire
Régression linéaire
Choix de 𝜃
α trop petite α trop grande
Convergence lent La valeur de 𝐽 𝜃 augmente

Peut dépasser le minimum

Peut ne pas converger
Peut même diverge
À chaque itération, la valeur de 𝐽 𝜃 doit diminuer
Sinon il faut ajuster α
Extension de la Régression linéaire pour des modèle complexe
Les données X peuvent être:
 Des données quantitatives
 Transformer ce données
 Exp, racine carré, carré, etc…
 Transformation polynomiale
exemple 𝑦 = 𝛽0 + 𝛽1 𝑥1 + 𝛽2 𝑥2 + 𝛽3 𝑥3

 Codage fictif des entrées catégoriques

 Basis expansions
 Interactions entre variables
exemple 𝑥3 = 𝑥1 𝑥2
Modèles de fonction de base linéaire

 𝜙0 𝑥 = 1
 Pour le cas linéaire 𝜙𝑗 𝑥 = 𝑥𝑗
Modèles de fonction de base linéaire
 Fonction polynomiale

 Fonction Gaussienne
Modèles de fonction de base linéaire
 Fonction sigmoïdale
Vectorisation

Soit la fonction suivante

ET

Donc
Vectorisation
La fonction de l’erreur
Vectorisation
La fonction de l’erreur
Overfiting: 𝐽(𝜃) ≈ 0
Régularisation
Une méthode pour contrôler automatiquement la complexité de l'hypothèse apprise

Idée: pénaliser pour les grandes valeurs de 𝜃𝑗

 Peut incorporer dans la fonction de coût
 Fonctionne bien quand on a beaucoup de fonctionnalités, chacune contribuant un peu à
prédire l'étiquette.

Peut également résoudre le problème en éliminant les fonctionnalités (manuellement ou via la

sélection du modèle)
Régularisation

 𝜆 est le paramètre de régularisation (𝜆 ≥ 0)

 Pas de régularisation pour 𝜃0
Régularisation
 La modification se fait en gardant min 𝐽(𝜃)
𝜃
 Gradient

 En peut écrire
Régularisation
 Pour incorporer la régularisation

𝜕
 Peut dériver de la même manière, en résolvant 𝐽 𝜃 =0
𝜕𝜃
 Peut prouver que pour λ> 0, l'inverse existe dans cette équation