▪Régression linéaire (Rappel)

▪Régression logistique
▪Interprétation du modèle
▪Fonction cout
▪Régularisation
▪Classification :
▪ Email: Spam (Oui / Non) ?
▪ Transactions: Frauduleuse (Yes / No)?
▪ Tumeur : Maligne /Bénigne?

0: Classe négative (Tumeur bénigne)

𝑦 ∈ {0; 1}
1: Classe positive (Tumeur maligne)
▪Régression linéaire (rappel)
▪Peut on utiliser la régression linéaire pour faire la
classification?

𝒉𝜽 𝑿
1

0,5 𝑆𝑖 ℎ𝜃 𝑋 > 0,5: 𝑝𝑟é𝑑𝑖𝑟𝑒 𝑦 = 1

𝑆𝑖 ℎ𝜃 𝑋 ≤ 0,5: 𝑝𝑟é𝑑𝑖𝑟𝑒 𝑦 = 0

0
▪Régression linéaire (rappel)
▪Peut on utiliser la régression linéaire pour faire la
classification?

𝒉𝜽 𝑿

0,5

𝑆𝑖 ℎ𝜃 𝑋 > 0,5: 𝑝𝑟é𝑑𝑖𝑟𝑒 𝑦 = 1

𝑆𝑖 ℎ𝜃 𝑋 ≤ 0,5: 𝑝𝑟é𝑑𝑖𝑟𝑒 𝑦 = 0
0
▪ Régression linéaire (rappel)
▪ Classification : Y=0 ou Y=1
▪ ℎ𝜃 𝑋 >1 ou ℎ𝜃 𝑋 < 0
▪ Régression logistique (Algorithme de classification) :
▪ 0 ≤ ℎ𝜃 𝑋 ≤ 1

1
𝒉𝜽 𝑿

0,5

0
▪Régression logistique (Algorithme de
classification) :
▪Régression linéaire ℎ𝜃 𝑋 = 𝜃 𝑇 𝑋
▪Régression logistique hθ 𝑋 = 𝑔(𝜃 𝑇 𝑋)
1
▪𝑔 𝑧 = (fonction sigmoïde) → 0 ≤ h𝜃 𝑋 ≤ 1
1+ 𝑒 −𝑧

Fonction sigmoïde 1
0,5 ℎ𝜃 𝑋 =
Fonction logistique 𝑇
1+ 𝑒 −𝜃 𝑋
▪Régression logistique (Algorithme de classification) :
1
▪Régression logistique : ℎ𝜃 𝑋 = 𝑇
1+ 𝑒 −(𝜃 𝑋)
▪ ℎ𝜃 𝑋 est la probabilité estimée que y=1
𝑥0 1
▪Si pour une entrée 𝑋 = =
𝑥1 𝑡𝑎𝑖𝑙𝑙𝑒 𝑑𝑢 𝑡𝑢𝑚𝑒𝑢𝑟
▪ℎ𝜃 𝑋 = 0,8 informe le patient que le tumeur est maligne avec
une probabilité de 80%.
▪ℎ𝜃 𝑋 = 𝑃(𝑦 = 1|𝑋; 𝜃) (la probabilité que y=1 sachant X
paramétrées par 𝜃)
▪Régression logistique
1
▪ ℎ𝜃 𝑋 = 𝑇 0,5
1+ 𝑒 −(𝜃 𝑋)

𝑠𝑖 ℎ𝜃 𝑋 ≥ 0,5 ; 𝑦 = 1 𝜃𝑇𝑋 ≥ 0
ቊ 𝜃𝑇𝑋 < 0
𝑠𝑖𝑛𝑜𝑛 𝑦 = 0

𝜃𝑇𝑋 = 𝜃0𝑥0 + 𝜃1𝑥1 + 𝜃2𝑥2

▪Borne de décision
𝜃𝑇𝑋 = 𝜃0𝑥0 + 𝜃1𝑥1 + 𝜃2𝑥2
−1
𝜃= 1 𝜃𝑇𝑋 = −1 + 𝑥1 − 𝑥2
−1
Prédire y=1 si −1 + 𝑥1 − 𝑥2 ≥ 0 (𝜃𝑇𝑋 ≥ 0)
Prédire y=0 −1 + 𝑥1 − 𝑥2 < 0
𝜃𝑇𝑋

0
1 2
▪Borne de décision

𝜃𝑇𝑋 = 𝜃0𝑥0 + 𝜃1𝑥1 + 𝜃2𝑥2

−3
𝜃= 1 𝜃𝑇𝑋 = −3 + 𝑥1 + 𝑥2
1
Prédire y=1 si −3 + 𝑥1 + 𝑥2 ≥ 0 (𝜃𝑇𝑋 ≥ 0)

Prédire y=0 −3 + 𝑥1 + 𝑥2 < 0

 ▪Borne de décision non-linéaire
𝜃𝑇𝑋 = 𝜃0𝑥0 + 𝜃1𝑥1 + 𝜃2𝑥2+𝜃1𝑥12 + 𝜃2𝑥22
−4
0
𝜃 = 0 ֜ 𝜃𝑇𝑋 = −4 + 𝑥12 + 𝑥22
2 1
1

-2
0
2 4
Prédire y=1 Si −4 + 𝑥12 + 𝑥22 ≥ 0
𝑥12 + 𝑥22 ≥ 4
-2
La borne de décision : 𝑥12 + 𝑥22 = 4
▪LA fonction cout pour la régression linéaire
𝑚
1 𝑖 𝑖
𝐽 𝜃 =෍ (ℎ𝜃 𝑥 − 𝑦 )2
2𝑚
𝑖=1

▪La fonction cout pour la régression logistique

𝑚
1 𝑖 𝑖
𝐽 𝜃 = ෍ (𝑐𝑜𝑢𝑡(ℎ𝜃 𝑥 ,𝑦 )
𝑚
𝑖=1

−log(ℎ𝜃 𝑥 𝑠𝑖 𝑦 = 1
𝑐𝑜𝑢𝑡(ℎ𝜃 (𝑥), 𝑦) = ቊ
−log(1 − ℎ𝜃 𝑥 )𝑠𝑖 𝑦 = 0
▪La fonction cout pour la régression logistique

−log(ℎ𝜃 𝑥 ) 𝑠𝑖 𝑦 = 1
𝑐𝑜𝑢𝑡(ℎ𝜃 (𝑥), 𝑦) = ቊ
−log(1 − ℎ𝜃 𝑥 )𝑠𝑖 𝑦 = 0

− log ℎ𝜃 𝑥 𝑠𝑖 𝑦 = 1
▪La fonction cout pour la régression logistique

−log(ℎ𝜃 𝑥 ) 𝑠𝑖 𝑦 = 1
𝑐𝑜𝑢𝑡(ℎ𝜃 (𝑥), 𝑦) = ቊ
−log(1 − ℎ𝜃 𝑥 )𝑠𝑖 𝑦 = 0

−log(1 − ℎ𝜃 𝑥 )𝑠𝑖 𝑦 = 0
 ▪La fonction cout pour la régression logistique

−log(ℎ𝜃 𝑥 ) 𝑠𝑖 𝑦 = 1
𝑐𝑜𝑢𝑡(ℎ𝜃 (𝑥), 𝑦) = ቊ
−log(1 − ℎ𝜃 𝑥 )𝑠𝑖 𝑦 = 0

cout h𝜃 𝑥 , y = − ylog ℎ𝜃 𝑥 − 1 − 𝑦 log(1 − ℎ𝜃 𝑥 )

 Descente du gradient
Répéter {
𝜕
𝜃𝑗 ≔ 𝜃𝑗 − 𝛼 𝐽(𝜃) (mettre à jour les ϴj simultanément)
𝜕𝜃
}

Descente du gradient (mettre à jour les ϴj simultanément)

Répéter {
𝑚
1 𝑖 𝑖 𝑖
𝜃𝑗 ≔ 𝜃𝑗 − 𝛼 ෍ ℎ𝜃 𝑥 −𝑦 𝑥𝑗
𝑚
𝑖=1
}
1 1

0 0
1 2 1 2

1 1

0 0
1 2
 𝑚 𝑛
1 𝑖 𝑖
𝐽 𝜃 = ෍ (ℎ𝜃 𝑥 − 𝑦 )2 + λ ෍ 𝜃𝑗2
2𝑚
𝑖=1 𝑗=1

Descente du gradient
Répéter {
𝑚
1 𝑖 𝑖 𝑖
λ
𝜃𝑗 ≔ 𝜃𝑗 − 𝛼 ෍ ℎ𝜃 𝑥 −𝑦 𝑥𝑗 − 𝜃𝑗
𝑚 𝑚
𝑖=1
}
Descente du gradient (mettre à jour les ϴj simultanément)
Répéter {
𝑚
1 𝑖 𝑖 𝑖
λ
𝜃𝑗 ≔ 𝜃𝑗 − 𝛼 ෍ ℎ𝜃 𝑥 −𝑦 𝑥𝑗 − 𝜃𝑗
𝑚 𝑚
𝑖=1
}
underffiting Bon modèle Overfitting
Terme de régularisation
Descente du gradient (mettre à jour les ϴj simultanément)
Répéter {
𝑚
1 𝑖 𝑖 𝑖
λ
𝜃𝑗 ≔ 𝜃𝑗 − 𝛼 ෍ ℎ𝜃 𝑥 −𝑦 𝑥𝑗 − 𝜃𝑗
𝑚 𝑚
𝑖=1
}