Tout savoir sur la régression logistique

Partie 2

Présenté par Morgan Gautherot

Problème de classification

X Y

Nb d‘e-mails Nb de produits Panier moyen Ouverture de l’e-

ouverts (𝒙𝟏 ) achetés (𝒙𝟐 ) (𝒙𝟑 ) mail (y)
1 12 3 120 1
2 0 1 40 0
3 30 10 1800 1
4 14 5 799 1
… … … … …
m 25 2 260 0
Jeu d’entraînement pour la prédiction de prix de maison
Utiliser une droite

Nb d’ouvertures d’emails

Panier moyen
Utiliser une droite

Si y=1 :
𝑤! . 𝑥! + … + 𝑤$ . 𝑥$ ≥ 0
Si y=0 :
Nb d’ouvertures d’emails
𝑤! . 𝑥! + … + 𝑤$ . 𝑥$ < 0

𝑦 = 𝑤! + 𝑤" . 𝑥" +𝑤# . 𝑥#

𝑦 = 𝑤! + 𝑤" . 𝑥" + 𝑤# . 𝑥# + ⋯ + 𝑤$ . 𝑥$

Panier moyen
Similitude avec la régression linéaire

● Nous voulons une ligne séparant nos deux classes.

● Pour cela, nous utiliserons donc l'équation de la régression linéaire :

𝑦! = 𝑤". 𝑥" + 𝑤#. 𝑥# + 𝑤$. 𝑥$ + … + 𝑤% . 𝑥%

● Pour la régression linéaire 𝑦! ∈ 𝑅

● Pour la régression logistique 0 ≤ 𝑦! ≤ 1
La fonction sigmoïde

!
𝑔 𝑧 =
!"# -.

0≤𝑔 𝑧 ≤1
Expression du modèle

● Cette fonction prend en entrée les variables et retourne une valeur

entre 0 et 1.

#
𝑦! = g( 𝑊 & 𝑋) = '
#'( %& (

● Plus 𝑦! est proche de 1, plus l’observation a de chance d’appartenir à

la classe 1.
● Plus 𝑦! est proche de 0, plus l’observation a de chance d’appartenir à
la classe 0.
Une fonction de coût de la régression linéaire
#
min 𝐽 𝑊 = ∑) (𝑦! (*) − 𝑦 * )$
$) *+#
# #
min 𝐽 𝑊 = ∑) ( − 𝑦 * )$
$) *+# ' (,)
#'( %) *

Non convexe
Convexe
 Fonction convexe pour la classification

− log 𝑦! 𝑠𝑖 𝑦 = 1
𝐶𝑜û𝑡(𝑦,
! 𝑦)=<
− log 1 − 𝑦! 𝑠𝑖 𝑦 = 0

Si y = 1 Si y = 0

𝐽 𝑊 𝐽 𝑊

𝑦1 𝑦1
Fonction de coût pour la régression logistique

− log 𝑦1 𝑠𝑖 𝑦 = 1
𝐶𝑜û𝑡(𝑦,
1 𝑦)=9
− log 1 − 𝑦1 𝑠𝑖 𝑦 = 0

𝐶𝑜û𝑡(𝑦,
1 𝑦 ) = −𝑦 log(𝑦)
1 − (1 − 𝑦) log(1 − 𝑦)
1

Si y = 1 𝐶𝑜û𝑡(𝑦,
1 𝑦 ) = −1 log(𝑦)
1
Si y = 0 𝐶𝑜û𝑡(𝑦,
1 𝑦 ) = −1 log(1 − 𝑦)
1

0
1
𝑚𝑖𝑛 𝐽 𝑊 = C −𝑦 (.) log(𝑦1 (.) ) − (1 − 𝑦 (.) ) log(1 − 𝑦1 (.) )
𝑚
./"
Le gradient descent

Répéter jusqu’à la convergence {

" (.)
𝑤1 ≔ 𝑤1 - 𝛼 ∑0 1 (.) − 𝑦
./" (𝑦
.
) . 𝑥1 (simultanément j = (0, …, n)
0