Comment implémenter l’algorithme de la Descente de

Gradient ?
Pour implémenter cet algorithme, c’est très simple ! il suffit d’écrire la ligne suivante et Magie le
paramètre convergera vers le minimum de . On fera la même chose pour le paramètre
!

En fait, ça n’a rien de magique. Je vais vous expliquer comment une simple ligne nous permet
d’obtenir la descente de gradient observée sur le graphique précédent.

Lorsque l’algorithme commence au tour , nous pouvons calculer la position en

appliquant la formule :

Dans le cas où se situe à gauche de notre minimum, la dérivée sera négative (car vous
voyez bien que vous êtes sur une pente descendante. étant toujours positif, le produit

est négatif, donc on a ce qui revient à

. Ainsi on a , ce qui a pour résultat se déplacer vers la droite.

A l’inverse, si se situe de l’autre côté de la vallée, alors la dérivée sera cette fois positive, et
par déduction vous trouverez que , ce qui a pour résultat que se déplace vers la
gauche du graphique.
Maintenant que vous connaissez la formule de la descente de gradient, il ne reste plus qu’à
l’utiliser pour minimiser les Fonctions Coûts de votre choix. Le calcul des dérivés partielles

et dépendra donc du problèmes sur lequel vous travaillez.

Dans la dernière partie de cet article, je vous propose donc de voir comment calculer les dérivées
partielles de l’erreur quadratique moyenne, ce qui vous permettra d’utiliser la descente de
gradient pour résoudre des problèmes de régression linéaire.