Descente de Gradient – Gradient Descent

• Post Author:Guillaume Saint-Cirgue

• Post published:juillet 17, 2019
• Post Category:Machine Learning
• Post Comments:23 commentaires

La Descente de Gradient, (ou Gradient Descent en anglais) est un des algorithmes les plus
importants de tout le Machine Learning et de tout le Deep Learning. il s’agit d’un algorithme
d’optimisation extrêmement puissant qui permet d’entraîner les modèles de régression linéaire,
régression logistiques ou encore les réseaux de neurones. Si vous vous lancez dans le Machine
Learning, il est donc impératif de comprendre en profondeur l’algorithme de la descente de
gradient, et après avoir lu cet article, ça sera chose faite !

La Descente de Gradient, qu’est-ce-que c’est ?

La Descente de Gradient est un algorithme d’optimisation qui permet de trouver le minimum de
n’importe quelle fonction convexe en convergeant progressivement vers celui-ci.

Note : Une fonction convexe est une fonction dont l’allure ressemble à celle d’une belle vallée
avec au centre un minimum global. A l’inverse, une fonction non-convexe est une fonction qui
présente plusieurs minimums locaux et l’algorithme de descente de gradient ne doit pas être
utilisé sur ces fonctions, au risque de se bloquer au premier minima rencontré.