Algorithme du gradient

L'algorithme du gradient, ou de descente de gradient, est une méthode d'optimisation mathématique sans contrainte. Il s'agit d'un algorithme itératif du premier ordre permettant de minimiser une fonction multivariée différentiable. L'idée consiste à effectuer des étapes répétées dans la direction opposée au gradient (ou gradient approximatif) de la fonction au point actuel, car il s'agit de la direction de descente la plus raide. À l'inverse, se déplacer dans la direction du gradient conduira à une trajectoire qui maximise cette fonction ; la procédure est alors connue sous le nom d'ascension du gradient. Elle est particulièrement utile dans l'apprentissage automatique pour minimiser le coût ou la fonction de perte. Il permet donc de minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, R n {\displaystyle \mathbb {R} ^{n}} , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. On qualifie cet algorithme d’itératif parce qu’il procède par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction. Le déplacement le long de cette direction est déterminé par la technique numérique connue sous le nom de recherche linéaire. Cette description montre que l'algorithme fait partie de la famille des algorithmes à directions de descente. Les algorithmes d'optimisation sont généralement écrits pour minimiser une fonction. Si l'on désire maximiser une fonction, il suffira de minimiser son opposée. Il est important de garder à l'esprit le fait que le gradient, et donc la direction de déplacement, dépend du produit scalaire qui équipe l'espace hilbertien ; l'efficacité de l'algorithme dépend donc de ce produit scalaire. L'algorithme du gradient est également connu sous le nom d'algorithme de la plus forte pente ou de la plus profonde descente (steepest descent, en anglais) parce que...