Titre original :
Gradient Descent, Stochastic Optimization, and Other Tales
Contenu du livre :
L'objectif de ce livre est de démystifier et de dissiper la magie qui se cache derrière les optimiseurs de boîte noire et les optimiseurs stochastiques. Il vise à établir une base solide sur le comment et le pourquoi de ces techniques.
Ce manuscrit cristallise ces connaissances en dérivant, à partir d'intuitions simples, les mathématiques qui se cachent derrière les stratégies. Ce livre n'hésite pas à aborder les aspects formels et informels des méthodes de descente de gradient et d'optimisation stochastique. Ce faisant, il espère fournir aux lecteurs une compréhension plus profonde de ces techniques ainsi que du quand, du comment et du pourquoi de l'application de ces algorithmes.
La descente de gradient est l'un des algorithmes d'optimisation les plus populaires et, de loin, le moyen le plus courant d'optimiser les tâches d'apprentissage automatique. Sa version stochastique fait l'objet d'une attention particulière depuis quelques années, notamment pour l'optimisation des réseaux neuronaux profonds.
Dans les réseaux neuronaux profonds, le gradient suivi d'un seul échantillon ou d'un lot d'échantillons est utilisé pour économiser les ressources de calcul et échapper aux points de selle. En 1951, Robbins et Monro ont publié A stochastic approximation method, l'un des premiers traitements modernes sur l'optimisation stochastique qui estime les gradients locaux avec un nouveau lot d'échantillons.
Aujourd'hui, l'optimisation stochastique est devenue une technologie essentielle de l'apprentissage automatique, en grande partie grâce au développement de l'algorithme de rétropropagation dans l'ajustement d'un réseau neuronal. Le seul objectif de cet article est de donner une introduction complète aux concepts et aux outils mathématiques de la descente de gradient et de l'optimisation stochastique.
