Optimisation distribuée et apprentissage statistique par la méthode des multiplicateurs à sens alternatif

Titre original :

Distributed Optimization and Statistical Learning Via the Alternating Direction Method of Multipliers

Contenu du livre :

De nombreux problèmes d'intérêt récent en statistique et en apprentissage automatique peuvent être posés dans le cadre de l'optimisation convexe.

En raison de l'explosion de la taille et de la complexité des ensembles de données modernes, il est de plus en plus important de pouvoir résoudre des problèmes avec un très grand nombre de caractéristiques ou d'exemples d'apprentissage. Par conséquent, la collecte ou le stockage décentralisé de ces ensembles de données ainsi que les méthodes de solutions distribuées qui les accompagnent sont soit nécessaires, soit hautement souhaitables.

Optimisation distribuée et apprentissage statistique via la méthode des multiplicateurs à direction alternée soutient que la méthode des multiplicateurs à direction alternée est bien adaptée à l'optimisation convexe distribuée, et en particulier aux problèmes à grande échelle qui se posent dans les statistiques, l'apprentissage automatique et les domaines connexes. La méthode a été développée dans les années 1970, avec des racines dans les années 1950, et est équivalente ou étroitement liée à de nombreux autres algorithmes, tels que la décomposition duale, la méthode des multiplicateurs, le fractionnement de Douglas-Rachford, la méthode des inverses partielles de Spingarn, les projections alternées de Dykstra, les algorithmes itératifs de Bregman pour ℓ. 1, les méthodes proximales, etc.

Après un bref aperçu de la théorie et de l'histoire de l'algorithme, il discute des applications à une grande variété de problèmes statistiques et d'apprentissage automatique d'intérêt récent, y compris le lasso, la régression logistique clairsemée, la poursuite de base, la sélection de covariance, les machines à vecteurs de support, et bien d'autres. Il traite également de l'optimisation distribuée générale, des extensions au cadre non convexe et de l'implémentation efficace, y compris certains détails sur les implémentations distribuées MPI et Hadoop MapReduce.

Autres informations sur le livre :

• ISBN : 9781601984609
• Auteur : Stephen Boyd
• Éditeur : New Publ Inc
• Langue : anglais
• Reliure : Broché