Programme dynamique approximatif

Avis des lecteurs

Résumé:

Ce livre constitue une introduction claire et lisible à l'apprentissage par renforcement et à la programmation dynamique, ce qui le rend adapté à l'auto-apprentissage. Il explique les concepts de manière efficace et propose de bons exemples. Cependant, certains lecteurs ont noté des problèmes avec la version Kindle et une préférence pour une notation différente des autres textes.

Avantages:

⬤ Explications claires et très lisibles
⬤ donne un bon aperçu de l'apprentissage par renforcement et de la programmation dynamique
⬤ inclut des exemples utiles et des conseils de mise en œuvre
⬤ bien adapté aux débutants.

Inconvénients:

Problèmes de formatage de la version Kindle ; la notation diffère des travaux de Bertsekas, ce qui peut dérouter certains lecteurs.

(basé sur 7 avis de lecteurs)

Titre original :

Approximate Dynamic Programmin

Contenu du livre :

Éloge de la première édition

"Enfin, un livre consacré à la programmation dynamique et écrit dans le langage de la recherche opérationnelle (RO). Ce beau livre comble une lacune dans les bibliothèques des spécialistes et des praticiens de la RO".

-- Computing Reviews

Cette nouvelle édition met l'accent sur la modélisation et le calcul pour des classes complexes de problèmes de programmation dynamique approximative.

La compréhension de la programmation dynamique approximative (PDA) est essentielle pour développer des solutions pratiques et de haute qualité à des problèmes industriels complexes, en particulier lorsque ces problèmes impliquent la prise de décisions en présence d'incertitude. La programmation dynamique approximative, deuxième édition, intègre de manière unique quatre disciplines distinctes - les processus décisionnels de Markov, la programmation mathématique, la simulation et les statistiques - pour démontrer comment aborder, modéliser et résoudre avec succès un large éventail de problèmes réels à l'aide de la programmation dynamique approximative.

Ce livre continue de combler le fossé entre l'informatique, la simulation et la recherche opérationnelle et adopte désormais la notation et le vocabulaire de l'apprentissage par renforcement ainsi que de la recherche stochastique et de l'optimisation par simulation. L'auteur présente les algorithmes essentiels qui servent de point de départ à la conception de solutions pratiques pour des problèmes réels. Les trois malédictions de la dimensionnalité qui ont un impact sur les problèmes complexes sont introduites et une couverture détaillée des défis de mise en œuvre est fournie. La deuxième édition comprend également :

⬤ Un nouveau chapitre décrivant quatre classes fondamentales de politiques pour travailler avec divers problèmes d'optimisation stochastique : les politiques myopes, les politiques d'anticipation, les approximations de la fonction de politique, et les politiques basées sur les approximations de la fonction de valeur.

⬤ Un nouveau chapitre sur la recherche de politiques qui rassemble les concepts de recherche stochastique et d'optimisation par simulation et introduit une nouvelle classe de stratégies d'apprentissage optimales.

⬤ Une couverture mise à jour du problème de l'exploration-exploitation en ADP, incluant maintenant une méthode récemment développée pour faire de l'apprentissage actif en présence d'un état physique, en utilisant le concept du gradient de connaissance.

⬤ Une nouvelle série de chapitres décrivant les méthodes statistiques pour l'approximation des fonctions de valeur, l'estimation de la valeur d'une politique fixe, et l'approximation de la fonction de valeur lors de la recherche de politiques optimales.

La couverture présentée de l'ADP met l'accent sur les modèles et les algorithmes, en se concentrant sur les applications connexes et le calcul, tout en discutant également de l'aspect théorique du sujet qui explore les preuves de convergence et le taux de convergence. Un site web connexe propose une discussion permanente sur les domaines en évolution de la programmation dynamique par approximation et de l'apprentissage par renforcement, ainsi que des lectures supplémentaires, des logiciels et des ensembles de données.

Ne nécessitant qu'une compréhension de base des statistiques et des probabilités, Approximate Dynamic Programming, Second Edition est un excellent ouvrage pour les cours de génie industriel et de recherche opérationnelle au niveau du deuxième cycle universitaire et des études supérieures. Il constitue également une référence précieuse pour les chercheurs et les professionnels qui utilisent la programmation dynamique, la programmation stochastique et la théorie du contrôle pour résoudre des problèmes dans leur travail quotidien.

Autres informations sur le livre :

• ISBN : 9780470604458
• Auteur : B. Powell Warren
• Éditeur : Wiley
• Reliure : Relié
• Année de publication : 2011
• Nombre de pages : 656