Learning HJB Viscosity Solutions with PINNs for Continuous-Time Reinforcement Learning
Résumé
Despite recent advances in Reinforcement Learning (RL), the Markov Decision Processes are not always the best choice to model complex dynamical systems requiring interactions at high frequency. Being able to work with arbitrary time intervals, Continuous Time Reinforcement Learning (CTRL) is more suitable for those problems. Instead of the Bellman equation operating in discrete time, it is the Hamilton-Jacobi-Bellman (HJB) equation that describes value function evolution in CTRL. Even though the value function is a solution of the HJB equation, it may not be its unique solution. To distinguish the value function from other solutions, it is important to look for the viscosity solutions of the HJB equation. The viscosity solutions constitute a special class of solutions that possess uniqueness and stability properties. This paper proposes a novel approach to approximate the value function by training a physics informed neural network (PINN) through a specific ε-scheduling iterative process constraining the PINN to converge towards the viscosity solution and shows experimental results with classical control tasks, where PINNs outperform popular RL algorithms in a nearly continuous-time setting.
Malgré les progrès récents en matière d’apprentissage par renforcement (RL), les processus décisionnels de Markov ne constituent pas toujours le meilleur choix pour modéliser des
systèmes dynamiques complexes nécessitant des interactions à haute fréquence. Étant capable
de travailler avec des intervalles de temps arbitraires, l’apprentissage par renforcement en temps continu (CTRL) est plus adapté à ces problèmes. Au lieu de l’équation de Bellman fonctionnant en temps discret, c’est l’équation de Hamilton-Jacobi-Bellman (HJB) qui décrit l’évolution de la fonction valeur dans CTRL. Même si la fonction valeur est une solution de l’équation HJB, elle n’en est peut-être pas l’unique solution. Pour distinguer la fonction valeur des autres solutions, il est important de rechercher les solutions de viscosité de l’équation HJB. Les solutions de viscosité constituent une classe particulière de solutions possédant des propriétés uniques et de stabilité. Cet article propose une nouvelle approche pour approximer la fonction de valeur en entraînant un réseau neuronal informé par la physique (PINN) à travers un processus itératif de -scheduling contraignant le PINN à converger vers la solution de viscosité et montre des résultats expérimentaux avec tâches de contrôle classiques, dans lesquelles les PINN surpassent les algorithmes RL populaires dans un contexte de temps presque continu.
Origine : Fichiers produits par l'(les) auteur(s)
licence : CC BY - Paternité
licence : CC BY - Paternité
