L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-21
Gradient de politique en temps continu à partir de données discrètes : analyse de convergence et algorithmes sans modèle
Titre original: Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms
L'apprentissage par renforcement en temps continu recherche une politique optimale sous une dynamique inconnue régie par des équations différentielles stochastiques, en utilisant des observations recueillies à des instants discrets. Les auteurs développent un cadre de gradient de politique assorti d'une analyse de convergence rigoureuse, couvrant un lemme de différence de performance et des formules de gradient de politique pour les politiques randomisées et paramétrées, la convergence exponentielle d'un flux de politiques à entropie régularisée, et une borne de mise à jour discrète qui sépare explicitement l'erreur du critique, l'erreur de régression de la politique et le pas d'apprentissage. L'intégration du cadre avec PhiBE, qui construit un générateur de substitution en temps continu à partir de données de transitions discrètes, donne des algorithmes actor-critic sans modèle, on-policy et off-policy, dont la performance et la stabilité sont démontrées sur un régulateur linéaire quadratique à entropie régularisée et un robot à roues non linéaire.