L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-21
PhiBE-Q-Learning : relier l'apprentissage par renforcement off-policy et la commande en temps continu
Titre original: PhiBE-Q-Learning: Bridging Off-Policy Reinforcement Learning and Continuous-Time Control
L'article développe une méthode off-policy pour l'apprentissage par renforcement en temps continu, où la dynamique du système suit une EDS inconnue et où seules des données de trajectoires en temps discret sont disponibles. Pour remédier à la perte du signal dépendant de l'action dans la fonction de valeur état-action en temps discret classique à la limite du temps continu, les auteurs introduisent une nouvelle définition de la fonction de valeur état-action Q(s,a), en dérivent l'équation gouvernante et proposent des algorithmes itératifs fondés sur l'approximation PhiBE, tant dans les cadres avec modèle que sans modèle. Sous approximation de fonction linéaire, ils établissent des bornes d'erreur et des vitesses de convergence explicites au niveau de la population, et évaluent numériquement l'algorithme à données finies.