L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-22
Un algorithme RL en temps continu sans modèle, à partir de données off-policy en temps discret, avec des garanties de bout en bout
Titre original: A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees
L'article considère l'apprentissage par renforcement en temps continu, où l'état suit une équation différentielle stochastique inconnue mais où seul un lot off-policy fixe de transitions en temps discret est disponible. En s'appuyant sur la formulation PhiBE-Q, il développe un cadre sans modèle d'itération de politique PhiBE (PhiBE-PI) qui apprend un unique critique état-action directement à partir d'incréments échantillonnés, améliorant la politique tout en réutilisant le même lot d'un bout à l'autre et sans estimer explicitement la dérive ni la diffusion. Sous approximation linéaire de fonction, les auteurs établissent une garantie locale de sous-optimalité de bout en bout quantifiant la propagation des erreurs de discrétisation, d'approximation et d'échantillonnage fini, et identifient un compromis biais-variance selon lequel une discrétisation temporelle plus fine n'améliore pas nécessairement la performance de la politique.