La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-21
PhiBE-Q-Learning: conectando el aprendizaje por refuerzo off-policy y el control en tiempo continuo
Título original: PhiBE-Q-Learning: Bridging Off-Policy Reinforcement Learning and Continuous-Time Control
El artículo desarrolla un método off-policy para el aprendizaje por refuerzo en tiempo continuo, donde la dinámica del sistema sigue una SDE desconocida y solo se dispone de datos de trayectorias en tiempo discreto. Para abordar la pérdida de señal dependiente de la acción en la función clásica de valor estado-acción en tiempo discreto en el límite de tiempo continuo, los autores introducen una nueva definición de la función de valor estado-acción Q(s,a), deducen la ecuación que la gobierna y proponen algoritmos iterativos basados en la aproximación PhiBE tanto en entornos basados en modelos como libres de modelo. Bajo aproximación de funciones lineales establecen cotas de error y tasas de convergencia explícitas a nivel de población, y evalúan numéricamente el algoritmo con datos finitos.