La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-22
Un algoritmo de RL sin modelo en tiempo continuo a partir de datos off-policy en tiempo discreto, con garantías de extremo a extremo
Título original: A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees
El artículo considera el aprendizaje por refuerzo en tiempo continuo donde el estado sigue una ecuación diferencial estocástica desconocida pero solo está disponible un lote fijo de transiciones en tiempo discreto fuera de la política (off-policy). Partiendo de la formulación PhiBE-Q, desarrolla un marco de iteración de políticas PhiBE sin modelo (PhiBE-PI) que aprende un único crítico estado-acción directamente a partir de incrementos muestreados, mejorando la política mientras reutiliza el mismo lote durante todo el proceso y sin estimar explícitamente la deriva ni la difusión. Con aproximación lineal de funciones, los autores establecen una garantía local de suboptimalidad de extremo a extremo que cuantifica cómo se propagan los errores de discretización, aproximación y muestra finita, e identifican un compromiso entre sesgo y varianza por el cual una discretización temporal más fina no necesariamente mejora el rendimiento de la política.