La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-21
Gradiente de políticas en tiempo continuo a partir de datos discretos: análisis de convergencia y algoritmos libres de modelo
Título original: Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms
El aprendizaje por refuerzo en tiempo continuo busca una política óptima bajo dinámicas desconocidas regidas por ecuaciones diferenciales estocásticas, utilizando observaciones recogidas en instantes discretos. Los autores desarrollan un marco de gradiente de políticas con un análisis riguroso de convergencia, que abarca un lema de diferencia de rendimiento y fórmulas de gradiente de políticas para políticas aleatorizadas y parametrizadas, la convergencia exponencial de un flujo de políticas regularizado por entropía y una cota para la actualización discreta que separa explícitamente el error del crítico, el error de regresión de la política y el tamaño del paso de aprendizaje. La integración del marco con PhiBE, que construye un generador sustituto en tiempo continuo a partir de datos de transición discretos, produce algoritmos actor-crítico on-policy y off-policy libres de modelo cuyo rendimiento y estabilidad se demuestran en un regulador lineal cuadrático regularizado por entropía y un robot con ruedas no lineal.