AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-22
一种从离散时间离策略数据学习、具有端到端保证的无模型连续时间强化学习算法
原标题: A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees
本文考虑连续时间强化学习：状态服从未知的随机微分方程，但只有固定的一批离策略离散时间转移数据可用。本文在 PhiBE-Q 表述的基础上提出无模型的 PhiBE 策略迭代（PhiBE-PI）框架，直接从采样增量中学习单个状态-动作 critic，在不断复用同一批数据的同时改进策略，且无需显式估计漂移或扩散。在线性函数逼近下，作者建立了局部端到端次优性保证，量化了离散化、逼近与有限样本误差的传播方式，并揭示了一种偏差-方差权衡：更细的时间离散化未必能改进策略性能。