AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-21
PhiBE-Q-Learning：架起离策略强化学习与连续时间控制之间的桥梁
原标题: PhiBE-Q-Learning: Bridging Off-Policy Reinforcement Learning and Continuous-Time Control
本文针对连续时间强化学习提出了一种异策略（off-policy）方法，其中系统动力学服从一个未知的 SDE，且仅有离散时间的轨迹数据可用。为解决经典离散时间状态-动作值函数在连续时间极限下依赖于动作的信号丢失问题，作者给出了状态-动作值函数 Q(s,a) 的新定义，推导了其支配方程，并在基于模型与无模型两种设定下提出了基于 PhiBE 近似的迭代算法。在线性函数逼近下，他们在总体层面建立了误差界与显式收敛速率，并对有限数据算法进行了数值评估。