AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-21
源自离散数据的连续时间策略梯度：收敛分析与无模型算法
原标题: Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms
连续时间强化学习在由随机微分方程刻画的未知动力学下，利用离散时刻采集的观测数据寻找最优策略。作者提出了一个具有严格收敛分析的策略梯度框架，涵盖性能差分引理、随机化策略与参数化策略的策略梯度公式、熵正则化策略流的指数收敛性，以及一个显式区分评论家误差、策略回归误差与学习步长的离散更新界。将该框架与从离散转移数据构建连续时间代理生成器的 PhiBE 相结合，得到了无模型的在策略与离策略 actor-critic 算法，其性能与稳定性已在熵正则化线性二次调节器和一个非线性轮式机器人上得到验证。