AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-23
分布失配下同策略策略梯度方法的分析
原标题: Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch
许多最先进的策略梯度方法使用的采样分布，与策略梯度定理所要求的折扣状态分布不同，并以此估计更新方向。该研究分析了这种分布失配如何影响这些方法，并证明了在表格型直接参数化和softmax参数化下，目标值在有偏更新条件下仍能全局收敛。研究还给出了一个明确的判据，用于判断这种失配会加快还是减慢渐近收敛，并将相关界推广到更一般的策略参数化。