AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-23
分布不匹配下的同策略策略梯度方法分析
原標題: Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch
許多最先進的策略梯度方法，是以一種取樣分布來估計更新方向，而這個分布與策略梯度定理所要求的折扣狀態分布不同。本研究分析這種分布不匹配如何影響這些方法，並證明在表格式直接參數化與 softmax 參數化下，目標值在有偏更新中仍具全域收斂性。研究也給出一項明確準則，用以判斷這種不匹配會加快或減慢漸近收斂，並將上界推廣到更一般的策略參數化。