AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-23
分布のずれがオンポリシー方策勾配法に与える影響の解析
原題: Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch
多くの最先端の方策勾配法は、割引問題において方策勾配定理が必要とする状態分布とは異なる分布を用いて更新方向を推定している。本研究はこの分布のずれが方策勾配法に与える影響を解析し、表形式の直接的およびソフトマックス方策パラメータ化において、偏りのある更新でも目的関数値が大域的に収束することを示した。さらに、このずれが漸近的な収束を速めるか遅らせるかを判定する明示的な基準を導き、より一般的な方策パラメータ化への境界の拡張も行った。