AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-21
來自離散資料的連續時間策略梯度：收斂分析與無模型演算法
原標題: Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms
連續時間強化學習旨在由隨機微分方程支配的未知動態下，利用離散時間點收集的觀測資料尋求最佳策略。作者們發展出一套具嚴謹收斂分析的策略梯度框架，涵蓋效能差異引理、隨機化與參數化策略的策略梯度公式、熵正則化策略流的指數收斂，以及明確區分批評者誤差、策略迴歸誤差與學習步長的離散更新界限。將該框架與 PhiBE 整合——PhiBE 能從離散轉移資料建構連續時間的代理生成算子——可得出無模型的 on-policy 與 off-policy actor-critic 演算法，其效能與穩定性已在一個熵正則化線性二次調節器與一個非線性輪式機器人上獲得驗證。