AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-21
蒙面 MDP 的告白
原標題: Confessions of a Masked MDP
在某些強化學習應用中，判定哪些狀態-動作對為無效——即動作遮罩——是主要的運算瓶頸，儘管動作集合通常被假定為已知。作者研究在線性 MDP 下將最佳策略的搜尋與學習遮罩本身相結合，其中每個被嘗試的動作都會揭露決定其有效性之線性分數的確切值。一種確定性的樂觀最佳化演算法被證明具有極小極大（minimax）最佳性且計算上有效率，但在非退化實例上並非最佳；另一種會規劃自身探索的替代方法——可解讀為資訊導向取樣在確定性回饋下的類比——同樣具有效率，並應用於無效動作集合隨時間變化的遷移學習。