AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-21
掩码 MDP 的自白
原标题: Confessions of a Masked MDP
在某些强化学习应用中，确定哪些状态-动作对无效——即动作掩码——是主要的计算瓶颈，尽管动作集通常被假定是已知的。作者研究了在线性MDP下将最优策略的搜索与掩码本身的学习相结合的问题，其中每次尝试的动作都会揭示决定其有效性的线性分数的精确值。一种确定性乐观优化算法被证明是极小极大最优且计算高效的，但在非退化实例上表现次优；而另一种规划自身探索的方法——可解释为信息导向采样在确定性反馈下的类似物——同样高效，并被应用于无效动作集随时间变化的迁移学习。