AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-21
非平稳性破坏多智能体强化学习中的置换替代数据：诊断与补救措施
原标题: Non-Stationarity Breaks Permutation Surrogates in Multi-Agent Reinforcement Learning: Diagnosis and Remedies
在两个多智能体强化学习游戏（一个社会困境游戏，以及一个所选智能体对之间的有向影响在构造上为零的协调竞赛游戏）中，作者在 100 个随机种子上针对真值检验了信息论度量的一种报告护栏。不排除非平稳的训练瞬态阶段时，假阳性率分别为 100.00% 和 99.95%；仅排除瞬态阶段后，协调竞赛游戏中的假阳性率仍达 11.8%。他们转而建议在训练时间的分块内对源进行置换，该方法得到 5.25% 和 5.50%，是所检验的零假设中唯一在两个游戏中都达到或低于检验规模的，且代码与数据均已公开。