KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-21
Nichtstationarität untergräbt Permutationssurrogate im Multi-Agent-Reinforcement-Learning: Diagnose und Abhilfe
Originaltitel: Non-Stationarity Breaks Permutation Surrogates in Multi-Agent Reinforcement Learning: Diagnosis and Remedies
In zwei Spielen des Multi-Agent-Reinforcement-Learning – einem sozialen Dilemma und einem Koordinationsrennen, bei dem die gerichtete Beeinflussung zwischen ausgewählten Agentenpaaren per Konstruktion null ist – testen die Autoren über 100 Seeds einen Reporting-Guardrail für informationstheoretische Maße gegen die Ground Truth. Lässt man den Ausschluss der nichtstationären Trainingstransiente weg, ergeben sich Falsch-Positiv-Raten von 100.00% und 99.95%, und wenn man ausschließlich die Transiente ausschließt, bleiben im Koordinationsspiel immer noch 11.8%. Stattdessen empfehlen die Autoren, die Quelle innerhalb von Blöcken der Trainingszeit zu permutieren; dies erreicht 5.25% und 5.50% und ist das einzige der getesteten Nullmodelle, das in beiden Spielen auf oder unter dem Niveau des Tests liegt, und Code und Daten werden veröffentlicht.