KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-21
Geständnisse eines maskierten MDP
Originaltitel: Confessions of a Masked MDP
In einigen Anwendungen des Reinforcement Learning ist die Bestimmung, welche Zustands-Aktions-Paare ungültig sind — die Aktionsmaske — der Hauptengpass bei der Berechnung, obwohl die Aktionsmenge üblicherweise als bekannt vorausgesetzt wird. Die Autoren untersuchen die Kombination der Suche nach einer optimalen Policy mit dem Lernen der Maske selbst unter einem linearen MDP, bei dem jede versuchte Aktion den exakten Wert eines linearen Scores offenlegt, der ihre Gültigkeit bestimmt. Ein deterministischer Algorithmus für optimistische Optimierung erweist sich als minimax-optimal und rechnerisch effizient, auf nicht-degenerierten Instanzen jedoch als suboptimal, während eine Alternative, die ihre Exploration plant und als Analogon zum Information-Directed Sampling bei deterministischem Feedback interpretierbar ist, ebenfalls effizient ist, mit einer Anwendung auf Transferlernen, bei dem sich die Menge der ungültigen Aktionen mit der Zeit ändert.