KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-22
Reinforcement Learning mit minimalen Zeugen
Originaltitel: Minimal Witness Reinforcement Learning
Die Arbeit greift die wiederkehrende Frage auf, welche irreduziblen Bedingungen ausreichen, um ein Ergebnis hervorzubringen, und formalisiert die Suche nach mehreren minimalen hinreichenden Bedingungen („Witnesses“)—auf die das Standard-RL meist mit einer einzigen oder redundanten Lösung antwortet—als Identifikation minimaler Witnesses. Minimal-Witness Reinforcement Learning (MWRL) bildet die Vereinigung der Mengen, die durch erfolgreiche Policy-Vorschläge zertifiziert werden, und schreibt jedem Vorschlag die Abdeckung gut, die die Vereinigung ohne ihn verlieren würde; damit vereinheitlicht es Minimalität und die Wiederherstellung von Alternativen aus einem einzigen Black-Box-Verifizierer-Bit. Im Rahmen dieses Prinzips leiten die Autoren einen Value-Iteration-Planer her, der ganze Familien von Witnesses rekonstruiert, sowie eine Policy-Gradient-Methode, die auf große Sprachmodelle skaliert; dabei findet MWRL die meisten minimalen Witnesses, während andere Methoden redundante Obermengen oder nur einen einzigen Witness zurückgeben.