KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-21
AURA: Angular Update Rate Adaptation für das Training komplexwertiger neuronaler Netze
Originaltitel: AURA: Angular Update Rate Adaptation for training complex-valued neural networks
Komplexwertige neuronale Netze werden häufig mit Optimierern erster Ordnung trainiert, die aus dem reellwertigen Fall übernommen wurden und deren Schrittweitenregeln die in der komplexen Ebene verfügbare Winkelinformation ignorieren. AURA ist eine parameterweise Schrittweitenanpassung, die sich auf beliebige Optimierer erster Ordnung aufsetzen lässt: Sie misst bei jedem komplexen Parameter die Übereinstimmung aufeinanderfolgender Updates in Länge, Ausrichtung und Drehsinn und vergrößert die Schrittweite, wenn diese konsistent sind, und verkleinert sie, wenn nicht – ohne zusätzliche Gradientenauswertungen. In Kombination mit Adam und Muon und verglichen an vier Testfällen zunehmender Komplexität verbesserte sie in den meisten Fällen die Konvergenz des zugrunde liegenden Optimierers bei geringem Overhead pro Schritt, und die Bedingungen, unter denen sie versagt, wurden identifiziert.