KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-23
Ein Optimalsteuerungsansatz für das Training von Transformern
Originaltitel: An Optimal Control Approach To Transformer Training
Die Studie behandelt das Training von Transformern als Optimalsteuerungsproblem, das strukturelle Randbedingungen berücksichtigt, darunter eingabeunabhängige Ausführung und Positionsabhängigkeit. Die Autoren heben das Modell auf einen vollständig beobachteten Markov-Entscheidungsprozess über Wahrscheinlichkeitsmaßen an, beweisen, dass global optimale Strategien existieren, und schlagen ein dreifach quantisiertes Trainingsverfahren vor, das den Zustands-, den Maß- und den Aktionsraum quantisiert. Sie zeigen, dass jede optimale Strategie für das quantisierte Modell für das ursprüngliche Trainingsproblem nahezu optimal ist, und bieten damit eine theoretische Alternative zum gradientenbasierten Training, die weder Glattheit noch Konvexität voraussetzt.