L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-23
Une approche de commande optimale pour l'entraînement des Transformers
Titre original: An Optimal Control Approach To Transformer Training
L'étude traite l'entraînement des Transformers comme un problème de contrôle optimal qui respecte des contraintes structurelles, notamment l'exécution indépendante de l'entrée et la dépendance positionnelle. Les auteurs élèvent le modèle à un processus de décision markovien entièrement observé sur des mesures de probabilité, démontrent l'existence de politiques globalement optimales, et proposent une procédure d'entraînement triplement quantifiée qui quantifie les espaces d'états, de mesures et d'actions. Ils montrent que toute politique optimale pour le modèle quantifié est quasi optimale pour le problème d'entraînement d'origine, offrant une alternative théorique à l'entraînement par gradient qui ne requiert ni régularité ni convexité.