L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-26
Algorithmes de moment orthogonalisés tenant compte de la netteté
Titre original: Sharpness-aware Orthogonalized Momentum Algorithms
La minimisation tenant compte de la netteté améliore la généralisation en apprentissage profond, mais son calcul de gradient supplémentaire est coûteux pour les grands modèles de langage, et sa combinaison avec l'optimiseur Muon a peu été explorée. Les auteurs proposent SOMA, qui utilise un bruit de gradient stochastique obsolète pour les perturbations adverses afin d'associer un schéma de perturbation efficace à Muon. Ils montrent théoriquement que la complexité d'échantillonnage de SOMA ne dépend pas de la direction de perturbation, et ils étudient son usage contre la perte de qualité due à la quantification post-entraînement et contre l'oubli catastrophique lors du fine-tuning des LLM.