ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-26
Алгоритмы ортогонализованного импульса с учётом остроты минимума
Оригинальное название: Sharpness-aware Orthogonalized Momentum Algorithms
Минимизация с учётом остроты минимума улучшает обобщение в глубоком обучении, но её дополнительное вычисление градиента затратно для больших языковых моделей, а её сочетание с оптимизатором Muon почти не изучалось. Авторы предлагают SOMA, которая использует устаревший шум стохастического градиента для состязательных возмущений, чтобы сочетать эффективную схему возмущений с Muon. Они теоретически показывают, что выборочная сложность SOMA не зависит от направления возмущения, и исследуют её применение против потери качества при посттренировочной квантизации и катастрофического забывания при дообучении LLM.