IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-26
Algoritmos de momento ortogonalizado sensíveis à agudez
Título original: Sharpness-aware Orthogonalized Momentum Algorithms
A minimização sensível à agudez melhora a generalização em aprendizado profundo, mas seu cálculo extra de gradiente é custoso para modelos de linguagem de grande porte, e sua combinação com o otimizador Muon foi pouco explorada. Os autores propõem o SOMA, que usa ruído de gradiente estocástico defasado para perturbações adversariais, combinando um esquema de perturbação eficiente com o Muon. Eles mostram teoricamente que a complexidade amostral do SOMA não depende da direção da perturbação e exploram seu uso contra a perda de qualidade da quantização pós-treinamento e o esquecimento catastrófico durante o ajuste fino de LLMs.