La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-26
Algoritmos de momento ortogonalizado sensibles a la nitidez
Título original: Sharpness-aware Orthogonalized Momentum Algorithms
La minimización sensible a la nitidez mejora la generalización en el aprendizaje profundo, pero su cálculo adicional del gradiente es costoso para los grandes modelos de lenguaje, y su combinación con el optimizador Muon apenas se ha explorado. Los autores proponen SOMA, que utiliza ruido de gradiente estocástico obsoleto para las perturbaciones adversarias con el fin de combinar un esquema de perturbación eficiente con Muon. Demuestran teóricamente que la complejidad muestral de SOMA no depende de la dirección de la perturbación, y exploran su uso frente a la pérdida de calidad por la cuantización posterior al entrenamiento y el olvido catastrófico durante el ajuste fino de LLM.