IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-21
Otimizadores inspirados na física além da borda da estabilidade: órbitas de período dois e instabilidade atrasada
Título original: Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability
Como as taxas de aprendizado no aprendizado profundo são grandes, o treinamento se comporta como um sistema dinâmico discreto no qual a nitidez normalmente sobe até o limite de estabilidade do otimizador, a borda de estabilidade (EoS). O estudo analisa mapas cinéticos, em que o passo é o gradiente de uma energia cinética do momento, mostrando que suas órbitas simétricas de período dois além da borda só são estáveis quando a elasticidade do mapa está entre 0 e 1, que a instabilidade é retardada como na teoria de Neishtadt de bifurcações varridas lentamente e que o amortecedor do VRAdam falha acima de duas vezes a taxa crítica de aprendizado, enquanto seu dual de Legendre passa em todas as taxas de aprendizado. Experimentos em um problema quadrático exato, um MLP em lote completo e o ResNet-32 apoiam a teoria, embora no ResNet-18 grande parte do benefício aparente seja reproduzido ao igualar a taxa de aprendizado efetiva.