IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-26
Convergência do SGD com Passo Grande para a Perda de Entropia Cruzada via Estabilidade de Lyapunov Estocástica
Título original: Convergence of Large-Stepsize SGD for the Cross-entropy Loss via Stochastic Lyapunov Stability
O aprendizado profundo frequentemente usa taxas de aprendizado muito maiores do que a teoria clássica de otimização justifica, mas o cenário estocástico permanece em grande parte inexplorado. Os autores apresentam garantias de convergência precisas para o SGD na perda de entropia cruzada multiclasse para classificadores lineares e redes neurais de duas camadas, mostrando que a dinâmica pode alternar entre um regime de borda de estabilidade, dominado por oscilações causadas pela curvatura, e um regime estável em que a perda esperada diminui a uma taxa controlada. Eles provam que o SGD retorna à estabilidade em um número fixo de iterações, permitindo a convergência da melhor iteração mesmo com taxas de aprendizado grandes, e experimentos validam essas descobertas.