IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-21
Um mecanismo de camada limite para o escalonamento de um terço na classificação softmax online
Título original: A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification
O estudo isola um mecanismo pelo qual a incompatibilidade entre perdas substitutas suaves, como a entropia cruzada softmax, e rótulos discretos hard produz curvas de aprendizado em lei de potência, usando um aluno softmax de uma camada treinado por SGD online sobre entradas gaussianas com rótulos de professor por argmax. Em tempos tardios, apenas camadas de exemplos que encolhem ao redor das fronteiras de decisão do professor permanecem ativas, produzindo uma lei α^{-1/3} no tempo de treinamento tanto para a perda de teste quanto para o erro de generalização. A lei do erro é um efeito de ruído online, e o annealing da taxa de aprendizado melhora seu expoente de 1/3 em direção a 1/2, ao mesmo tempo em que torna a perda mais lenta, o que persiste mesmo sem ruído de gradiente.