La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-21
Un mecanismo de capa límite para el escalado a un tercio en clasificación softmax en línea
Título original: A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification
El estudio aísla un mecanismo por el cual el desajuste entre pérdidas sustitutas suaves como la entropía cruzada de softmax y las etiquetas discretas duras produce curvas de aprendizaje con leyes de potencia, usando un estudiante softmax de una sola capa entrenado mediante SGD en línea sobre entradas gaussianas con etiquetas de profesor por argmax. En tiempos tardíos solo permanecen activas capas cada vez más estrechas de ejemplos en torno a las fronteras de decisión del profesor, lo que arroja una ley α^{-1/3} en el tiempo de entrenamiento tanto para la pérdida de prueba como para el error de generalización. La ley del error es un efecto del ruido en línea, y el annealing de la tasa de aprendizaje mejora su exponente de 1/3 hacia 1/2 a la vez que ralentiza la pérdida, lo que persiste incluso sin ruido de gradiente.