ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-21
Механизм пограничного слоя для масштабирования на одну треть в онлайн-классификации с softmax
Оригинальное название: A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification
В исследовании выделяется механизм, посредством которого рассогласование между гладкими суррогатными функциями потерь, такими как кросс-энтропия с softmax, и дискретными жёсткими метками порождает степенные кривые обучения; для этого используется однослойный softmax-ученик, обучаемый методом онлайн-SGD на гауссовских входных данных с argmax-метками учителя. На поздних временах активными остаются лишь сжимающиеся слои примеров вокруг решающих границ учителя, что даёт закон α^{-1/3} по времени обучения как для тестовой функции потерь, так и для ошибки обобщения. Закон для ошибки представляет собой эффект онлайн-шума, а отжиг скорости обучения улучшает его показатель с 1/3 в сторону 1/2, замедляя убывание потерь, что сохраняется даже без градиентного шума.