ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-20
Динамическое батчирование: как циклическое обучение по классам формирует внутреннюю структуру нейронных сетей
Оригинальное название: Dynamical Batching: How Class-Cycling Training Shapes the Internal Structure of Neural Networks
Авторы представляют Dynamical Batching (DB), который периодически делает акцент на каждом классе в обучающих мини-батчах, сохраняя функцию потерь и оптимизатор неизменными, и сравнивают его с равномерным классовым батчингом. На трёхрукавной спирали MLP с ограниченной ёмкостью, выходящий на плато при равномерном батчинге, при DB подгоняется под обучающие данные. На CIFAR-10 DB немного улучшил точность на тесте для ResNet-10 с суженными каналами и второй свёрточной сети с ограниченной ёмкостью.