AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-20
动态批处理：类别循环训练如何塑造神经网络的内部结构
原标题: Dynamical Batching: How Class-Cycling Training Shapes the Internal Structure of Neural Networks
作者提出了动态批处理（DB），它在保持损失函数和优化器不变的情况下，周期性地在训练小批量中突出每个类别，并将其与均匀类别批处理进行比较。在三臂螺旋数据集上，在均匀批处理下陷入停滞的容量受限MLP，在DB下能够拟合训练数据。在CIFAR-10上，DB小幅提升了通道收窄的ResNet-10和另一个容量受限卷积网络的测试准确率。