L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-20
Batching dynamique : comment l'entraînement par cycles de classes façonne la structure interne des réseaux de neurones
Titre original: Dynamical Batching: How Class-Cycling Training Shapes the Internal Structure of Neural Networks
Les auteurs présentent le Dynamical Batching (DB), qui met périodiquement l'accent sur chaque classe dans les mini-lots d'entraînement tout en conservant la même fonction de perte et le même optimiseur, et le comparent à un échantillonnage uniforme des classes par lot. Sur une spirale à trois branches, un MLP à capacité limitée qui plafonne avec un échantillonnage uniforme parvient à ajuster les données d'entraînement avec le DB. Sur CIFAR-10, le DB a modestement amélioré la précision en test pour un ResNet-10 à canaux réduits et pour un second réseau convolutif à capacité limitée.