KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-20
Dynamisches Batching: Wie zyklisches Klassentraining die interne Struktur neuronaler Netze prägt
Originaltitel: Dynamical Batching: How Class-Cycling Training Shapes the Internal Structure of Neural Networks
Die Autoren führen Dynamical Batching (DB) ein, das in den Trainings-Mini-Batches periodisch jeweils eine Klasse hervorhebt, während Verlustfunktion und Optimierer unverändert bleiben, und vergleichen es mit dem gleichmäßigen Klassen-Batching. Bei einer dreiarmigen Spirale passt ein kapazitätsbeschränktes MLP, das beim gleichmäßigen Batching stagniert, die Trainingsdaten unter DB an. Auf CIFAR-10 verbesserte DB die Testgenauigkeit für ein kanalverengtes ResNet-10 und ein zweites kapazitätsbeschränktes Faltungsnetz geringfügig.