KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-22
Die Rolle von Lokalität und Weight Sharing in Convolutional Neural Networks
Originaltitel: The role of locality and weight sharing in convolutional neural networks
Forschende verglichen faltungsbasierte und lokal verbundene Schüler-Netzwerke in einem Teacher-Student-Modell, um die Einflüsse von Lokalität, Gewichtsteilung und räumlichen Korrelationen auf das Lernen zu trennen. Gewichtsteilung beschleunigte das Lernen bei unkorrelierten Eingabepositionen, während die Anpassung an die Kernelgröße des Lehrers den Bedarf an Beispielen reduzierte; räumliche Korrelationen konnten den Vorteil der Gewichtsteilung abschwächen. Bei auf den Trainingshorizont abgestimmten Lernraten schnitten lokal verbundene Schüler anfangs besser ab und faltungsbasierte Schüler später.