La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-22
El papel de la localidad y del uso compartido de pesos en las redes neuronales convolucionales
Título original: The role of locality and weight sharing in convolutional neural networks
Investigadores compararon estudiantes convolucionales y localmente conectados en un modelo maestro-estudiante para separar los efectos de la localidad, la compartición de pesos y las correlaciones espaciales sobre el aprendizaje. La compartición de pesos aceleró el aprendizaje en posiciones de entrada no correlacionadas, mientras que igualar el tamaño de kernel del maestro redujo los requisitos de muestras; las correlaciones espaciales podían debilitar la ventaja de la compartición de pesos. Con tasas de aprendizaje ajustadas al horizonte de entrenamiento, los estudiantes localmente conectados rindieron mejor al principio y los convolucionales rindieron mejor más adelante.