ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-22
Роль локальности и разделения весов в свёрточных нейронных сетях
Оригинальное название: The role of locality and weight sharing in convolutional neural networks
Исследователи сравнили свёрточных и локально связанных «учеников» в модели «учитель–ученик», чтобы разделить влияние локальности, совместного использования весов и пространственных корреляций на обучение. Совместное использование весов ускоряло обучение для некоррелированных позиций входа, а согласование размера ядра с учителем снижало требования к объёму выборки; пространственные корреляции могли ослаблять преимущество совместного использования весов. При скоростях обучения, настроенных на горизонт обучения, локально связанные «ученики» показывали лучшие результаты на раннем этапе, а свёрточные — на позднем.