卷积神经网络中局部性与权重共享的作用

原标题: The role of locality and weight sharing in convolutional neural networks

研究人员在师生模型中比较了卷积学生与局部连接学生，以分离局部性、权重共享和空间相关性对学习的影响。权重共享加速了不相关输入位置的学习，而匹配教师的核大小降低了样本需求；空间相关性可能削弱权重共享的优势。在针对训练跨度调整学习率的情况下，局部连接学生在早期表现更好，卷积学生在后期表现更好。