AI与世界难题 · 数学 · arXiv · 2026-10-19
ReLU神经网络对光滑函数的最优逼近
原标题: Optimal approximation of smooth functions by ReLU neural networks
本文研究用全连接ReLU网络对Hölder球进行一致逼近。除一维Lipschitz情形外,现有构造均未达到信息论效率极限。作者证明,宽度为O(N)、深度为O(L)、参数量级为O(1)的网络,对每个s>0和D≥1,均可达到(N^2 L^2 log N)^(-s/D)量级的误差;并且在相应截断网络类上的经验风险最小化器无需额外对数因子即可达到极小极大回归速率n^(-2s/(2s+D))。