AI 與世界的難題 · 數學 · arXiv · 2026-10-19
以 ReLU 神經網路對平滑函數進行最佳逼近
原標題: Optimal approximation of smooth functions by ReLU neural networks
本文研究以全連接 ReLU 網路對 Hölder 球進行一致逼近。除了一維 Lipschitz 的情形外，現有的建構方式皆未能達到資訊理論上的效率極限。作者證明，寬度為 O(N)、深度為 O(L)、參數大小為 O(1) 的網路，對於每個 s>0 且 D≥1，都能達到 (N^2 L^2 log N)^(-s/D) 量級的誤差；並證明在相應的截斷網路類別上的經驗風險最小化器，無需額外的對數因子即可達到極小化極大迴歸速率 n^(-2s/(2s+D))。