AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-19
廣延寬度神經網路的介觀學習動力學
原標題: Mesoscopic learning dynamics of extensive-width neural networks
本研究探討隨機梯度下降如何在寬度與輸入維度成比例增長的兩層神經網路中學習內部表徵。對特徵重疊分布採用高斯近似後，早期學習可簡化為少數幾個集體變數，用以追蹤目標函數的線性與二次成分。作者指出，學習這些成分會過濾梯度波動，並加速個別特徵的特化。
AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-19
原標題: Mesoscopic learning dynamics of extensive-width neural networks
本研究探討隨機梯度下降如何在寬度與輸入維度成比例增長的兩層神經網路中學習內部表徵。對特徵重疊分布採用高斯近似後，早期學習可簡化為少數幾個集體變數，用以追蹤目標函數的線性與二次成分。作者指出，學習這些成分會過濾梯度波動，並加速個別特徵的特化。