AI 與世界的難題 · 理論資訊科學 · Anthropic · 2026-09-28
運用影響函數探討大型語言模型的泛化
原標題: LLM generalization with influence functions
這項研究運用 EK-FAC 近似方法，將用來估計訓練樣本如何影響模型行為的影響函數（influence functions）擴展至多達 520 億個參數的大型語言模型（LLM）。其準確度與傳統估計方法相近，同時讓逆海森矩陣向量積（inverse-Hessian-vector product）的計算速度提升了數個數量級。作者以此研究泛化模式，並發現當關鍵詞組的順序對調時，影響力會降至接近零。