AI与世界难题 · 理论计算机科学 · Anthropic · 2026-09-28
利用影响函数研究大语言模型的泛化
原标题: LLM generalization with influence functions
这项工作利用 EK-FAC 近似，将用于估计训练样本如何影响模型行为的影响函数（influence functions）扩展到了参数量高达 520 亿的大语言模型。它在达到与传统估计方法相近的精度的同时，使逆海森矩阵与向量乘积的计算速度提升了几个数量级。作者借助该方法研究泛化模式，发现当关键短语的顺序被颠倒时，影响会降至接近于零。