AIが解く世界の難問 · 計算機科学の理論 · Anthropic · 2026-09-28
インフルエンス関数によるLLMの汎化の解析
原題: LLM generalization with influence functions
学習データのどの事例がモデルの振る舞いに寄与したかを調べるインフルエンス関数を、EK-FAC近似によって最大520億パラメータのLLMに適用できるように拡張したものである。従来の推定法と同程度の精度を保ちながら、逆ヘッセ行列とベクトルの積の計算を桁違いに高速化した。影響の疎性、規模に伴う抽象化、数学・プログラミング能力、言語横断的な汎化などを分析した一方で、重要なフレーズの語順を入れ替えると影響がほぼゼロまで減衰するという限界も確認された。