ИИ и сложнейшие проблемы мира · Теоретическая информатика · Anthropic · 2026-09-28
Обобщение LLM с помощью функций влияния
Оригинальное название: LLM generalization with influence functions
В этой работе функции влияния, которые оценивают, как обучающие примеры воздействуют на поведение модели, масштабируются до LLM с числом параметров до 52 миллиардов с помощью аппроксимации EK-FAC. Достигается точность, сопоставимая с традиционными оценщиками, при этом вычисление произведения обратного гессиана на вектор ускоряется на порядки. Авторы используют метод для изучения закономерностей обобщения и обнаруживают, что влияние падает почти до нуля, когда порядок ключевых фраз меняется на противоположный.