ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-26
Математическая теория линзы Якоби
Оригинальное название: A Mathematical Theory of the Jacobian Lens
Якобиан-линза (J-lens) — инструмент интерпретируемости от Anthropic — обнаружила в языковых моделях направления, похожие на рабочую память, но почему эти признаки удавалось обнаружить, было неясно. Авторы представляют математическую теорию, показывающую, что J-lens преимущественно выявляет когерентные признаки, чьи возмущения усиливаются по слоям и остаются согласованными для разных позиций токенов и контекстов. Они подтвердили это на байесовском фильтре и игрушечном трансформере, предсказывающем токены из скрытой марковской модели, где изменение параметров, влияющих на когерентность признаков, меняло отклик J-lens так, как было предсказано.