ИИ и сложнейшие проблемы мира · Теоретическая информатика · Anthropic · 2026-09-28
Математическая основа для Transformer Circuits
Оригинальное название: A mathematical framework for Transformer Circuits
Исследователи провели обратную разработку небольших трансформеров только с вниманием, чтобы изучить, как формируются индукционные головы. Работа показывает, что они формируются через композицию голов.