L'IA face aux grands problèmes du monde · Informatique théorique · Anthropic · 2026-09-28
Un cadre mathématique pour les Transformer Circuits
Titre original: A mathematical framework for Transformer Circuits
Les chercheurs ont procédé à la rétro-ingénierie de petits transformers à attention seule afin d'étudier la formation des induction heads. Les travaux montrent qu'elles se forment par composition de têtes.