AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · Anthropic · 2026-09-28
Kerangka matematis untuk Transformer Circuits
Judul asli: A mathematical framework for Transformer Circuits
Para peneliti melakukan rekayasa balik pada transformer kecil yang hanya menggunakan attention untuk mempelajari bagaimana induction head terbentuk. Penelitian ini menunjukkan bahwa induction head terbentuk melalui komposisi head.