AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · Anthropic · 2026-09-28
Mfumo wa kihisabati wa Transformer Circuits
Kichwa asilia: A mathematical framework for Transformer Circuits
Watafiti walichambua kwa kurudi nyuma transfoma ndogo zenye umakini pekee ili kuchunguza jinsi induction heads zinavyoundwa. Kazi hiyo inaonyesha kwamba huundwa kupitia mchanganyiko wa vichwa vya umakini.