AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · Anthropic · 2026-09-28
Misingi yenye upendeleo katika mkondo wa mabaki wa transformer
Kichwa asilia: Privileged bases in the transformer residual stream
Utafiti huu unachunguza kwa nini viwianishi mahususi katika mkondo wa mabaki wa Transformer vinaonyesha tabia ya msingi wenye upendeleo, ingawa nadharia inatabiri kuwa vinapaswa kuwa vya kiholela. Waandishi kwa muda wanahusisha athari hiyo na vinormalaiza vya kila kipimo katika kiboreshaji cha Adam. Layer normalization na hesabu za nuktaELEA zenye usahihi mdogo ziliondolewa kama vyanzo.