AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · Anthropic · 2026-09-28

ट्रांसफ़ॉर्मर रेसिडुअल स्ट्रीम में विशेषाधिकार प्राप्त आधार (privileged bases)

मूल शीर्षक: Privileged bases in the transformer residual stream

यह अध्ययन जाँचता है कि Transformer रेसिडुअल स्ट्रीम के अलग-अलग निर्देशांक विशेषाधिकार प्राप्त आधार (privileged basis) जैसा व्यवहार क्यों दिखाते हैं, जबकि सिद्धांत के अनुसार उन्हें मनमाने होना चाहिए। लेखक अस्थायी रूप से इस प्रभाव का कारण Adam ऑप्टिमाइज़र में प्रति-आयाम नॉर्मलाइज़र को मानते हैं। लेयर नॉर्मलाइज़ेशन और सीमित-परिशुद्धता वाली फ़्लोटिंग-पॉइंट अंकगणित को स्रोत के रूप में खारिज कर दिया गया।

मूल लेख पढ़ें ↗

सभी आइटम →