AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · Anthropic · 2026-09-28

Transformer Circuits के लिए एक गणितीय ढांचा

मूल शीर्षक: A mathematical framework for Transformer Circuits

शोधकर्ताओं ने यह अध्ययन करने के लिए कि इंडक्शन हेड कैसे बनते हैं, छोटे केवल-अटेंशन वाले ट्रांसफ़ॉर्मर का रिवर्स-इंजीनियरिंग किया। यह कार्य दर्शाता है कि वे हेड कम्पोज़िशन के माध्यम से बनते हैं।

मूल लेख पढ़ें ↗

सभी आइटम →