AI और दुनिया की कठिन समस्याएँ · चिकित्सा और दवा खोज · arXiv · 2026-10-20

वही रास्ता, अलग चाल: 12-लीड ECG पर लूप्ड और स्टैक्ड ट्रांसफॉर्मर एनकोडर की एक यांत्रिकीय तुलना

मूल शीर्षक: Same path, different walk: a mechanistic comparison of looped and stacked transformer encoders on 12-lead ECG

पुनरावर्ती ट्रांसफॉर्मर जो अपने वेट्स का पुनः उपयोग करते हैं, पैरामीटर दक्षता के लिए तेजी से अपनाए जा रहे हैं, लेकिन लूप्ड और स्टैक्ड आर्किटेक्चर के बीच प्रतिनिधित्वात्मक और गतिशील अंतर अनिर्धारित बने हुए हैं। लेखक एक वेट-टाइड ब्लॉक को L बार लागू करने वाले bViT को, और समान प्रशिक्षण प्रोटोकॉल के तहत PTB-XL डेटासेट से 12-लीड ECG वर्गीकरण पर एक मानक ViT को प्रशिक्षित करते हैं, और पाते हैं कि 8.9x पैरामीटर कटौती के बावजूद bViT ViT के समान सटीकता प्राप्त करता है। दोनों एक समकक्ष कैनोनिकल क्रम में तुलनीय लेटेंट प्रतिनिधित्व का निर्माण करते हैं, लेकिन उनकी गतिशीलता भिन्न है: bViT डेटा मैनिफोल्ड से बाहर लगभग-तटस्थ व्यवहार के साथ छोटे स्टेप साइज़ और अंतर-रोगी संवेदनशीलता दिखाता है, जबकि ViT प्रतिनिधित्वों की विमाओं का पतन और आउट-ऑफ-डिस्ट्रीब्यूशन फीचर विस्तार प्रदर्शित करता है।

मूल लेख पढ़ें ↗

सभी आइटम →