AI और दुनिया की कठिन समस्याएँ · भौतिकी · arXiv · 2026-10-22

कुशल जेट टैगिंग के लिए फ़ाउंडेशन मॉडल को कितना डिस्टिल किया जा सकता है?

मूल शीर्षक: How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?

यह अध्ययन जाँचता है कि Large Hadron Collider पर जेट टैगिंग के लिए फाउंडेशन मॉडलों को छोटे नेटवर्कों में कहाँ तक डिस्टिल किया जा सकता है, जहाँ प्रयोग इन्फ़रेंस लागत पर कठोर सीमाएँ लगाते हैं। आर्किटेक्चर, सममिति और प्रीट्रेनिंग के आधार पर भिन्न छह टीचर मॉडलों—जिनमें दो फाउंडेशन मॉडल शामिल हैं—को पाँच छोटे स्टूडेंट मॉडलों में डिस्टिल किया गया, और हर टीचर ने हर स्टूडेंट को बेहतर बनाया, जिसमें सुधार मुख्यतः टीचर की मज़बूती पर निर्भर करता है। 20 हज़ार पैरामीटर वाला डिस्टिल किया गया L-GATr-slim, स्क्रैच से प्रशिक्षित प्रकाशित हर जेट टैगर से बेहतर प्रदर्शन करता है, वह भी टीचरों की इन्फ़रेंस लागत के एक अंश में; और दो हज़ार पैरामीटर के साथ यह ParT, एक हज़ार गुना अधिक पैरामीटर वाले मॉडल, के बराबरी कर लेता है।

मूल लेख पढ़ें ↗

सभी आइटम →