AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-21

LEAF: FPGA पर LUT-अवेयर इफिशिएंट अटेंशन

मूल शीर्षक: LEAF: LUT-aware Efficient Attention on FPGAs

CERN जैसी सब-माइक्रोसेकंड रियल-टाइम प्रणालियों के लिए सटीक, कॉम्पैक्ट और पर्याप्त रूप से तेज़ ट्रांसफ़ॉर्मर को FPGA पर तैनात करना कठिन है, क्योंकि इन मॉडलों को अभिव्यंजक बनाने वाली अटेंशन मैकेनिज़्म को हार्डवेयर में लागू करना महंगा है। LEAF, LUT-अवगत प्रशिक्षण के ज़रिए क्वेरी, की और वैल्यू प्रोजेक्शन तथा आउटपुट फीड-फ़ॉरवर्ड लेयर को FPGA-नेटिव लेयर में बदलता है और अटेंशन ब्लॉक के स्थिर मैट्रिक्स-वेक्टर गुणनों को सारणीबद्ध करता है। एक मानक जेट टैगिंग बेंचमार्क पर यह पिछले सब-माइक्रोसेकंड स्टेट-ऑफ़-द-आर्ट की तुलना में 2.9 गुना कम LUT के उपयोग के साथ सटीकता में 1.8 प्रतिशत अंक की वृद्धि करता है, और इसका सबसे कुशल लिनफ़ॉर्मर 64 इनपुट कणों के साथ 28k LUT और 35ns पर 80.4% वर्गीकरण सटीकता तक पहुँचता है।

मूल लेख पढ़ें ↗

सभी आइटम →