AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-21

LEAF: FPGAs پر LUT سے آگاہ موثر اٹینشن

اصل عنوان: LEAF: LUT-aware Efficient Attention on FPGAs

CERN جیسے سب-مائیکرو سیکنڈ ریئل ٹائم نظاموں کے لیے کافی حد تک درست، کمپیکٹ اور تیز FPGAs پر ٹرانسفارمرز کو تعینات کرنا مشکل ہے، کیونکہ وہ اٹینشن میکانزم جو ان ماڈلز کو اظہاری صلاحیت دیتا ہے، ہارڈ ویئر میں نافذ کرنا مہنگا ہے۔ LEAF LUT-aware ٹریننگ کے ذریعے کیوری، کی اور ویلیو پروجیکشنز اور آؤٹ پٹ فیڈ فارورڈ لیئر کو FPGA مقامی لیئرز میں تبدیل کرتا ہے، اور اٹینشن بلاک کے مستقل میٹرکس-ویکٹر ضربوں کو جدول بند کرتا ہے۔ ایک معیاری جیٹ ٹیگنگ بینچ مارک پر یہ درستگی میں 1.8 فیصد پوائنٹ اضافہ کرتا ہے جبکہ پچھلے سب-مائیکرو سیکنڈ اسٹیٹ آف دی آرٹ سے 2.9 گنا کم LUTs استعمال کرتا ہے، اور اس کا سب سے زیادہ کارآمد linformer 28k LUTs اور 35ns پر 64 ان پٹ ذرات کے ساتھ 80.4% درجہ بندی کی درستگی تک پہنچتا ہے۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →