AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-21

LEAF: FPGA-তে LUT-সচেতন দক্ষ অ্যাটেনশন

মূল শিরোনাম: LEAF: LUT-aware Efficient Attention on FPGAs

CERN-এর মতো সাব-মাইক্রোসেকেন্ড রিয়েল-টাইম সিস্টেমের জন্য যথেষ্ট নির্ভুল, কমপ্যাক্ট এবং দ্রুত এমন FPGA-তে ট্রান্সফরমার মোতায়েন করা কঠিন, কারণ এই মডেলগুলোকে অভিব্যক্তিশীল করে তোলা অ্যাটেনশন মেকানিজম হার্ডওয়্যারে বাস্তবায়ন করা ব্যয়বহুল। LEAF LUT-aware ট্রেনিংয়ের মাধ্যমে কোয়েরি, কি এবং ভ্যালু প্রজেকশন এবং আউটপুট ফিড-ফরওয়ার্ড লেয়ারকে FPGA-নেটিভ লেয়ারে রূপান্তর করে এবং অ্যাটেনশন ব্লকের ধ্রুবক ম্যাট্রিক্স-ভেক্টর গুণনগুলো সারণিবদ্ধ করে। একটি প্রচলিত জেট ট্যাগিং বেঞ্চমার্কে এটি পূর্ববর্তী সাব-মাইক্রোসেকেন্ড স্টেট-অব-দ্য-আর্টের তুলনায় 2.9 গুণ কম LUT ব্যবহার করে নির্ভুলতা 1.8 পার্সেন্টেজ পয়েন্ট বাড়ায়, এবং এর সবচেয়ে দক্ষ লিনফর্মার 64টি ইনপুট কণা দিয়ে 28k LUT এবং 35ns-এ 80.4% শ্রেণিবিভাগ নির্ভুলতা অর্জন করে।

মূল লেখা পড়ুন ↗

সব আইটেম →