AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-21
LEAF: Efficient Attention yang Memperhitungkan LUT pada FPGA
Judul asli: LEAF: LUT-aware Efficient Attention on FPGAs
Menerapkan transformer pada FPGA yang akurat, ringkas, dan cukup cepat untuk sistem waktu-nyata sub-mikrodetik seperti yang digunakan di CERN merupakan hal yang sulit, karena mekanisme attention yang membuat model-model ini ekspresif mahal untuk diimplementasikan dalam perangkat keras. LEAF mengonversi proyeksi query, key, dan value serta lapisan feed-forward output menjadi lapisan native FPGA melalui LUT-aware training, dengan menabulasikan perkalian matriks-vektor konstan pada blok attention. Pada benchmark jet tagging standar, model ini meningkatkan akurasi sebesar 1.8 poin persentase sekaligus menggunakan 2.9 kali lebih sedikit LUT dibandingkan state of the art sub-mikrodetik sebelumnya, dan linformer paling efisien mencapai akurasi klasifikasi 80.4% pada 28k LUT dan 35ns dengan 64 partikel input.