L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-21
LEAF : attention efficace prenant en compte les LUT sur FPGA
Titre original: LEAF: LUT-aware Efficient Attention on FPGAs
Déployer sur des FPGA des transformers à la fois précis, compacts et suffisamment rapides pour des systèmes temps réel sub-microseconde comme ceux du CERN est difficile, car le mécanisme d'attention qui rend ces modèles expressifs est coûteux à implémenter en matériel. LEAF convertit les projections de requête, de clé et de valeur ainsi que la couche feed-forward de sortie en couches natives FPGA grâce à un entraînement tenant compte des LUT, en tabulant les multiplications matrice-vecteur constantes du bloc d'attention. Sur un banc d'essai standard d'étiquetage de jets, il améliore la précision de 1.8 points de pourcentage tout en utilisant 2.9 fois moins de LUTs que le précédent état de l'art sub-microseconde, et son linformer le plus efficace atteint une précision de classification de 80.4% avec 28k LUTs et 35ns pour 64 particules d'entrée.