ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-21
LEAF: эффективное внимание с учетом LUT на ПЛИС
Оригинальное название: LEAF: LUT-aware Efficient Attention on FPGAs
Развернуть на ПЛИС (FPGA) трансформеры, достаточно точные, компактные и быстрые для субмикросекундных систем реального времени, таких как системы CERN, сложно, потому что механизм внимания, делающий эти модели выразительными, дорого реализовывать аппаратно. LEAF преобразует проекции query, key и value, а также выходной feed-forward-слой в слои, нативные для FPGA, посредством обучения с учётом LUT, табулируя постоянные матрично-векторные умножения блока внимания. На стандартном бенчмарке тегирования джетов метод повышает точность на 1.8 процентного пункта, используя в 2.9 раза меньше LUT, чем предыдущий лучший субмикросекундный метод, а его самый эффективный linformer достигает точности классификации 80.4% при 28k LUT и 35ns с 64 входными частицами.