AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-21
LEAF:FPGA 上感知 LUT 的高效注意力机制
原标题: LEAF: LUT-aware Efficient Attention on FPGAs
要在 FPGA 上部署足够精确、紧凑且快速、能满足 CERN 等亚微秒级实时系统要求的 transformer 十分困难，因为赋予这些模型表达能力的注意力机制在硬件中实现代价高昂。LEAF 通过 LUT 感知训练，将 query、key、value 投影和输出前馈层转换为 FPGA 原生层，并将注意力块的常数矩阵-向量乘法制成查找表。在标准的喷注标记（jet tagging）基准上，其准确率比此前亚微秒级最先进水平提高 1.8 个百分点，同时 LUT 用量减少 2.9 倍；其最高效的 linformer 在 64 个输入粒子下，以 28k LUT 和 35ns 达到 80.4% 的分类准确率。