AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-21
LEAF:FPGA 上具 LUT 感知的高效率注意力
原標題: LEAF: LUT-aware Efficient Attention on FPGAs
要在 FPGA 上部署準確、精簡且快速到足以應付 CERN 這類次微秒即時系統的 transformers 十分困難，因為賦予這些模型表達能力的注意力機制在硬體中實作成本高昂。LEAF 透過 LUT 感知訓練，將查詢、鍵與值投影以及輸出前饋層轉換為 FPGA 原生層，並將注意力區塊的常數矩陣-向量乘法製成查找表。在標準噴流標記基準上，它將準確度提升 1.8 個百分點，LUT 用量卻比先前次微秒最先進方法少 2.9 倍；其效率最高的 linformer 在 28k LUT 與 35ns、64 個輸入粒子的條件下達到 80.4% 的分類準確度。