KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-21
LEAF: LUT-bewusste, effiziente Attention auf FPGAs
Originaltitel: LEAF: LUT-aware Efficient Attention on FPGAs
Es ist schwierig, Transformer auf FPGAs so einzusetzen, dass sie genau, kompakt und schnell genug für Sub-Mikrosekunden-Echtzeitsysteme wie die am CERN sind, weil der Attention-Mechanismus, der diese Modelle ausdrucksstark macht, in Hardware nur mit hohem Aufwand zu implementieren ist. LEAF überführt die Query-, Key- und Value-Projektionen sowie die Feed-Forward-Ausgabeschicht durch LUT-bewusstes Training in FPGA-native Schichten, indem es die konstanten Matrix-Vektor-Multiplikationen des Attention-Blocks tabellarisch hinterlegt. Auf einem Standard-Benchmark für Jet-Tagging verbessert es die Genauigkeit um 1.8 Prozentpunkte und benötigt dabei 2.9-mal weniger LUTs als der bisherige Sub-Mikrosekunden-Stand der Technik; sein effizientester Linformer erreicht 80.4% Klassifikationsgenauigkeit bei 28k LUTs und 35ns mit 64 Eingabeteilchen.