AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-21
LEAF: Umakini Wenye Ufanisi Unaozingatia LUT kwenye FPGAs
Kichwa asilia: LEAF: LUT-aware Efficient Attention on FPGAs
Kuweka transformers kwenye FPGAs zenye usahihi, ukubwa mdogo na kasi ya kutosha kwa mifumo ya real-time ya chini ya mikrosekunde kama zile za CERN ni jambo gumu, kwa sababu utaratibu wa attention unaoifanya mifano hii kuwa yenye uwezo mkubwa ni ghali kutekeleza kwenye hardware. LEAF hubadilisha projections za query, key na value pamoja na tabaka la output feed-forward kuwa tabaka za asili za FPGA kupitia LUT-aware training, kwa kutengeneza majedwali ya kuzidisha ya matrix-vector ya kudumu ndani ya block ya attention. Kwenye benchmark ya kawaida ya jet tagging, inaboresha usahihi kwa pointi 1.8 za asilimia huku ikitumia LUTs mara 2.9 chache kuliko state of the art iliyotangulia ya sub-microsecond, na linformer yake yenye ufanisi zaidi hufikia usahihi wa uainishaji wa 80.4% kwa LUTs 28k na 35ns kwa vyubwi 64 vya input.