Ripoti za AI · Amazon · 2026-10-20 · Blogu / maoni
Zaidi ya kache ya KV: Kufundisha na kuhudumia modeli ya umakini wa mstari ya Laplace 3B ya i14 kwenye AWS Trainium2 kwa PyTorch asilia
Kichwa asilia: Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
i14 ilifundisha na kuhudumia Laplace 3B, modeli ya umakini wa mstari, kwenye AWS Trainium2 kwa kutumia PyTorch asilia kupitia TorchNeuron Native. Hali ya kurudia ya modeli hubaki imara kwa 29.5 MB kwa kila mfululizo bila kujali urefu wa muktadha, na hivyo kuepuka kache ya funguo-thamani inayokua ya transformers na kudumisha kumbukumbu ya uhudumiu inayoweza kutabiriwa. Kwenye instance moja ya trn2.48xlarge, Laplace 3B ilifundishwa kwa takriban tokeni 120,000 kwa sekunde na kuhudumia tokeni 11,544 za matokeo kwa sekunde katika mfululizo 1,280 unaofanya kazi kwa wakati mmoja.