Relatórios de IA · Amazon · 2026-10-20 · Blog / comentário
Além do cache KV: Treinamento e serving do modelo de atenção linear Laplace 3B da i14 no AWS Trainium2 com PyTorch nativo
Título original: Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
A i14 treinou e serviu o Laplace 3B, um modelo de atenção linear, no AWS Trainium2 usando PyTorch nativo por meio do TorchNeuron Native. O estado recorrente do modelo permanece fixo em 29.5 MB por sequência, independentemente do comprimento do contexto, evitando o cache de chave-valor crescente dos transformers e mantendo a memória de serving previsível. Em uma instância trn2.48xlarge, o Laplace 3B treinou a cerca de 120,000 tokens por segundo e serviu 11,544 tokens de saída por segundo em 1,280 sequências concorrentes.