Rapports sur l'IA · Amazon · 2026-10-20 · Blog / commentaire
Au-delà du cache KV : entraînement et mise en production du modèle d'attention linéaire Laplace 3B d'i14 sur AWS Trainium2 avec PyTorch natif
Titre original: Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
i14 a entraîné et servi Laplace 3B, un modèle d'attention linéaire, sur AWS Trainium2 avec PyTorch natif via TorchNeuron Native. L'état récurrent du modèle reste fixé à 29.5 MB par séquence, quelle que soit la longueur du contexte, ce qui évite le cache clé-valeur croissant des transformers et maintient une mémoire de service prévisible. Sur une seule instance trn2.48xlarge, Laplace 3B a été entraîné à environ 120,000 tokens par seconde et a servi 11,544 tokens de sortie par seconde sur 1,280 séquences concurrentes.