AI 報告 · Amazon · 2026-10-20 · 部落格／評論
超越 KV 快取：以原生 PyTorch 在 AWS Trainium2 上訓練與服務 i14 的 Laplace 3B 線性注意力模型
原標題: Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
i14 透過 TorchNeuron Native 使用原生 PyTorch，在 AWS Trainium2 上訓練並服務線性注意力模型 Laplace 3B。無論上下文長度為何，模型的遞迴狀態都固定在每個序列 29.5 MB，避免 Transformer 鍵值快取不斷增長的問題，並讓服務記憶體維持可預測。在單一 trn2.48xlarge 執行個體上，Laplace 3B 的訓練速度約為每秒 120,000 個 token，並在 1,280 個並行序列下提供每秒 11,544 個輸出 token。