AI 报告 · Amazon · 2026-10-20 · 博客 / 评论
超越 KV 缓存：使用原生 PyTorch 在 AWS Trainium2 上训练和部署 i14 的 Laplace 3B 线性注意力模型
原标题: Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
i14 通过 TorchNeuron Native 使用原生 PyTorch，在 AWS Trainium2 上训练并部署了线性注意力模型 Laplace 3B。无论上下文长度如何，该模型的循环状态都恒定保持在每条序列 29.5 MB，从而避免了 Transformer 不断增长的键值缓存，使部署内存保持可预测。在一台 trn2.48xlarge 实例上，Laplace 3B 的训练速度约为每秒 120,000 个 token，并在服务 1,280 个并发序列时达到每秒 11,544 个输出 token。