Отчёты по ИИ · Amazon · 2026-10-20 · Блог / комментарии
За пределами KV-кэша: обучение и инференс модели линейного внимания Laplace 3B от i14 на AWS Trainium2 с нативным PyTorch
Оригинальное название: Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
i14 обучил и обслуживал Laplace 3B — модель линейного внимания — на AWS Trainium2 с использованием нативного PyTorch через TorchNeuron Native. Рекуррентное состояние модели остаётся фиксированным на уровне 29,5 МБ на последовательность независимо от длины контекста, что позволяет избежать растущего key-value кэша трансформеров и сохраняет предсказуемость памяти при обслуживании. На одном экземпляре trn2.48xlarge Laplace 3B обучался со скоростью около 120 000 токенов в секунду и обслуживал 11 544 выходных токена в секунду на 1 280 параллельных последовательностях.