Laporan AI · Amazon · 2026-10-20 · Blog / komentar
Melampaui KV cache: Melatih dan menyajikan model linear attention Laplace 3B milik i14 di AWS Trainium2 dengan native PyTorch
Judul asli: Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
i14 melatih dan menyajikan Laplace 3B, sebuah model linear attention, di AWS Trainium2 menggunakan native PyTorch melalui TorchNeuron Native. State rekuren model tetap berukuran 29.5 MB per sekuens berapa pun panjang konteksnya, sehingga menghindari key-value cache transformer yang terus bertambah dan menjaga memori serving tetap terprediksi. Pada satu instance trn2.48xlarge, Laplace 3B dilatih dengan kecepatan sekitar 120,000 token per detik dan melayani 11,544 token output per detik di 1,280 sekuens bersamaan.