KI-Berichte · Amazon · 2026-10-20 · Blog / Kommentar
Jenseits des KV-Caches: Training und Serving des linearen Attention-Modells Laplace 3B von i14 auf AWS Trainium2 mit nativem PyTorch
Originaltitel: Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
i14 trainierte und betrieb Laplace 3B, ein lineares Attention-Modell, auf AWS Trainium2 mit nativem PyTorch über TorchNeuron Native. Der rekurrente Zustand des Modells bleibt unabhängig von der Kontextlänge konstant bei 29,5 MB pro Sequenz, wodurch der wachsende Key-Value-Cache von Transformern vermieden und der Speicherbedarf beim Serving vorhersagbar gehalten wird. Auf einer trn2.48xlarge-Instanz trainierte Laplace 3B mit etwa 120.000 Token pro Sekunde und lieferte über 1.280 gleichzeitige Sequenzen hinweg 11.544 Ausgabe-Token pro Sekunde.