Informes de IA · Amazon · 2026-10-20 · Blog / comentario
Más allá de la caché KV: entrenamiento y servicio del modelo de atención lineal Laplace 3B de i14 en AWS Trainium2 con PyTorch nativo
Título original: Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
i14 entrenó y sirvió Laplace 3B, un modelo de atención lineal, en AWS Trainium2 usando PyTorch nativo a través de TorchNeuron Native. El estado recurrente del modelo permanece fijo en 29.5 MB por secuencia sin importar la longitud del contexto, lo que evita la caché de clave-valor creciente de los transformers y mantiene predecible la memoria de servicio. En una instancia trn2.48xlarge, Laplace 3B se entrenó a unos 120,000 tokens por segundo y sirvió 11,544 tokens de salida por segundo en 1,280 secuencias concurrentes.