AI رپورٹس · Amazon · 2026-10-20 · بلاگ / تبصرہ
KV کیش سے آگے: i14 کے Laplace 3B لینیئر اٹینشن ماڈل کی AWS Trainium2 پر native PyTorch کے ساتھ ٹریننگ اور سرونگ
اصل عنوان: Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
i14 نے Laplace 3B، ایک لینیئر اٹینشن ماڈل، کو AWS Trainium2 پر TorchNeuron Native کے ذریعے native PyTorch کا استعمال کرتے ہوئے ٹرین اور سرو کیا۔ ماڈل کی recurrent state فی سیکوئنس 29.5 MB پر ثابت رہتی ہے، خواہ کانٹیکسٹ کی لمبائی کتنی بھی ہو، جس سے ٹرانسفارمرز کے مسلسل بڑھتے ہوئے key-value کیش سے بچا جاتا ہے اور سرونگ میموری کو قابلِ پیش گوئی رکھا جاتا ہے۔ ایک trn2.48xlarge انسٹینس پر Laplace 3B نے تقریباً 120,000 ٹوکن فی سیکنڈ کی رفتار سے ٹریننگ کی اور 1,280 ہم وقت سیکوئنسز پر 11,544 آؤٹ پٹ ٹوکن فی سیکنڈ سرو کیے۔