تقارير الذكاء الاصطناعي · Amazon · 2026-10-20 · مدونة / تعليق

ما وراء التخزين المؤقت لـ KV: تدريب نموذج الانتباه الخطي Laplace 3B من i14 وتقديمه على AWS Trainium2 باستخدام PyTorch الأصلي

العنوان الأصلي: Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch

قامت i14 بتدريب Laplace 3B، وهو نموذج انتباه خطي، وتقديمه للخدمة على AWS Trainium2 باستخدام PyTorch الأصلي عبر TorchNeuron Native. تبقى الحالة المتكررة للنموذج ثابتة عند 29.5 MB لكل تسلسل بغض النظر عن طول السياق، متجنبةً الذاكرة المؤقتة المتنامية للمفاتيح والقيم في المحولات ومحافظةً على قابلية توقع ذاكرة التقديم. على مثيل trn2.48xlarge واحد، تم تدريب Laplace 3B بمعدل نحو 120,000 رمز في الثانية وتقديم 11,544 رمز مخرجات في الثانية عبر 1,280 تسلسلاً متزامنًا.

اقرأ المصدر الأصلي ↗

جميع تقارير الذكاء الاصطناعي →