এআই রিপোর্ট · Amazon · 2026-10-20 · ব্লগ / মন্তব্য

KV cache-এর বাইরে: i14-এর Laplace 3B linear attention মডেলকে AWS Trainium2-এ native PyTorch দিয়ে প্রশিক্ষণ ও সার্ভিং করা

মূল শিরোনাম: Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch

i14 TorchNeuron Native-এর মাধ্যমে native PyTorch ব্যবহার করে AWS Trainium2-এ Laplace 3B নামের একটি linear attention মডেল প্রশিক্ষণ ও সার্ভিং করেছে। context length যা-ই হোক, মডেলের recurrent state প্রতি সিকোয়েন্সে 29.5 MB-এ স্থির থাকে, যা ট্রান্সফরমারের ক্রমবর্ধমান key-value cache এড়িয়ে serving memory পূর্বানুমানযোগ্য রাখে। একটি trn2.48xlarge ইনস্ট্যান্সে Laplace 3B প্রতি সেকেন্ডে প্রায় 120,000 tokens গতিতে প্রশিক্ষিত হয়েছে এবং 1,280 সমান্তরাল সিকোয়েন্স জুড়ে প্রতি সেকেন্ডে 11,544 output tokens সার্ভ করেছে।

মূল লেখা পড়ুন ↗

সব এআই রিপোর্ট →