AI रिपोर्ट्स · Amazon · 2026-10-20 · ब्लॉग / टिप्पणी
KV कैश से परे: i14 के Laplace 3B लीनियर अटेंशन मॉडल की AWS Trainium2 पर नेटिव PyTorch के साथ ट्रेनिंग और सर्विंग
मूल शीर्षक: Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
i14 ने Laplace 3B, एक लीनियर अटेंशन मॉडल, को TorchNeuron Native के ज़रिए नेटिव PyTorch का उपयोग करके AWS Trainium2 पर ट्रेन और सर्व किया। चाहे कॉन्टेक्स्ट लंबाई कुछ भी हो, मॉडल की रिकरंट स्टेट प्रति सीक्वेंस 29.5 MB पर स्थिर रहती है, जिससे ट्रांसफॉर्मर के बढ़ते की-वैल्यू कैश से बचा जाता है और सर्विंग मेमोरी पूर्वानुमेय बनी रहती है। एक trn2.48xlarge इंस्टेंस पर, Laplace 3B ने लगभग 120,000 टोकन प्रति सेकंड की रफ़्तार से ट्रेनिंग की और 1,280 समवर्ती सीक्वेंस पर 11,544 आउटपुट टोकन प्रति सेकंड सर्व किए।