AI レポート · Amazon · 2026-10-20 · ブログ・論評
KVキャッシュを超えて:i14の線形アテンションモデルLaplace 3BをAWS Trainium2上でネイティブPyTorchにより学習・提供
原題: Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
i14が線形アテンションモデルLaplace 3BをAWS Trainium2上でネイティブPyTorch(TorchNeuron Native)により学習・提供した方法を解説する。同モデルの再帰状態はコンテキスト長に関係なく1シーケンスあたり29.5MBで一定にとどまり、トランスフォーマーで問題となるKVキャッシュの増大を回避できるため、提供時のメモリを予測可能に保てる。trn2.48xlargeインスタンス1台で約12万トークン/秒の学習性能を達成し、1,280の同時シーケンスで毎秒11,544トークンの出力を実現した。