এআই রিপোর্ট · Amazon · 2026-10-19 · ব্লগ / মন্তব্য

vLLM-এ দ্বিমুখী KV ট্রান্সফারের মাধ্যমে মাল্টি-টার্ন এজেন্টিক ওয়ার্কলোডের জন্য TTFT উন্নত করা

মূল শিরোনাম: Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM

মাল্টি-টার্ন এজেন্টিক ওয়ার্কলোড প্রতিটি টার্নে ক্রমবর্ধমান কথোপকথনের প্রসঙ্গ নতুন করে প্রক্রিয়া করে, যা লেটেন্সি বাড়ায়। এই পোস্টে দ্বিমুখী KV ক্যাশ ট্রান্সফার বর্ণনা করা হয়েছে, যার মাধ্যমে প্রিফিল ও ডিকোড নোডগুলো আগের টার্নগুলোতে গণনা করা প্রসঙ্গ পুনরায় ব্যবহার করতে পারে। EFA সহ Amazon EC2 P5en ইনস্ট্যান্সে এটি Qwen3-32B-এর জন্য টাইম টু ফার্স্ট টোকেন সর্বোচ্চ 1.6x এবং GLM-5-FP8-এর জন্য সর্বোচ্চ 3.3x কমায়।

মূল লেখা পড়ুন ↗

সব এআই রিপোর্ট →