Отчёты по ИИ · Amazon · 2026-10-19 · Блог / комментарии
Сокращение TTFT для многоходовых агентных нагрузок с помощью двунаправленной передачи KV в vLLM
Оригинальное название: Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
Многоходовые агентные нагрузки на каждом ходу заново обрабатывают растущий контекст диалога, что увеличивает задержку. В этой статье описана двунаправленная передача KV-кэша, позволяющая узлам prefill и decode повторно использовать ранее вычисленный контекст между ходами. На инстансах Amazon EC2 P5en с EFA она сокращает время до первого токена до 1,6 раза для Qwen3-32B и до 3,3 раза для GLM-5-FP8.