Отчёты по ИИ · Amazon · 2026-10-19 · Блог / комментарии
Передача KV по принципу push для улучшения TTFT и TPOT при дезагрегированном инференсе в vLLM
Оригинальное название: Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
Дезагрегация prefill и decode в vLLM требует передачи KV-кэша между экземплярами движка, что влияет на время до первого токена. В этой статье представлен NIXL-коннектор на основе push, который выводит координацию передачи из критического пути. В тестах на инстансах Amazon EC2 P5en с AWS EFA он обеспечивает улучшение TTFT до 3 раз и TPOT на 30%.