Отчёты по ИИ · Amazon · 2026-10-12 · Блог / комментарии
Запуск распределённых многоузловых задач инференса с помощью Ray LLM Deep Learning Containers
Оригинальное название: Run multi-node inference workloads using Ray LLM Deep Learning Containers
В этой статье показано, как развернуть одну большую языковую модель на двух GPU-узлах в Amazon EKS с помощью многоузловых контейнеров Ray LLM Deep Learning Containers. Предзаполнение (prefill) и декодирование (decode) выполняются на отдельных узлах за единой конечной точкой, совместимой с OpenAI. Готовый контейнер включает весь стек инференса, поэтому вам нужно настроить развёртывание, а не собирать его самостоятельно.