AI 报告 · Amazon · 2026-10-12 · 博客 / 评论
使用 Ray LLM Deep Learning Containers 运行多节点推理工作负载
原标题: Run multi-node inference workloads using Ray LLM Deep Learning Containers
本文介绍如何使用多节点 Ray LLM Deep Learning Containers,在 Amazon EKS 上跨两个 GPU 节点部署一个大语言模型。预填充(prefill)和解码(decode)分别在不同节点上运行,并通过同一个兼容 OpenAI 的端点对外提供服务。预构建的容器包含完整的推理栈,因此您只需配置部署,而无需自行组装。