AI 报告 · Amazon · 2026-10-22 · 博客 / 评论
别再猜测 Amazon SageMaker AI 上 TTS 的自动扩缩目标
原标题: Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
在 Amazon SageMaker AI 上部署自定义文本转语音模型的团队往往靠猜测来设定自动扩缩阈值，而猜错要么浪费 GPU 开销，要么违反延迟 SLO。本文使用 AWS CDK 堆栈将 Kokoro-82M 作为自定义容器部署到 SageMaker AI 实时终端节点，并根据两项针对实际端点的测量结果推导出基于实测的自动扩缩策略：Q_max，即单个实例在违反 SLO 之前能够维持的最高并发数；以及 T_total，即一次扩容端到端所需的时长。再通过这两个数字以算术方式推导出扩容阈值、缩容阈值以及两个冷却时间，其中每个数字都来自一次真实的部署和测量运行。