AI 報告 · Amazon · 2026-10-22 · 部落格／評論
別再猜測 Amazon SageMaker AI 上 TTS 的自動擴展目標
原標題: Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
在 Amazon SageMaker AI 上部署自訂文字轉語音模型的團隊，經常要猜測自動擴展門檻值，一旦猜錯，不是浪費 GPU 支出，就是違反延遲 SLO。這篇文章使用 AWS CDK 堆疊，將 Kokoro-82M 以自訂容器的形式部署至 SageMaker AI 即時端點，並從兩項實際端點量測結果推導出實測的自動擴展政策：Q_max，即單一執行個體在違反 SLO 之前所能維持的最高並行數；以及 T_total，即一次向外擴展端對端所需的時間。接著以算術方式從這兩個數字推導出向外擴展門檻、向內縮減門檻與兩個冷卻時間，且每個數字都來自實際的部署與量測執行。