KI-Berichte · Amazon · 2026-10-22 · Blog / Kommentar
Schluss mit dem Raten bei Auto-Scaling-Zielen für TTS auf Amazon SageMaker AI
Originaltitel: Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
Teams, die eigene Text-to-Speech-Modelle auf Amazon SageMaker AI bereitstellen, schätzen Auto-Scaling-Schwellenwerte oft, und eine falsche Schätzung verschwendet entweder GPU-Kosten oder verletzt eine Latenz-SLO. Der Beitrag stellt Kokoro-82M als benutzerdefinierten Container auf einem SageMaker-AI-Real-Time-Endpoint mithilfe von AWS-CDK-Stacks bereit und leitet eine gemessene Auto-Scaling-Richtlinie aus zwei Live-Endpoint-Messungen ab: Q_max, die höchste Parallelität, die eine Instanz aushält, bevor die SLO verletzt wird, und T_total, wie lange ein Scale-out von Anfang bis Ende dauert. Aus diesen beiden Zahlen werden der Scale-out-Schwellenwert, der Scale-in-Schwellenwert und beide Cooldown-Zeiten rechnerisch abgeleitet, wobei jede Zahl aus einer tatsächlichen Bereitstellung und einem tatsächlichen Messlauf stammt.