Rapports sur l'IA · Amazon · 2026-10-22 · Blog / commentaire
Arrêtez de deviner les cibles d'auto scaling pour le TTS sur Amazon SageMaker AI
Titre original: Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
Les équipes qui déploient des modèles de synthèse vocale personnalisés sur Amazon SageMaker AI devinent souvent les seuils d'autoscaling, et une mauvaise estimation se traduit soit par un gaspillage de dépenses GPU, soit par une violation d'un SLO de latence. L'article déploie Kokoro-82M en tant que conteneur personnalisé sur un point de terminaison temps réel SageMaker AI à l'aide de piles AWS CDK et dérive une politique d'autoscaling mesurée à partir de deux mesures effectuées sur un point de terminaison actif : Q_max, la concurrence maximale qu'une seule instance peut soutenir avant de dépasser le SLO, et T_total, le temps que prend un scale-out de bout en bout. À partir de ces deux nombres, il dérive par calcul arithmétique le seuil de scale-out, le seuil de scale-in et les deux périodes de refroidissement, chaque nombre provenant d'un déploiement et d'une exécution de mesure réels.