Отчёты по ИИ · Amazon · 2026-10-22 · Блог / комментарии
Перестаньте угадывать целевые показатели автомасштабирования для TTS на Amazon SageMaker AI
Оригинальное название: Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
Команды, развертывающие собственные модели синтеза речи на Amazon SageMaker AI, часто угадывают пороги автомасштабирования, и неверная догадка либо приводит к лишним расходам на GPU, либо нарушает SLO по задержке. В посте Kokoro-82M развертывается как пользовательский контейнер на эндпоинте реального времени SageMaker AI с помощью стеков AWS CDK, а измеренная политика автомасштабирования выводится из двух измерений на работающем эндпоинте: Q_max — максимальная конкурентность, которую выдерживает один экземпляр до нарушения SLO, и T_total — сколько времени занимает масштабирование от начала до конца. Из этих двух чисел арифметически выводятся порог масштабирования вверх, порог масштабирования вниз и оба периода охлаждения, причём каждое число взято из реального развертывания и сеанса измерений.