AI رپورٹس · Amazon · 2026-10-22 · بلاگ / تبصرہ
Amazon SageMaker AI پر TTS کے لیے آٹو سکیلنگ ٹارگٹس کا اندازہ لگانا بند کریں
اصل عنوان: Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
Amazon SageMaker AI پر کسٹم ٹیکسٹ-ٹو-اسپیچ ماڈلز ڈیپلائے کرنے والی ٹیمیں اکثر آٹو سکیلنگ تھریشھولڈز کا اندازہ لگاتی ہیں، اور غلط اندازہ یا تو GPU اخراجات ضائع کرتا ہے یا لیٹنسی SLO کی خلاف ورزی کرتا ہے۔ یہ پوسٹ AWS CDK اسٹیکس کے ذریعے Kokoro-82M کو SageMaker AI کے ریئل ٹائم اینڈپوائنٹ پر کسٹم کنٹینر کے طور پر ڈیپلائے کرتی ہے اور دو لائیو اینڈپوائنٹ پیمائشوں سے ایک ناپی ٹھیکی آٹو سکیلنگ پالیسی اخذ کرتی ہے: Q_max، یعنی زیادہ سے زیادہ ہم وقتیت جو ایک انسٹینس SLO کی خلاف ورزی کرنے سے پہلے برداشت کر سکتا ہے، اور T_total، یعنی اسکیل-آؤٹ کو شروع سے آخر تک ہونے میں کتنا وقت لگتا ہے۔ انہی دو نمبروں سے یہ اسکیل-آؤٹ تھریشھولڈ، اسکیل-ان تھریشھولڈ اور دونوں کوول ڈاؤنز حساب کے ذریعے اخذ کرتی ہے، اور ہر نمبر ایک حقیقی ڈیپلائمنٹ اور پیمائشی رن سے حاصل ہوا ہے۔