এআই রিপোর্ট · Amazon · 2026-10-22 · ব্লগ / মন্তব্য

Amazon SageMaker AI-তে TTS-এর জন্য অটো স্কেলিং টার্গেট অনুমান করা বন্ধ করুন

মূল শিরোনাম: Stop guessing auto scaling targets for TTS on Amazon SageMaker AI

Amazon SageMaker AI-তে কাস্টম টেক্সট-টু-স্পিচ মডেল ডিপ্লয় করা টিমগুলি প্রায়ই অটোস্কেলিং থ্রেশহোল্ড অনুমান করে, আর ভুল অনুমান হয় GPU খরচ নষ্ট করে, নয়তো একটি লেটেন্সি SLO লঙ্ঘন করে। পোস্টটি AWS CDK স্ট্যাক ব্যবহার করে একটি SageMaker AI রিয়েল-টাইম এন্ডপয়েন্টে কাস্টম কন্টেইনার হিসেবে Kokoro-82M ডিপ্লয় করে এবং দুটি লাইভ-এন্ডপয়েন্ট পরিমাপ থেকে একটি পরিমাপভিত্তিক অটোস্কেলিং পলিসি তৈরি করে: Q_max, অর্থাৎ SLO লঙ্ঘনের আগে একটি ইনস্ট্যান্স সর্বোচ্চ যে কনকারেন্সি ধরে রাখতে পারে, এবং T_total, অর্থাৎ শুরু থেকে শেষ পর্যন্ত একটি স্কেল-আউটে কত সময় লাগে। এই দুটি সংখ্যা থেকে এটি গাণিতিকভাবে স্কেল-আউট থ্রেশহোল্ড, স্কেল-ইন থ্রেশহোল্ড এবং উভয় কুলডাউন নির্ণয় করে, যেখানে প্রতিটি সংখ্যা এসেছে একটি প্রকৃত ডিপ্লয়মেন্ট ও পরিমাপ রান থেকে।

মূল লেখা পড়ুন ↗

সব এআই রিপোর্ট →