AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-20

টেস্ট-টাইম ট্রেনিংয়ের একটি ডিসিশন-থিওরেটিক দৃষ্টিভঙ্গি: কখন, কতদূর, এবং কোন দিকগুলিতে অ্যাডাপ্ট করা উচিত

মূল শিরোনাম: A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt

টেস্ট-টাইম ট্রেনিং (TTT) প্যারামিটার আপডেটের মাধ্যমে প্রতিটি প্রম্পটের সাথে একটি প্রি-ট্রেইনড মডেলকে অভিযোজিত করে এবং বিতরণ পরিবর্তনের অধীনে নির্ভুলতা উন্নত করে, তবে এর কার্যকারিতা প্রায়ই অস্থির এবং আপডেট ধাপ ও সাবস্পেসের মতো হাইপারপ্যারামিটারের প্রতি সংবেদনশীল। কার্নেল রেজিমে TTT-কে অন্তর্নিহিত বেইজিয়ান অনুমান হিসেবে বিবেচনা করে, লেখকরা একটি Gaussian process বেঞ্চমার্কে দেখান যে আপডেটগুলো প্রম্পটের signal-to-noise ratio-এর সাথে বর্ণালীগতভাবে মিলে গেলে এবং কোয়েরি-প্রাসঙ্গিক eigen-directions-এর সাথে সামঞ্জস্যপূর্ণ হলে TTT পূর্বাভাসের ত্রুটি হ্রাস করে। এই দৃষ্টিকোণ থেকে তারা চরিত্রায়িত করেন কখন নির্দিষ্ট আপডেট ধাপ ও সাবস্পেস ব্যর্থ হয়, প্রম্পট প্রমাণের মাধ্যমে আপডেট ধাপ নির্বাচনের জন্য একটি PAC-Bayes গ্যারান্টি প্রমাণ করেন, এবং Transformer ব্লক ও হেড নির্বাচনের জন্য একটি স্কোরিং নিয়ম প্রতিপাদন করেন।

মূল লেখা পড়ুন ↗

সব আইটেম →