AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-23

ট্রান্সফর্মার প্রশিক্ষণের জন্য একটি অপটিমাল কন্ট্রোল পদ্ধতি

মূল শিরোনাম: An Optimal Control Approach To Transformer Training

এই গবেষণায় ট্রান্সফরমার প্রশিক্ষণকে একটি অপটিমাল কন্ট্রোল সমস্যা হিসেবে দেখা হয়েছে, যা ইনপুট-নিরপেক্ষ সম্পাদন ও অবস্থানগত নির্ভরতাসহ কাঠামোগত সীমাবদ্ধতা মেনে চলে। লেখকেরা মডেলটিকে সম্ভাব্যতা পরিমাপের ওপর একটি সম্পূর্ণ পর্যবেক্ষণযোগ্য মার্কভ সিদ্ধান্ত প্রক্রিয়ায় উন্নীত করেছেন, বৈশ্বিকভাবে অপটিমাল নীতির অস্তিত্ব প্রমাণ করেছেন, এবং অবস্থা, পরিমাপ ও কর্মের স্থানকে কোয়ান্টাইজ করে এমন একটি ত্রিগুণ কোয়ান্টাইজড প্রশিক্ষণ পদ্ধতি প্রস্তাব করেছেন। তাঁরা দেখিয়েছেন যে কোয়ান্টাইজড মডেলের যেকোনো অপটিমাল নীতি মূল প্রশিক্ষণ সমস্যার জন্য প্রায়-অপটিমাল, যা মসৃণতা বা উত্তলতার প্রয়োজন ছাড়াই গ্র্যাডিয়েন্ট-ভিত্তিক প্রশিক্ষণের একটি তাত্ত্বিক বিকল্প দেয়।

মূল লেখা পড়ুন ↗

সব আইটেম →