AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-26

টোকেন পারসেপট্রনের সাধারণীকরণ বৈশিষ্ট্য: এমবেডিং ও শব্দভান্ডারের ভূমিকা

মূল শিরোনাম: Generalization properties of the token perceptron: the role of embedding and vocabulary

বৃহৎ ভাষা মডেলে টোকেন পূর্বাভাস একটি শ্রেণিবিন্যাস সমস্যা, যার জ্যামিতি এমবেডিং দ্বারা নির্ধারিত হয়, তাই লেখকেরা টোকেন পারসেপট্রন নামে একটি ন্যূনতম রৈখিক মডেল অধ্যয়ন করেছেন। রেপ্লিকা পদ্ধতি ব্যবহার করে তাঁরা এর সাধারণীকরণ ত্রুটি নির্ণয় করেন এবং দেখেন যে অবিচ্ছিন্ন এমবেডিংয়ের ক্ষেত্রে d²/(d−1) সীমার ওপরে শিক্ষক মডেল সম্পূর্ণ সঠিকভাবে পুনরুদ্ধার হয়। শব্দভান্ডার এমবেডিংয়ের ক্ষেত্রে, শিক্ষক আইসোট্রপিক হলেও সর্বোত্তম শিক্ষার্থী প্রথমে সেই দিকগুলো আলাদা করে যেগুলোতে শব্দভান্ডার সবচেয়ে বেশি পরিবর্তিত হয়।

মূল লেখা পড়ুন ↗

সব আইটেম →