AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-26

রুটেড ট্রি-র গাণিতিক অনুক্রমে ট্রান্সফরমারের শেখার সক্ষমতা পরীক্ষা

মূল শিরোনাম: Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees

এই গবেষণা প্রশ্ন তোলে, ট্রান্সফরমার কি স্বাভাবিক সংখ্যাগুলোর পুনরাবৃত্ত মৌলিক উৎপাদকে বিশ্লেষণ থেকে তৈরি রুটেড ট্রি-র নির্ধারিত অনুক্রম শিখতে পারে। প্রথম 10^11টি উপাদানের ওপর শুরু থেকে প্রশিক্ষিত একটি GPT-2 ধাঁচের মডেল পরবর্তী-টোকেন ও মাস্কড-টোকেন পূর্বাভাসে প্রায় 0.4 শব্দ নির্ভুলতা অর্জন করেছে, যা Hidden Markov Model বেসলাইনের চেয়ে বেশি, এবং 10^13 থেকে 10^15 পর্যন্ত পরীক্ষা ব্লকে স্থিতিশীল ছিল। মডেলের সম্ভাব্যতা গাণিতিক পাঠ্যকে সেই নিয়ন্ত্রণ পাঠ্য থেকেও আলাদা করেছে, যেগুলোতে টোকেনের পুনরাবৃত্তির হার একই কিন্তু ক্রম আলাদা, এবং তিনটির বেশি টানা বর্গমুক্ত পূর্ণসংখ্যাযুক্ত অনুক্রম থেকেও আলাদা করেছে, যা পাটিগণিতে অসম্ভব।

মূল লেখা পড়ুন ↗

সব আইটেম →