AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · Anthropic · 2026-09-28

পুনরাবৃত্ত ডেটা থেকে শেখার স্কেলিং সূত্র

মূল শিরোনাম: Scaling laws of learning from repeated data

এই গবেষণা পরীক্ষা করে পুনরাবৃত্ত প্রশিক্ষণ ডেটা কীভাবে ভাষা মডেলকে প্রভাবিত করে। প্রশিক্ষণ ডেটার মাত্র 0.1% কে 100 বার পুনরাবৃত্তি করায় একটি 800M-প্যারামিটার মডেলের কার্যক্ষমতা 400M-প্যারামিটার মডেলের স্তরে নেমে এসেছে, যদিও বাকি 90% টোকেন অনন্য ছিল। লেখকরা আরও দেখেছেন যে পুনরাবৃত্তি কপি করা ও ইনডাকশন হেডগুলোকে ক্ষতিগ্রস্ত করে, যেগুলো সাধারণীকরণের সঙ্গে সম্পর্কিত, এবং তাঁরা ধারণা করেন এটি সাধারণীকরণ থেকে মুখস্থকরণে রূপান্তরের ব্যাখ্যা হতে পারে।

মূল লেখা পড়ুন ↗

সব আইটেম →