AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · Anthropic · 2026-09-28
Sheria za ukuzaji za kujifunza kutokana na data inayorudiwa
Kichwa asilia: Scaling laws of learning from repeated data
Utafiti huu unachunguza jinsi data ya mafunzo inayorudiwa inavyoathiri miundo ya lugha. Kurudia 0.1% tu ya data ya mafunzo mara 100 kulipunguza muundo wa vigezo milioni 800 hadi kiwango cha utendaji cha muundo wa vigezo milioni 400, ingawa 90% nyingine ya tokeni ilibaki ya kipekee. Waandishi pia waligundua kuwa kurudia kunaharibu vichwa vya kunakili na vya induction, ambavyo vinahusishwa na ujumlishaji, na wanapendekeza kuwa hili linaweza kueleza mabadiliko kutoka ujumlishaji hadi ukariri.