AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-26
Kupima Uwezo wa Transformer wa Kujifunza Mfuatano wa Kihesabu wa Miti Yenye Mizizi
Kichwa asilia: Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees
Utafiti huu unauliza kama transformer inaweza kujifunza mfuatano wa kiamuzi wa miti yenye mizizi unaozalishwa kwa kuvunja mara kwa mara nambari asilia kuwa vigezo vyake vya nambari tasa. Modeli ya mtindo wa GPT-2 iliyofunzwa kutoka mwanzo kwa vipengele 10^11 vya kwanza ilifikia usahihi wa maneno wa takriban 0.4 katika utabiri wa tokeni inayofuata na tokeni iliyofichwa, juu ya msingi wa Hidden Markov Model, na ilibaki thabiti kwenye vipande vya majaribio vya 10^13 hadi 10^15. Uwezekano wa modeli pia ulitenganisha matini ya kihesabu na vidhibiti vinavyohifadhi masafa ya tokeni lakini si mpangilio wake, na kutoka kwa mfuatano wenye zaidi ya nambari tatu mfululizo zisizo na mraba, ambazo hesabu hairuhusu.