الذكاء الاصطناعي ومشكلات العالم الصعبة · علوم الحاسوب النظرية · arXiv · 2026-10-26

اختبار قابلية تعلّم المحوّلات (Transformer) للمتتالية الحسابية للأشجار الجذرية

العنوان الأصلي: Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees

تسأل الدراسة عمّا إذا كان بإمكان المحوّل (transformer) أن يتعلّم المتتالية الحتمية للأشجار الجذرية الناتجة عن التحليل المتكرر إلى العوامل الأولية للأعداد الطبيعية. وقد بلغ نموذج بنمط GPT-2 دُرّب من الصفر على أول 10^11 عنصر دقة كلمات تبلغ نحو 0.4 في التنبؤ بالرمز التالي والرمز المقنَّع، متجاوزًا خط الأساس لنموذج ماركوف المخفي، وظل ثابتًا على كتل الاختبار عند 10^13 إلى 10^15. كما ميّز احتمال النموذج النص الحسابي عن عيّنات ضابطة تحافظ على تكرارات الرموز دون ترتيبها، وعن متتاليات فيها أكثر من ثلاثة أعداد صحيحة متتالية خالية من المربعات، وهو ما تمنعه الحسابيات.

اقرأ المصدر الأصلي ↗

جميع العناصر →