AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-26

جڑ دار درختوں کی حسابی ترتیب پر ٹرانسفارمر کی سیکھنے کی صلاحیت کی جانچ

اصل عنوان: Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees

یہ مطالعہ پوچھتا ہے کہ کیا ٹرانسفارمر قدرتی اعداد کی بار بار مفرد اجزائے ضربی تجزیے سے بننے والی جڑ دار درختوں کی تعیناتی ترتیب سیکھ سکتا ہے۔ GPT-2 طرز کے ایک ماڈل نے، جسے شروع سے پہلے 10^11 عناصر پر تربیت دی گئی، اگلے ٹوکن اور ماسک شدہ ٹوکن کی پیش گوئی میں تقریباً 0.4 کی لفظی درستگی حاصل کی، جو Hidden Markov Model کی بنیادی سطح سے زیادہ ہے، اور 10^13 سے 10^15 کے ٹیسٹ بلاکس پر بھی مستحکم رہا۔ ماڈل کی لائیکلیہڈ نے حسابی متن کو ان کنٹرولز سے بھی الگ کیا جو ٹوکنز کی تعدد برقرار رکھتے ہیں مگر ان کی ترتیب نہیں، اور ان ترتیبوں سے بھی جن میں تین سے زیادہ مسلسل مربع سے پاک عدد ہوں، جسے حساب ممنوع قرار دیتا ہے۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →