AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-26

ٹوکن پرسیپٹرون کی عمومی کاری کی خصوصیات: ایمبیڈنگ اور ذخیرۂ الفاظ کا کردار

اصل عنوان: Generalization properties of the token perceptron: the role of embedding and vocabulary

بڑے لینگوئج ماڈلز میں ٹوکن کی پیش گوئی ایک درجہ بندی کا مسئلہ ہے جس کی جیومیٹری ایمبیڈنگ طے کرتی ہے، اس لیے مصنفین ٹوکن پرسیپٹرون نامی ایک کم سے کم لکیری ماڈل کا مطالعہ کرتے ہیں۔ ریپلیکا طریقہ استعمال کرتے ہوئے وہ اس کی عمومی کاری کی خرابی کا حساب لگاتے ہیں اور پاتے ہیں کہ مسلسل ایمبیڈنگز کے لیے d²/(d−1) کی حد سے اوپر ٹیچر عین مطابق بازیاب ہو جاتا ہے۔ ذخیرۂ الفاظ کی ایمبیڈنگز کے لیے، بہترین سیکھنے والا پہلے ان سمتوں کو حل کرتا ہے جن میں ذخیرۂ الفاظ سب سے زیادہ بدلتا ہے، چاہے ٹیچر ہم-جہتی ہی کیوں نہ ہو۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →