الذكاء الاصطناعي ومشكلات العالم الصعبة · علوم الحاسوب النظرية · arXiv · 2026-10-26

خصائص التعميم لبيرسبترون الرموز: دور التضمين والمفردات

العنوان الأصلي: Generalization properties of the token perceptron: the role of embedding and vocabulary

التنبؤ بالرموز في النماذج اللغوية الكبيرة مسألة تصنيف تحدد هندستها التضمينات، ولذلك يدرس المؤلفون نموذجًا خطيًا أدنى يُسمّى بيرسبترون الرموز. وباستخدام طريقة النسخ المتماثلة، يحسبون خطأ التعميم فيه، ويجدون أنه في حالة التضمينات المستمرة يُستعاد النموذج المعلّم بدقة فوق عتبة قدرها d²/(d−1). أما في تضمينات المفردات، فيقوم المتعلّم الأمثل أولًا بحلّ الاتجاهات التي تتباين فيها المفردات أكثر، حتى عندما يكون النموذج المعلّم متماثل الخواص.

اقرأ المصدر الأصلي ↗

جميع العناصر →