الذكاء الاصطناعي ومشكلات العالم الصعبة · علوم الحاسوب النظرية · Anthropic · 2026-09-28

قوانين التدرّج للتعلم من البيانات المتكررة

العنوان الأصلي: Scaling laws of learning from repeated data

تبحث الدراسة في تأثير بيانات التدريب المتكررة على النماذج اللغوية. فتكرار 0.1% فقط من بيانات التدريب 100 مرة خفّض أداء نموذج يضم 800M معامل إلى أداء نموذج يضم 400M معامل، رغم أن 90% الأخرى من الرموز ظلت فريدة. ووجد المؤلفون أيضًا أن التكرار يضر برؤوس النسخ والاستقراء المرتبطة بالتعميم، ويقترحون أن ذلك قد يفسر التحول من التعميم إلى الحفظ.

اقرأ المصدر الأصلي ↗

جميع العناصر →