الذكاء الاصطناعي ومشكلات العالم الصعبة · علوم الحاسوب النظرية · Anthropic · 2026-09-28

تعميم النماذج اللغوية الكبيرة باستخدام دوال التأثير

العنوان الأصلي: LLM generalization with influence functions

يعمل هذا البحث على توسيع نطاق دوال التأثير (influence functions)، التي تقدّر كيف تؤثر أمثلة التدريب في سلوك النموذج، لتشمل نماذج لغوية كبيرة (LLMs) يصل عدد معاملاتها إلى 52 مليار معامل باستخدام تقريب EK-FAC. ويحقق دقة مماثلة للمقدّرات التقليدية، مع جعل حساب ناتج ضرب معكوس هيسيان في متجه أسرع بعدة مراتب من حيث الحجم. ويستخدمه المؤلفون لدراسة أنماط التعميم، ويجدون أن التأثير ينخفض إلى ما يقارب الصفر عند عكس ترتيب العبارات الرئيسية.

اقرأ المصدر الأصلي ↗

جميع العناصر →