AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · Anthropic · 2026-09-28

انفلوئنس فنکشنز کے ذریعے LLM کی عمومی کاری (generalization)

اصل عنوان: LLM generalization with influence functions

یہ کام influence functions کو، جو اندازہ لگاتے ہیں کہ تربیتی مثالیں کسی ماڈل کے رویے پر کیسے اثر انداز ہوتی ہیں، EK-FAC تخمین کے ذریعے 52 ارب پیرامیٹرز تک کے LLMs تک وسعت دیتا ہے۔ یہ روایتی تخمینہ کاروں جیسی درستگی حاصل کرتا ہے، جبکہ inverse-Hessian-vector product کی گنتی کو کئی گنا تیز کر دیتا ہے۔ مصنفین اسے عمومی کاری کے نمونوں کا مطالعہ کرنے کے لیے استعمال کرتے ہیں اور دیکھتے ہیں کہ جب کلیدی فقروں کی ترتیب الٹ دی جائے تو اثر تقریباً صفر تک گر جاتا ہے۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →