AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · Anthropic · 2026-09-28

प्रभाव फ़ंक्शनों (influence functions) के साथ LLM सामान्यीकरण

मूल शीर्षक: LLM generalization with influence functions

यह कार्य इन्फ्लुएंस फ़ंक्शन्स को, जो अनुमान लगाते हैं कि प्रशिक्षण उदाहरण किसी मॉडल के व्यवहार को कैसे प्रभावित करते हैं, EK-FAC सन्निकटन का उपयोग करके 52 अरब तक पैरामीटर वाले LLMs तक बढ़ाता है। यह पारंपरिक अनुमानकों जैसी सटीकता हासिल करता है, जबकि inverse-Hessian-vector product की गणना को कई गुना (परिमाण के कई क्रमों से) तेज़ बना देता है। लेखक इसका उपयोग सामान्यीकरण के पैटर्न का अध्ययन करने के लिए करते हैं और पाते हैं कि जब मुख्य वाक्यांशों का क्रम उलट दिया जाता है, तो प्रभाव लगभग शून्य हो जाता है।

मूल लेख पढ़ें ↗

सभी आइटम →