AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · Anthropic · 2026-09-28
Ujumlishaji wa LLM kwa kutumia vitendakazi vya ushawishi
Kichwa asilia: LLM generalization with influence functions
Kazi hii inapanua matumizi ya influence functions, ambazo hukadiria jinsi mifano ya mafunzo inavyoathiri tabia ya modeli, hadi kwenye LLM zenye hadi vigezo bilioni 52 kwa kutumia ukadiriaji wa EK-FAC. Inafikia usahihi unaofanana na wakadiriaji wa jadi huku ikifanya hesabu ya inverse-Hessian-vector product kuwa ya kasi zaidi kwa maagizo kadhaa ya ukubwa. Waandishi wanaitumia kuchunguza mifumo ya ujumlishaji na kugundua kuwa ushawishi hushuka hadi karibu sifuri pale mpangilio wa misemo muhimu unapogeuzwa.