L'IA face aux grands problèmes du monde · Informatique théorique · Anthropic · 2026-09-28
Généralisation des LLM avec les fonctions d'influence
Titre original: LLM generalization with influence functions
Ce travail met à l'échelle les fonctions d'influence, qui estiment comment les exemples d'entraînement affectent le comportement d'un modèle, jusqu'à des LLM comptant jusqu'à 52 billions de paramètres grâce à l'approximation EK-FAC. Il atteint une précision similaire à celle des estimateurs traditionnels tout en rendant le calcul du produit inverse de la hessienne par un vecteur plus rapide de plusieurs ordres de grandeur. Les auteurs l'utilisent pour étudier les schémas de généralisation et constatent que l'influence tombe à près de zéro lorsque l'ordre des expressions clés est inversé.