IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · Anthropic · 2026-09-28
Generalização de LLMs com funções de influência
Título original: LLM generalization with influence functions
Este trabalho amplia as funções de influência, que estimam como os exemplos de treinamento afetam o comportamento de um modelo, para LLMs com até 52 bilhões de parâmetros usando a aproximação EK-FAC. Ele alcança uma precisão semelhante à dos estimadores tradicionais, ao mesmo tempo em que torna o cálculo do produto da inversa da Hessiana por vetor ordens de magnitude mais rápido. Os autores o utilizam para estudar padrões de generalização e descobrem que a influência cai para quase zero quando a ordem das frases-chave é invertida.