La IA y los problemas difíciles del mundo · Informática teórica · Anthropic · 2026-09-28
Generalización de los LLM con funciones de influencia
Título original: LLM generalization with influence functions
Este trabajo escala las funciones de influencia, que estiman cómo los ejemplos de entrenamiento afectan el comportamiento de un modelo, a LLM de hasta 52 000 millones de parámetros mediante la aproximación EK-FAC. Logra una precisión similar a la de los estimadores tradicionales y, al mismo tiempo, hace que el cálculo del producto inversa-Hessiana-vector sea varios órdenes de magnitud más rápido. Los autores lo utilizan para estudiar patrones de generalización y descubren que la influencia cae a casi cero cuando se invierte el orden de las frases clave.