La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-26
Una teoría matemática de la lente jacobiana
Título original: A Mathematical Theory of the Jacobian Lens
La lente jacobiana (J-lens), una herramienta de interpretabilidad de Anthropic, detectó direcciones similares a la memoria de trabajo en modelos de lenguaje, pero no estaba claro por qué esas características eran detectables. Los autores presentan una teoría matemática que muestra que la J-lens identifica de manera preferente características coherentes, cuyas perturbaciones se amplifican a lo largo de las capas y se mantienen consistentes entre posiciones de tokens y contextos. Lo validaron en un filtro de Bayes y en un transformer de juguete que predice tokens a partir de un modelo oculto de Markov, donde cambiar los parámetros que alteran la coherencia de las características modificó la respuesta de la J-lens tal como se predijo.