L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-26
Une théorie mathématique de la lentille jacobienne
Titre original: A Mathematical Theory of the Jacobian Lens
La lentille jacobienne (J-lens), un outil d'interprétabilité d'Anthropic, a détecté dans les modèles de langage des directions semblables à une mémoire de travail, mais la raison pour laquelle ces caractéristiques étaient détectables restait floue. Les auteurs présentent une théorie mathématique montrant que la J-lens identifie de préférence des caractéristiques cohérentes, dont les perturbations s'amplifient d'une couche à l'autre et restent constantes selon les positions de jetons et les contextes. Ils l'ont validé sur un filtre de Bayes et un transformeur jouet prédisant des jetons à partir d'un modèle de Markov caché, où la modification de paramètres altérant la cohérence des caractéristiques a modifié la réponse de la J-lens comme prévu.