AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-26
雅可比透镜的数学理论
原标题: A Mathematical Theory of the Jacobian Lens
雅可比透镜(J-lens)是 Anthropic 推出的一种可解释性工具,它在语言模型中检测到了类似工作记忆的方向,但这些特征为何可被检测到尚不清楚。作者提出了一个数学理论,表明 J-lens 优先识别相干特征,这类特征的扰动会在各层之间被放大,并在不同的词元位置和上下文中保持一致。他们在贝叶斯滤波器和一个根据隐马尔可夫模型预测词元的玩具 Transformer 上验证了这一点:改变会影响特征相干性的参数,J-lens 的响应也随之按预期发生变化。