AI与世界难题 · 理论计算机科学 · Anthropic · 2026-09-28
迈向单义性
原标题: Towards monosemanticity
神经网络中的单个神经元往往同时承载多种含义,这使它们难以解释。研究人员利用字典学习,将一个包含 512 个神经元的 Transformer 层分解为 4,000 多个特征,每个特征对应一种神经元激活模式。这些特征分别表示 DNA 序列、法律语言、HTTP 请求、希伯来文以及营养说明等内容,而这些特性在逐个观察神经元时是看不出来的。
AI与世界难题 · 理论计算机科学 · Anthropic · 2026-09-28
原标题: Towards monosemanticity
神经网络中的单个神经元往往同时承载多种含义,这使它们难以解释。研究人员利用字典学习,将一个包含 512 个神经元的 Transformer 层分解为 4,000 多个特征,每个特征对应一种神经元激活模式。这些特征分别表示 DNA 序列、法律语言、HTTP 请求、希伯来文以及营养说明等内容,而这些特性在逐个观察神经元时是看不出来的。