AI 與世界的難題 · 理論資訊科學 · Anthropic · 2026-09-28
邁向單義性
原標題: Towards monosemanticity
神經網路中的單一神經元往往同時承載多種含義，因此難以解讀。研究人員運用字典學習，將一個包含 512 個神經元的 Transformer 層分解為超過 4,000 個特徵，每個特徵對應一種神經元活化模式。這些特徵分別代表 DNA 序列、法律用語、HTTP 請求、希伯來文文字和營養標示等內容，而這些特性在逐一觀察神經元時是看不出來的。
AI 與世界的難題 · 理論資訊科學 · Anthropic · 2026-09-28
原標題: Towards monosemanticity
神經網路中的單一神經元往往同時承載多種含義，因此難以解讀。研究人員運用字典學習，將一個包含 512 個神經元的 Transformer 層分解為超過 4,000 個特徵，每個特徵對應一種神經元活化模式。這些特徵分別代表 DNA 序列、法律用語、HTTP 請求、希伯來文文字和營養標示等內容，而這些特性在逐一觀察神經元時是看不出來的。