AIが解く世界の難問 · 計算機科学の理論 · Anthropic · 2026-09-28
単義性に向けて
原題: Towards monosemanticity
言語モデルでは個々のニューロンが複数の意味に反応する多義性があり、解釈が難しいという問題がある。研究チームは辞書学習を用い、トランスフォーマーの512個のニューロンからなる層を4000を超える特徴に分解した。特徴はDNA配列、法律文、HTTPリクエスト、ヘブライ語の文章、栄養表示などを個別に表しており、ニューロン単体を見ただけでは分からない性質が明らかになった。