AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-26
トークン・パーセプトロンの汎化における埋め込みと語彙の役割
原題: Generalization properties of the token perceptron: the role of embedding and vocabulary
大規模言語モデルのトークン予測を、埋め込み空間の幾何で決まる分類問題と捉え、最小限の解析可能な線形モデル「トークン・パーセプトロン」の汎化性能を調べた。レプリカ法で汎化誤差を計算し、連続的な埋め込みでは負荷 α_rec = d²/(d−1) を超えると教師が厳密に復元されることを示した。語彙の埋め込みでは、近似的なスペクトル閉包によりベイズ最適誤差を求め、教師が等方的であっても最適な学習器は語彙の分散が大きい方向から先に解決することを明らかにした。