AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-20
形式的に検証された自動研究によるマルチヘッド注意機構の表現力の解析
原題: Formally Verified Autoresearch for Analyzing the Expressivity of Multi-Head Attention
1層の注意機構のみのトランスフォーマーで、ブール関数を表すのに必要な注意ヘッドの最小数（ヘッド複雑度）を調べた。その正確な標準形と下限を導き、対称ブール関数についてはヘッド複雑度が連続する重みの段階間で値が変わる回数に等しいことを示した。結果はフロンティアモデルが予想の生成、定理の証明、機械検証を行って得られ、人間の研究者は高水準の問いの設定と定理の確認を担当した。