AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-20
以形式化驗證的自動研究分析多頭注意力的表達能力
原標題: Formally Verified Autoresearch for Analyzing the Expressivity of Multi-Head Attention
本研究探討單層、僅含注意力機制的 Transformer 需要多少個注意力頭才能表示一個布林函數,並將此定義為其注意力頭複雜度。作者推導出精確的標準形式,證明了閾值次數下界,並顯示對於對稱函數,注意力頭複雜度等於漢明重量層級間數值變化的次數。猜想與證明由一個前沿模型產生,並以 Lean 進行機器驗證,人類研究者則負責提出問題並審閱結果。