AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-20
用于分析多头注意力表达能力的形式化验证自动研究
原标题: Formally Verified Autoresearch for Analyzing the Expressivity of Multi-Head Attention
该研究探讨了单层、仅含注意力的 Transformer 需要多少个注意力头才能表示一个布尔函数,这一数量被定义为头复杂度。作者推导出了精确的范式,证明了阈值度下界,并表明对于对称函数,头复杂度等于汉明权重各层级之间取值变化的次数。猜想和证明由一个前沿模型生成,并在 Lean 中经过机器验证,由人类研究人员负责提出问题并审阅结果。