ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-20
Формально верифицированное автоисследование для анализа выразительной способности многоголового внимания
Оригинальное название: Formally Verified Autoresearch for Analyzing the Expressivity of Multi-Head Attention
В исследовании изучается, сколько голов внимания требуется однослойному трансформеру, состоящему только из механизма внимания, чтобы представить булеву функцию; это число определяется как сложность по головам. Авторы выводят точную нормальную форму, доказывают нижнюю оценку через пороговую степень и показывают, что для симметричных функций сложность по головам равна числу изменений значения на уровнях веса Хэмминга. Гипотезы и доказательства сгенерировала передовая модель, они были машинно проверены в Lean, а исследователи-люди ставили вопросы и рецензировали результаты.