IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-20
Autopesquisa formalmente verificada para analisar a expressividade da atenção multi-cabeça
Título original: Formally Verified Autoresearch for Analyzing the Expressivity of Multi-Head Attention
O estudo examina quantas cabeças de atenção um transformer de uma camada, somente com atenção, precisa para representar uma função booleana, definida como sua complexidade de cabeças. Os autores derivam uma forma normal exata, provam um limite inferior de grau de limiar e mostram que, para funções simétricas, a complexidade de cabeças é igual ao número de mudanças de valor entre os níveis de peso de Hamming. Um modelo de fronteira gerou as conjecturas e as demonstrações, que foram verificadas por máquina em Lean, com pesquisadores humanos formulando as perguntas e revisando os resultados.