La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-20
Autoinvestigación formalmente verificada para analizar la expresividad de la atención multicabezal
Título original: Formally Verified Autoresearch for Analyzing the Expressivity of Multi-Head Attention
El estudio examina cuántas cabezas de atención necesita un transformer de una sola capa y solo con atención para representar una función booleana, definida como su complejidad de cabezas. Los autores derivan una forma normal exacta, demuestran una cota inferior basada en el grado umbral y muestran que, para las funciones simétricas, la complejidad de cabezas equivale al número de cambios de valor entre los niveles de peso de Hamming. Un modelo de frontera generó las conjeturas y las demostraciones, que fueron verificadas automáticamente en Lean, mientras que los investigadores humanos formularon las preguntas y revisaron los resultados.