L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-20
Autorecherche formellement vérifiée pour l'analyse de l'expressivité de l'attention multi-têtes
Titre original: Formally Verified Autoresearch for Analyzing the Expressivity of Multi-Head Attention
L'étude examine combien de têtes d'attention un transformeur à une couche et à attention seule requiert pour représenter une fonction booléenne, ce qu'on définit comme sa complexité en têtes. Les auteurs établissent une forme normale exacte, démontrent une borne inférieure fondée sur le degré de seuil, et montrent que, pour les fonctions symétriques, la complexité en têtes est égale au nombre de changements de valeur entre les niveaux de poids de Hamming. Un modèle de pointe a généré les conjectures et les preuves, vérifiées par machine dans Lean, tandis que des chercheurs humains posaient les questions et examinaient les résultats.