AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-20
Autoresearch Iliyothibitishwa Rasmi kwa Kuchanganua Uwezo wa Kujieleza wa Umakini wa Vichwa Vingi
Kichwa asilia: Formally Verified Autoresearch for Analyzing the Expressivity of Multi-Head Attention
Utafiti huu unachunguza ni vichwa vingapi vya umakini (attention heads) ambavyo transformer ya safu moja yenye umakini pekee inahitaji ili kuwakilisha kitendakazi cha Boolean, kinachofafanuliwa kama utata wake wa vichwa (head complexity). Waandishi wanapata umbo la kawaida kamili, wanathibitisha kikomo cha chini cha shahada ya kizingiti, na kuonyesha kwamba kwa vitendakazi linganifu utata wa vichwa ni sawa na idadi ya mabadiliko ya thamani katika viwango vya uzito wa Hamming. Modeli ya kisasa ya mpaka ilizalisha dhana na uthibitisho, ambavyo vilithibitishwa kwa mashine katika Lean, huku watafiti wa kibinadamu wakiuliza maswali na kupitia matokeo.