AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-20
ملٹی ہیڈ اٹینشن کی اظہاری صلاحیت کے تجزیے کے لیے باضابطہ طور پر تصدیق شدہ آٹو ریسرچ
اصل عنوان: Formally Verified Autoresearch for Analyzing the Expressivity of Multi-Head Attention
یہ مطالعہ جانچتا ہے کہ ایک تہہ والے، صرف توجہ پر مبنی ٹرانسفارمر کو کسی بولین فنکشن کی نمائندگی کے لیے کتنے اٹینشن ہیڈز درکار ہوتے ہیں، جسے ہیڈ کمپلیکسٹی کہا جاتا ہے۔ مصنفین ایک عین نارمل فارم اخذ کرتے ہیں، تھریشولڈ ڈگری کی زیریں حد ثابت کرتے ہیں، اور دکھاتے ہیں کہ سمیٹرک فنکشنز کے لیے ہیڈ کمپلیکسٹی ہیمنگ وزن کی سطحوں پر قدروں کی تبدیلیوں کی تعداد کے برابر ہوتی ہے۔ ایک فرنٹیئر ماڈل نے قیاسات اور ثبوت تیار کیے، جنہیں Lean میں مشین کے ذریعے جانچا گیا، جبکہ انسانی محققین نے سوالات اٹھائے اور نتائج کا جائزہ لیا۔