الذكاء الاصطناعي ومشكلات العالم الصعبة · علوم الحاسوب النظرية · arXiv · 2026-10-20

أبحاث ذاتية موثَّقة رسميًا لتحليل القدرة التعبيرية للانتباه متعدد الرؤوس

العنوان الأصلي: Formally Verified Autoresearch for Analyzing the Expressivity of Multi-Head Attention

تدرس الدراسة عدد رؤوس الانتباه التي يحتاجها محوّل (transformer) أحادي الطبقة يعتمد على الانتباه فقط لتمثيل دالة منطقية، ويُعرَّف هذا العدد بتعقيد الرؤوس. يشتق المؤلفون صيغة معيارية دقيقة، ويثبتون حدًا أدنى مرتبطًا بدرجة العتبة، ويبيّنون أنه في الدوال المتماثلة يساوي تعقيد الرؤوس عدد تغيّرات القيمة عبر مستويات وزن هامنغ. وقد ولّد نموذج رائد الحدسيات والبراهين، وتم التحقق منها آليًا في Lean، فيما طرح الباحثون البشر الأسئلة وراجعوا النتائج.

اقرأ المصدر الأصلي ↗

جميع العناصر →