الذكاء الاصطناعي ومشكلات العالم الصعبة · علوم الحاسوب النظرية · arXiv · 2026-10-23

نهج التحكم الأمثل في تدريب المحوّلات

العنوان الأصلي: An Optimal Control Approach To Transformer Training

تتعامل الدراسة مع تدريب نموذج Transformer بوصفه مسألة تحكم أمثل تراعي القيود البنيوية، ومنها التنفيذ المستقل عن المدخلات والاعتماد على الموضع. يرفع المؤلفون النموذج إلى عملية قرار ماركوفية قابلة للملاحظة بالكامل على مقاييس الاحتمال، ويثبتون وجود سياسات مثلى عالميًا، ويقترحون إجراء تدريب مكمَّمًا ثلاثيًا يكمّم فضاءات الحالة والمقياس والفعل. ويبيّنون أن أي سياسة مثلى للنموذج المكمَّم تكون شبه مثلى لمسألة التدريب الأصلية، مما يقدم بديلًا نظريًا للتدريب القائم على التدرج لا يتطلب نعومة ولا تحدبًا.

اقرأ المصدر الأصلي ↗

جميع العناصر →