AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-23
ٹرانسفارمر کی تربیت کے لیے ایک بہترین کنٹرول کا طریقہ
اصل عنوان: An Optimal Control Approach To Transformer Training
اس تحقیق میں Transformer کی تربیت کو ایک بہترین کنٹرول کے مسئلے کے طور پر دیکھا گیا ہے جو ساختی پابندیوں کا لحاظ رکھتا ہے، جن میں ان پٹ سے آزاد عمل درآمد اور مقامی انحصار شامل ہیں۔ مصنفین ماڈل کو احتمالی پیمانوں پر ایک مکمل طور پر مشاہدہ شدہ مارکوف فیصلہ سازی کے عمل میں منتقل کرتے ہیں، یہ ثابت کرتے ہیں کہ عالمی سطح پر بہترین پالیسیاں موجود ہوتی ہیں، اور ایک سہ گنا کوانٹائزڈ تربیتی طریقہ تجویز کرتے ہیں جو حالت، پیمانے اور عمل کی فضاؤں کو کوانٹائز کرتا ہے۔ وہ دکھاتے ہیں کہ کوانٹائزڈ ماڈل کے لیے کوئی بھی بہترین پالیسی اصل تربیتی مسئلے کے لیے تقریباً بہترین ہوتی ہے، جو گریڈیئنٹ پر مبنی تربیت کا ایک نظریاتی متبادل پیش کرتی ہے جس میں ہمواری یا محدب ہونے کی ضرورت نہیں۔