AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-20

ٹیسٹ ٹائم ٹریننگ کا ایک فیصلہ-نظریاتی نقطہ نظر: کب، کتنی دور، اور کن سمتوں میں موافقت کرنی ہے

اصل عنوان: A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt

ٹیسٹ-ٹائم ٹریننگ (TTT) پیرامیٹر اپڈیٹس کے ذریعے پہلے سے تربیت یافتہ ماڈل کو ہر پرامپٹ کے مطابق ڈھالتی ہے اور ڈسٹری بیوشن شفٹس کے تحت درستگی بہتر بناتی ہے، لیکن اس کی کارکردگی اکثر غیر مستحکم ہوتی ہے اور اپڈیٹ اسٹیپس اور سب اسپیس جیسے ہائیپرپیرامیٹرز کے لیے حساس ہوتی ہے۔ TTT کو کرنل ریجیم میں ضمنی بیزی استنباط سمجھتے ہوئے، مصنفین ایک گاسین پروسیس بینچ مارک پر دکھاتے ہیں کہ جب اپڈیٹس پرامپٹ کے سگنل-ٹو-نائز ریشو کے ساتھ طیفی لحاظ سے مماثل ہوں اور کویری سے متعلق آئیگن-ڈائریکشنز کے ہم آہنگ ہوں تو TTT پیشن گوئی کی غلطی کم کرتی ہے۔ اسی نقطۂ نظر سے وہ واضح کرتے ہیں کہ مقررہ اپڈیٹ اسٹیپس اور سب اسپیسز کب ناکام ہوتی ہیں، پرامپٹ کے شواہد کے ذریعے اپڈیٹ اسٹیپس کے انتخاب کے لیے PAC-Bayes ضمانت ثابت کرتے ہیں، اور ٹرانسفارمر بلاکس اور ہیڈز کے انتخاب کے لیے ایک سکورنگ رول اخذ کرتے ہیں۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →