AI رپورٹس · Stanford Digital Economy Lab · 2026-10-29 · تحقیقی مقالہ
Realtime-Bench: کیا فرنٹیئر ماڈلز ریئل ٹائم تعاملی مسائل حل کر سکتے ہیں؟ - Stanford Digital Economy Lab
اصل عنوان: Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems? - Stanford Digital Economy Lab
ریئل ٹائم تعامل کے لیے ضروری ہے کہ ایجنٹ بدلتے ہوئے ماحول کو محسوس کریں اور وقت کی پابندیوں کے تحت عمل کریں، مگر موجودہ جائزے مؤثر عمل کے بجائے گفتگو کے معیار اور سٹریمنگ ادراک پر توجہ دیتے ہیں۔ متعارف کردہ Realtime-Bench متحرک ٹاسکس استعمال کرتا ہے جن میں تاخیر سے کیے گئے اعمال براہِ راست کامیابی پر اثر ڈالتے ہیں؛ وال کلاک وقت کے تحت بہترین کامیابی کی شرح 44% اور بہترین Pass^3 36% ہے۔ رکی ہوئی گھڑی کے حوالے اور ٹوکن پر مبنی simulated clock سے موازنہ کرتے ہوئے، مصنفین پاتے ہیں کہ وقت کی لاگت کامیابی کو محدود کرتی ہے اور وقت کے دباؤ میں زیادہ استدلالی کوشش کے ملے جلے اثرات ہوتے ہیں، جو فیصلے کے معیار اور بروقت عمل درآمد کے درمیان توازن کی عکاسی کرتے ہیں۔