AI रिपोर्ट्स · Stanford Digital Economy Lab · 2026-10-29 · शोध पत्र
Realtime-Bench: क्या फ्रंटियर मॉडल रीयल-टाइम इंटरैक्टिव समस्याएँ हल कर सकते हैं? - Stanford Digital Economy Lab
मूल शीर्षक: Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems? - Stanford Digital Economy Lab
रीयल-टाइम इंटरैक्शन के लिए एजेंटों को बदलते परिवेश को समझना और समय की बाध्यताओं के अंतर्गत कार्य करना आवश्यक है, फिर भी मौजूदा मूल्यांकन प्रभावी कार्रवाई के बजाय बातचीत की गुणवत्ता और स्ट्रीमिंग धारणा पर केंद्रित हैं। प्रस्तुत Realtime-Bench गतिशील कार्यों का उपयोग करता है, जहाँ विलंबित कार्रवाइयाँ सीधे सफलता को प्रभावित करती हैं; वास्तविक घड़ी के समय में सर्वोत्तम सफलता दर 44% और सर्वोत्तम Pass^3 36% है। रुकी हुई घड़ी वाले संदर्भ और टोकन-आधारित सिम्युलेटेड घड़ी से तुलना करने पर लेखकों ने पाया कि समय की लागत सफलता को सीमित करती है और समय के दबाव में उच्चतर रीज़निंग प्रयास के मिले-जुले प्रभाव होते हैं, जो निर्णय की गुणवत्ता और समय पर क्रियान्वयन के बीच के समझौते को दर्शाता है।