Ripoti za AI · Stanford Digital Economy Lab · 2026-10-29 · Makala ya utafiti
Realtime-Bench: Je, Miundo ya Kisasa Kabisa Inaweza Kutatua Matatizo Shirikishi ya Wakati Halisi? - Stanford Digital Economy Lab
Kichwa asilia: Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems? - Stanford Digital Economy Lab
Mwingiliano wa wakati halisi unahitaji mawakala kutambua mazingira yanayobadilika na kuchukua hatua chini ya vikwazo vya muda, hata hivyo tathmini zilizopo zinaangazia ubora wa mazungumzo na utambuzi wa mtiririko badala ya hatua zenye ufanisi. Realtime-Bench iliyoanzishwa hutumia kazi zinazobadilika ambapo hatua zinazochelewa huathiri moja kwa moja mafanikio; chini ya muda halisi wa saa, kiwango bora cha mafanikio ni 44% na Pass^3 bora ni 36%. Kwa kulinganisha na kipimo rejea chenye saa iliyosimamishwa na saa ya kuigwa inayotegemea tokeni, waandishi wanagundua kuwa gharama za muda hupunguza mafanikio na kwamba juhudi kubwa zaidi ya kufikiri ina athari mchanganyiko chini ya shinikizo la muda, jambo linaloakisi mvutano kati ya ubora wa uamuzi na utekelezaji wa wakati.