Laporan AI · Stanford Digital Economy Lab · 2026-10-29 · Makalah riset
Realtime-Bench: Dapatkah Model Frontier Memecahkan Masalah Interaktif Real-time? - Stanford Digital Economy Lab
Judul asli: Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems? - Stanford Digital Economy Lab
Interaksi real-time mengharuskan agen mempersepsi lingkungan yang berubah dan bertindak di bawah batasan waktu, namun evaluasi yang ada berfokus pada kualitas percakapan dan persepsi streaming, bukan pada tindakan yang efektif. Realtime-Bench yang diperkenalkan menggunakan tugas dinamis di mana tindakan yang tertunda secara langsung memengaruhi keberhasilan; dengan waktu jam dinding (wall-clock), tingkat keberhasilan terbaik adalah 44% dan Pass^3 terbaik adalah 36%. Dengan membandingkan terhadap acuan jam yang dijeda dan jam simulasi berbasis token, para penulis menemukan bahwa biaya temporal membatasi keberhasilan dan bahwa upaya penalaran yang lebih tinggi memberikan efek yang beragam di bawah tekanan waktu, mencerminkan pertukaran antara kualitas keputusan dan eksekusi yang tepat waktu.