AI 報告 · Stanford Digital Economy Lab · 2026-10-29 · 研究論文
Realtime-Bench：前沿模型能解決即時互動問題嗎？ - Stanford Digital Economy Lab
原標題: Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems? - Stanford Digital Economy Lab
即時互動要求代理能感知不斷變化的環境，並在時間限制下採取行動，然而現有評估著重於對話品質與串流感知，而非有效行動。本文提出的 Realtime-Bench 採用動態任務，延遲的行動會直接影響成敗；在實際時鐘時間下，最佳成功率為 44%，最佳 Pass^3 為 36%。作者將其與暫停時鐘的參照基準及以 token 為基礎的模擬時鐘相比較，發現時間成本會限制成功率，而提高推理強度在時間壓力下的效果好壞參半，反映出決策品質與及時執行之間的取捨。