AI 报告 · Stanford Digital Economy Lab · 2026-10-29 · 研究论文
Realtime-Bench:前沿模型能解决实时交互问题吗? - Stanford Digital Economy Lab
原标题: Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems? - Stanford Digital Economy Lab
实时交互要求智能体感知不断变化的环境,并在时间限制下采取行动,然而现有评估侧重于对话质量和流式感知,而非有效行动。所提出的 Realtime-Bench 采用动态任务,其中延迟的行动会直接影响成功率;在真实时钟时间下,最佳成功率为 44%,最佳 Pass^3 为 36%。通过与暂停时钟参照和基于 token 的模拟时钟进行比较,作者发现时间成本会限制成功率,而在时间压力下,更高的推理强度会产生好坏参半的效果,这反映了决策质量与及时执行之间的权衡。