AI レポート · Stanford Digital Economy Lab · 2026-10-29 · 研究論文
Realtime-Bench：フロンティアモデルはリアルタイム対話型の課題を解けるか
原題: Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems? - Stanford Digital Economy Lab
リアルタイム相互作用では、変化する環境を認識しつつ時間制約の下で行動する能力が必要だが、既存の評価は会話品質やストリーミング認識が中心で、時間制約下での効果的な行動は検証されてこなかった。本研究が導入したRealtime-Benchは、遅延が成否に直結する動的タスクを用いており、実際の推論遅延で環境が進む条件での最高成功率は44%、最高Pass^3は36%にとどまった。推論の遅延を除いた基準や、生成トークン数に応じて仮想時間が進む方式も用いた結果、時間的コストが成功を制限し、時間圧の下では推論努力を高めても効果が一定しないことが分かった。