Отчёты по ИИ · Stanford Digital Economy Lab · 2026-10-29 · Научная статья
Realtime-Bench: способны ли передовые модели решать интерактивные задачи в реальном времени? - Stanford Digital Economy Lab
Оригинальное название: Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems? - Stanford Digital Economy Lab
Взаимодействие в реальном времени требует от агентов воспринимать меняющуюся среду и действовать в условиях ограниченного времени, однако существующие оценки сосредоточены на качестве диалога и потоковом восприятии, а не на эффективности действий. Представленный Realtime-Bench использует динамические задачи, в которых запоздалые действия напрямую влияют на успех; при учёте реального времени лучший показатель успешности составляет 44%, а лучший Pass^3 — 36%. Сравнивая результаты с эталоном на приостановленных часах и с имитацией часов на основе токенов, авторы обнаруживают, что временные издержки ограничивают успех, а более высокий уровень усилий на рассуждение при нехватке времени даёт неоднозначные эффекты, отражая компромисс между качеством решений и своевременностью выполнения.