Relatórios de IA · Stanford Digital Economy Lab · 2026-10-29 · Artigo de pesquisa
Realtime-Bench: Os modelos de fronteira conseguem resolver problemas interativos em tempo real? - Stanford Digital Economy Lab
Título original: Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems? - Stanford Digital Economy Lab
A interação em tempo real exige que os agentes percebam ambientes em mudança e ajam sob restrições de tempo, mas as avaliações existentes se concentram na qualidade da conversa e na percepção de streaming, e não na ação eficaz. O Realtime-Bench apresentado usa tarefas dinâmicas em que ações atrasadas afetam diretamente o sucesso; sob tempo real de relógio, a melhor taxa de sucesso é de 44% e o melhor Pass^3 é de 36%. Ao comparar com uma referência de relógio pausado e um relógio simulado baseado em tokens, os autores constatam que os custos temporais limitam o sucesso e que um maior esforço de raciocínio tem efeitos variados sob pressão de tempo, refletindo um equilíbrio entre a qualidade da decisão e a execução oportuna.