Informes de IA · Stanford Digital Economy Lab · 2026-10-29 · Artículo de investigación
Realtime-Bench: ¿Pueden los modelos de frontera resolver problemas interactivos en tiempo real? - Stanford Digital Economy Lab
Título original: Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems? - Stanford Digital Economy Lab
La interacción en tiempo real exige que los agentes perciban entornos cambiantes y actúen bajo restricciones de tiempo, pero las evaluaciones existentes se centran en la calidad conversacional y la percepción en streaming en lugar de en la acción efectiva. El Realtime-Bench presentado utiliza tareas dinámicas en las que las acciones tardías afectan directamente al éxito; con tiempo de reloj real, la mejor tasa de éxito es del 44% y el mejor Pass^3 es del 36%. Al comparar con una referencia de reloj en pausa y un reloj simulado basado en tokens, los autores encuentran que los costos temporales limitan el éxito y que un mayor esfuerzo de razonamiento tiene efectos mixtos bajo presión de tiempo, lo que refleja un equilibrio entre la calidad de la decisión y la ejecución oportuna.