Rapports sur l'IA · Stanford Digital Economy Lab · 2026-10-29 · Article de recherche
Realtime-Bench : les modèles de pointe peuvent-ils résoudre des problèmes interactifs en temps réel ? - Stanford Digital Economy Lab
Titre original: Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems? - Stanford Digital Economy Lab
L'interaction en temps réel exige que les agents perçoivent des environnements changeants et agissent sous contrainte de temps, alors que les évaluations existantes se concentrent sur la qualité conversationnelle et la perception en flux continu plutôt que sur l'efficacité de l'action. Le Realtime-Bench présenté utilise des tâches dynamiques où les actions tardives affectent directement la réussite ; en temps réel (horloge murale), le meilleur taux de réussite est de 44 % et le meilleur Pass^3 de 36 %. En comparant avec une référence à horloge suspendue et une horloge simulée fondée sur les tokens, les auteurs constatent que les coûts temporels limitent la réussite et que l'augmentation de l'effort de raisonnement a des effets contrastés sous pression temporelle, ce qui reflète un compromis entre la qualité des décisions et la rapidité d'exécution.