KI-Berichte · Stanford Digital Economy Lab · 2026-10-29 · Forschungsarbeit
Realtime-Bench: Können Frontier-Modelle interaktive Echtzeitprobleme lösen? - Stanford Digital Economy Lab
Originaltitel: Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems? - Stanford Digital Economy Lab
Echtzeit-Interaktion erfordert, dass Agenten sich verändernde Umgebungen wahrnehmen und unter Zeitdruck handeln. Bestehende Evaluierungen konzentrieren sich jedoch auf Gesprächsqualität und Streaming-Wahrnehmung statt auf wirksames Handeln. Der vorgestellte Realtime-Bench verwendet dynamische Aufgaben, bei denen verzögerte Aktionen den Erfolg direkt beeinflussen; nach Wanduhrzeit liegt die beste Erfolgsquote bei 44 % und der beste Pass^3 bei 36 %. Im Vergleich mit einer Referenz mit angehaltener Uhr und einer tokenbasierten simulierten Uhr stellen die Autoren fest, dass zeitliche Kosten den Erfolg begrenzen und dass ein höherer Reasoning-Aufwand unter Zeitdruck gemischte Effekte hat, was einen Zielkonflikt zwischen Entscheidungsqualität und rechtzeitiger Ausführung widerspiegelt.