Отчёты по ИИ · Stanford HAI · 2026-10-30 · Отчёт / белая книга
Что делает хороший бенчмарк для ИИ? | Stanford HAI
Оригинальное название: What Makes a Good AI Benchmark? | Stanford HAI
В этом обзоре представлена новая методика оценки качества бенчмарков ИИ, по которой оцениваются 24 бенчмарка. Выявлены большие различия в качестве между ними, в том числе среди бенчмарков, на которые широко опираются разработчики и политики. Качество большинства бенчмарков наиболее высоко на этапе проектирования и наиболее низко на этапе реализации.