AI レポート · Stanford HAI · 2026-10-30 · レポート・白書

良質なAIベンチマークとは何か

原題: What Makes a Good AI Benchmark? | Stanford HAI

本ブリーフは、AIベンチマークの品質を評価する新たな枠組みを提示し、24のベンチマークをその枠組みで採点したものである。採点の結果、広く依拠されているものを含め、ベンチマーク間で品質に大きな差があることがわかった。多くのベンチマークは設計段階で最も品質が高く、実装段階で最も低いという。