AI レポート · GovAI (Oxford) · 2026-10-17 · 研究論文
極端なリスクに対するモデル評価
原題: AI Lab Policy Model Evaluation for Extreme Risks May 2023 Toby Shevlane, Sebastian Farquhar, Ben Garfinkel, Mary Phuong, Jess Whittlestone, Jade Leung, et al. Current approaches to building general-pu
汎用AIシステムは有益な能力と有害な能力を併せ持つ傾向があり、極端なリスクへの対応にはモデル評価が重要だと論じる。開発者は、危険な能力を特定する「危険能力評価」と、モデルがその能力を有害に用いる傾向を測る「アライメント評価」を行う必要があるとしている。これらの評価は、政策立案者への情報提供や、訓練・展開・セキュリティに関する判断に不可欠になるという。