AI技術速報 ── 2026-11-09

Alibaba、実利用者の失敗依頼で作る新ベンチマーク

最良のAIでも全条件達成は26.4%、Alibaba研究者が報告

何が変わるか

MLQ.aiによると、AIコーディングエージェントの評価が変わる。実際の利用者が完了に苦労した依頼で測るためだ。

論文の著者は、モデル名だけの順位表では状況の一部しか分からないと考えている。モデルと、それを動かす道具（ハーネス）を併記して報告すべきだと主張している。

なぜ重要か

MLQ.aiによると、最も成績が良かったGPT-6 Astraでも、全条件を満たしたのは273課題の26.4%だった。約4分の3は、人が仕上げる必要が残る。

ハーネスを替えると結果が大きく動いた。Qwen3.8-27Bのリポジトリ課題の得点は、qwen-codeで0.560、opencodeで0.749だった。比較の仕方しだいで、順位の見え方が変わりうる。

何か

Co-Design Benchは、AIコーディングエージェントの性能を測るベンチマークだ。ベンチマークとは、共通の課題で性能を比べる試験のことをいう。

MLQ.aiによると、26,314件の実際のコーディングセッションから、重複を除いた37,463件の依頼を集めた。専門家が各依頼を整え、非公開の採点基準を書いた。基準は全部で2,331項目ある。

課題は2種類ある。一つは局所的なマルチモーダル編集で、画像・音声・動画・文書が渡されることがある。もう一つはリポジトリ編集で、コード一式にまたがる変更が必要になる。リポジトリとは、プログラム一式を保管する場所のことだ。

どこで・誰が

MLQ.aiによると、作ったのはAlibabaの研究者たちだ。論文は10月26日にarXivへ投稿された。arXivは研究論文の公開サイトだ。

ベンチマークの公開方法や入手先は、MLQ.aiの記事には書かれていない。これはAlibabaの研究者による論文の報告であり、MLQ.aiが伝えている。

なぜ作られたか

MLQ.aiによると、この研究は、実際の利用者がAIに完了させるのに苦労した依頼から作られている。著者は、既存の編集系ベンチマークが飽和に近いと述べている。WebCompassなどでは、モデルの得点が99%を超えている。ただし、これは別の課題群での比較だとMLQ.aiは注記している。

解こうとする問題は、従来の試験では実務での失敗が見えにくいことだ。そのため、過去の失敗の兆候を手がかりに依頼を選んだ。たとえば、利用者が同じ依頼を2回以上言い換えた例や、明示的な巻き戻しがあった例だ。

どう動くか

MLQ.aiによると、採点は二段階で行う。まずエージェント型の審査役が、完成したアプリをブラウザで動かし、ソースコードも調べる。エージェント型とは、AIが自分で操作しながら作業を進める方式のことだ。

次に、第二の検証役がすべての合格判定と部分合格判定に異議を唱える。見かけだけの試作品や、結果の直接書き込みを見つけるためだ。

主な比較では、全モデルをClaude Code上で動かした。ハーネスとは、モデルをエージェントとして動かす道具のことだ。別のハーネスでも2モデルを再実験した。その結果、順位は入れ替わった。

要点

GPT-6 Astraは基準の平均69.9%を満たしたが、全基準の達成は273課題の26.4%だった。
リポジトリ編集は難しく、GPT-6 Astraの完全達成は17.9%で、マルチモーダル編集は41.0%だった。
ハーネスを替えるとQwen3.8-27Bの得点は0.560から0.749に動き、著者はモデルとハーネスの併記を求めている。

結語

MLQ.aiによると、Alibabaの研究者は実際の失敗依頼でCo-Design Benchを作った。10モデルのうち最良でも、全条件の達成は26.4%だった。

著者は、モデルとハーネスを併せて報告するよう求めている。ただし、依頼が固定で追加質問ができない点や、AI審査役の誤りも限界として論文に書かれている。

引用と出典

“OpenAI's GPT-6 Astra passed 69.9% of each task's acceptance criteria on average but satisfied every criterion on just 26.4% of the 273 tasks, according to the paper posted to arXiv on Oct. 26”（和訳）OpenAIのGPT-6 Astraは、課題ごとの受け入れ基準の平均69.9%を満たしたが、全基準を満たしたのは273課題のわずか26.4%だった。これは10月26日にarXivへ投稿された論文による。
── MLQ.ai, 11/08 10:21 UTC

“Co-Design Bench draws on 37,463 deduplicated requests from 26,314 real coding sessions”（和訳）Co-Design Benchは、26,314件の実際のコーディングセッションから集めた、重複を除いた37,463件の依頼に基づいている。
── MLQ.ai, 11/08 10:21 UTC

“Qwen3.8-27B scored 0.749 on repository edits in opencode and 0.560 in qwen-code”（和訳）Qwen3.8-27Bのリポジトリ編集の得点は、opencodeで0.749、qwen-codeで0.560だった。
── MLQ.ai, 11/08 10:21 UTC

“each request is fixed, so agents cannot ask follow-up questions or receive mid-task corrections, and AI judges can still make errors”（和訳）各依頼は固定されているため、エージェントは追加の質問をしたり、作業中の修正を受けたりできない。またAI審査役も誤ることがある。
── MLQ.ai, 11/08 10:21 UTC

材料にした記事

MLQ.ai 11/08 10:21 UTC

この速報は AI（Claude）が出典の記事から書き、Jev（TypeSafe の判定モデル）と Gemini の裏取り、引用の逐語の照合を通したものです。