1. この論文は何を問題にしているか

問題は、業務の中の「判定」まで文章の生成に任せていることである。大規模言語モデルに長い思考の連鎖を書かせてから答えさせるやり方は、幅広い課題で精度が高いため、新しい AI アプリケーションの標準になった。著者らはそのうえで、本番運用では三つの困りごとが出ると指摘する[1]。同じ問いに対して答えが揺れること、出力された文章から答えを取り出す処理が要ること、そして費用と待ち時間が増えることである。

業務で AI に頼む判断の多くは、自由な作文ではない。この書類に記載漏れはあるか、この記録はどの区分に当たるか、この文面の危うさは何段階のどこか。答えの候補は最初から決まっている。それでも生成型のモデルに頼めば、モデルは文章を書き、その文章から「はい」「いいえ」を読み取る手間が残る。本記事が扱うのは arXiv に公開された査読前のプレプリントであり、以下は著者らの主張として読む。

2. 何を提案しているか

芯は、文章を一字ずつ生成せずに、利用者が渡した選択肢の上の確率分布を直接返す「判断モデル」である[1]。著者らはこれを Drex と名付け、規模の異なる四つの公開モデルとして出した。8B の DLM、9B の v1.5、総量 35B のうち 3B が働く v2.0、そして 27B の Max である。

一回の依頼は「状態」と「問い」の組でできている。状態は文書、記録、エージェントの作業文脈のいずれかで、画像を添えることもできる。問いは、選択肢からの一つ選び、はい・いいえの判定、順序のある尺度での採点の三種類である[1]。リポジトリの説明によれば、各選択肢に確率が返り、文章は何も生成されない[2]。

学習は、教師ありの微調整と、著者らが RLAF（reinforcement learning from adjusted feedback）と呼ぶ強化学習を組み合わせる。Max には画像を読むための調整も加えた。さらに、選択肢の並び順を入れ替えても答えが変わらないようにするための一貫性の損失を入れている[1]。

生成型のモデルに判定を頼む

問いを文章で渡し、モデルは思考の過程と結論を文章で書く。答えは出力の文章から取り出す。聞き直すと結論の言い回しや中身が変わることがある。

判断モデルに判定を頼む

状態と問いと選択肢を渡し、モデルは選択肢ごとの確率だけを返す。取り出しの処理は要らない。答えの候補は渡した選択肢に限られる。

3. 何を示したか ── abstract に書かれた範囲だけ

abstract が報告する結果は次のとおりである[1]。

読み方として押さえたいのは、精度の面では最上位の生成型モデルを上回ったとは書かれていない点である。著者らの主張は「生成型と並ぶか、少し下の精度を、ずっと短い時間で、順序に左右されずに出す」というものだ。

4. 具体例で見る

製薬企業で、販売情報提供の資材を審査部門に回す前の一次点検を AI に手伝わせる場面を考える。審査担当とシステム担当のやりとりである。

審査担当:いまは生成型のモデルに「この資材に承認外の効能を思わせる表現はあるか」と聞いて、返ってきた文章を読んでいる。同じ資材でも、聞き直すと結論が変わることがある。

システム担当:判断モデルなら、資材の本文と図を「状態」として渡し、「承認外の効能を思わせる表現があるか」という問いに「ある」「ない」の二つの選択肢を付けて渡す。返ってくるのは文章ではなく、それぞれの選択肢の確率だ。

審査担当:選択肢の順番を入れ替えたら答えが変わる、ということは起きないのか。

システム担当:著者らは並べ替えに対して安定していたと報告している。ただ、それは著者らの評価の範囲での話で、社内の資材で同じになるかは確かめる必要がある。

審査担当:確率が高ければ、その判定は正しいと考えてよいのか。

システム担当:そこは別の話だ。確率がどれだけ当たりの割合と一致するかは、abstract には書かれていない。最終の判断は審査の担当者が持つ。

この例で変わるのは、問いと選択肢を人が先に決めておく、という仕事の形である。何を「ある」とみなすかを選択肢の文言で固めること自体が、審査の基準を文書にする作業になる。

5. 何が新しくないか／限界はどこか

選択肢を与えて確率で選ばせる形式そのものは新しくない。abstract の比較相手に Jev 1.14.0 という判断モデルが挙がっていることからも分かるように、同じ形式のモデルはすでに存在する。Drex の新しさとして著者らが示すのは、規模の違う四つのモデルを公開したこと、RLAF と一貫性の損失という学習の組み合わせ、そして画像を読む Max である。

限界は、abstract の範囲だけでも次のものが挙げられる。

6. この主題が今なぜ束になっているか

正確に言えば、この論文はまだ束になっていない。収集の仕組みでは、同じ主題の論文の数（cluster_size）は 1 で、関連する論文も見つかっていない。話題性の信号も、Hugging Face での票は 15、GitHub の star は 98 で、立っているのは実装者側の信号だけである。これらは関心の大きさを示す数であって、論文の主張が正しいことを示すものではない。

ただし、判断モデルという形式は、ここ数週間の arXiv に繰り返し現れている。並べ替えで答えが変わらず、答えが無いことを明示できる判断専用の構造を提案したプレプリント[4]や、段階評価の尺度に偏りが出ることを報告したプレプリント[5]が続いた。Drex は、その流れの中で「実際に動かせる重みを、規模を変えて出した」ことに重心がある。手元の計算機で動かす手順や重みの置き場所まで、リポジトリとモデルページで公開されている[2][3]。

キーワードに並ぶのは、自己回帰の生成を使わないこと、選択肢の上の確率分布、選択肢の並べ替えへの安定性である。生成型のモデルで精度を追う流れとは別に、「答えの形が決まっている判断を、速く、揺れずに返す」部品を切り出す動きとして読める。

7. 製薬・規制の現場から見ると何が接続するか

接続は三つある。第一は再現性である。同じ資材、同じ問い、同じ選択肢で、聞き直すたびに答えが変わる仕組みは、点検の記録として説明しにくい。選択肢の順序で答えが変わらず、確率という形で出力が残る判断モデルは、点検の記録を残しやすい形をしている。ただし、出力が安定していることと判定が正しいことは別である。

第二は、問いと選択肢を決める責任である。判断モデルは、選択肢の文言をそのまま判定の基準として使う。「承認外の効能を思わせる表現」をどう定義するか、どの段階評価の尺度を使うかは、モデルではなく審査部門が決める。その定義が曖昧なら、速く安定した判定が曖昧なまま積み上がる。

第三は量と速さである。Max の応答時間が著者らの報告どおりなら、大量の資材や記録に一次点検をかけ、人が見るべきものを絞り込む使い方が考えられる。画像を読める Max は、資材の図表を含めた点検にも接続する。いずれの場合も、モデルの判定は人の審査の前段であり、置き換えではない。社内の資材で精度を測り直し、許諾の条件を確かめるまでは、評価の段階にとどめるのが妥当である。