自動臨床コーディングの「誤り」は、本当に誤りなのか ── コーディングの流儀を条件に入れると評価の見え方が変わる

この論文は何を問題にしているか

病院の診療録から、病名や処置を分類コードに置き換える作業を臨床コーディングと呼ぶ。保険請求、疫学研究、医療データベースの構築など、後工程の多くがこのコードに頼っている。コードの種類は診断と処置を合わせて数万に及び、ここを機械に任せる自動臨床コーディングの研究が続いてきた^[1]。

著者らが問題にしているのは、モデルの作り方ではなく採点の仕方である。現在の評価は、一つの記録に正解の注釈を一通りだけ用意し、それと違う出力をすべて誤りとして数える。しかし人間のコーダーどうしでも、同じ記録から同じコードの組を付けるとは限らない。どの所見までコードに起こすか、どこまで細かく記録に残すかは、施設の方針や担当者の習慣で変わる。その差をモデルの誤りとして一律に減点してよいのか、というのが出発点である。この論文は査読を経ていないプレプリントであり、以下はすべて著者らの主張として読む。

何を提案しているか

提案の芯は、コーディングを「記録からコードを当てる問題」ではなく「記録と流儀の両方からコードを出す問題」として定式化し直すことにある。著者らは担当者や施設ごとの体系的な傾向を「コーディングスタイル」と呼び、記号 ψ で表す。何をコードに起こし、どこまで書き込むかについての方針のことだ。そのうえで、モデルが推定する対象を「記録が与えられたときのコード」から「記録とスタイルが与えられたときのコード」へ置き換える。

スタイルそのものは直接観測できないので、著者らは 10 の観点からなる評価表（ルーブリック）でそれを推定する。論理は単純である。もし人間どうしの不一致がただの雑音なら、スタイルを条件に加えても成績は動かないはずだ。逆に、スタイルを与えることで成績が系統的に上下するなら、その不一致には再現できる構造がある、ということになる。

何を示したか ── abstract に書かれた範囲だけ

まず人間どうしの一致である。abstract によれば、ACI-Bench^[3] の診療場面 110 件を 2 つのチームがそれぞれコードしたところ、同じ記録に対するコードの一致は Jaccard 類似度で 73% にとどまった。独立した臨床監査で誤ったコードを取り除いても、一致は 77% までしか上がらなかったという。誤りを除いても残る差がある、というのが著者らの読みである。

次にモデル側である。abstract が挙げる複数のデータセットのいずれでも、データに合ったスタイルを条件として与えたモデルは ICD の F1 が最大で 26 ポイント上がり、極端に合わないスタイルを与えると最大で 21 ポイント下がった。さらに、プロンプトで指示する複数のコーディング手法を比べると、もともと F1 が 39-49 の範囲に散らばっていたものが、スタイルを与えると 52-56 の範囲に寄り集まったと報告されている。いずれも p<0.05 とされる。著者らは、単一の正解による評価がモデルの誤りとして数えてきたものの多くは、回収できる未モデル化のスタイルだと結論づけている。

abstract が示していないことも多い。評価表の各観点が何か、スタイルを誰がどう推定したのか、どのモデルを使ったのかは、abstract の範囲では書かれていない。

具体例で見る

同じ外来記録を、方針の違う 2 つの施設のコーダーが処理する場面を考える。記録には、主訴の疾患に加えて、既往として落ち着いている慢性疾患と、診察中に軽く触れられた症状が書かれている。

施設 A の注釈を正解とすれば、施設 B の流儀で出力したモデルは「余計なコードを付けた」と減点される。逆も同じである。どちらも誤りではなく、方針が違うだけだ。この論文の枠組みでは、評価の前に「どちらの流儀で付けるか」をモデルに渡す。そうすれば、流儀の違いによる差と、本当に取り違えたコードとを分けて数えられる、というのが著者らの主張である。

何が新しくないか／限界はどこか

コーダー間で一致しないという事実は、臨床コーディングの実務では以前から知られていた。注釈者間の一致度を測ること自体も、自然言語処理の評価では標準的な手続きである。この論文の新しさは、その不一致を「雑音」と「スタイル」に分け、スタイルを条件として明示的にモデルへ入れて、効果を数量で示そうとした点にある。

限界はいくつか見える。第一に、スタイルの推定は著者らが作った評価表に依存する。観点の選び方が変われば、スタイルとして回収される部分も変わるはずだが、その感度は abstract の範囲では示されていない。第二に、「データに合ったスタイル」を与えると成績が上がるのは、裏を返せば評価データの正解の癖をモデルに教えていることでもある。これが実務上の性能向上なのか、採点基準への適合なのかは、区別して読む必要がある。第三に、人間どうしの一致を測ったのは ACI-Bench の場面で、この素材は医師と協力者が診察を演じて作った対話である^[4]。実際の病院の記録で同じ構造が見えるかは、abstract からは分からない。第四に、「何が誤りか」を最終的に決めたのも独立監査という別の人間の判断であり、監査の基準そのものにも流儀が入りうる。

また、著者らは流儀を「回収できるもの」と位置づけるが、流儀の中には規則に照らして明らかに不適切なものもありうる。流儀を与えてそれに合わせることが、望ましくない習慣の再生産につながらないかという点は、abstract では論じられていない。

この主題が今なぜ束になっているか

選定の仕組みでは、この論文は同じ主題の論文 2 本からなる束として拾われた。束のもう一方は、AI を使った臨床コミュニケーションの訓練と自動評価を扱う論文である^[2]。題目を見る限り、主題はコーディングではなく医療者の対話技能の評価で、共通しているのは「臨床の言語を機械で自動評価する」という大きな枠と、自動・評価・臨床といった語である。束としては薄く、同じ問いに独立した研究が集まっているとまでは言いにくい。

話題性の数字も控えめである。Hugging Face 上の upvote は 0 件で、公開実装の star も付いていない。upvote や star は研究者の目に留まったかどうかの指標であって、論文が正しいかどうかの指標ではない。この論文は注目度で選ばれたのではなく、製薬・医療の実務に近い問いを立てている点で拾われたと読むのが妥当である。

製薬・規制の現場から見ると何が接続するか

製薬企業は、医療データベースや診療報酬データを使った市販後の調査、疫学研究、安全性シグナルの検出で、他者が付けたコードを大量に使う。そこでは、病名コードが施設ごとに違う方針で付けられていることが、アウトカム定義の妥当性や施設間の比較可能性に直接響く。この論文の主張は、その差の一部が誤りではなく系統的な流儀だという見方を、自動コーディングの評価の文脈で数量化しようとしたものとして読める。

もう一つの接続は、AI を検証する側の考え方である。業務に AI を入れるとき、社内で「正解」を一通り作って一致率で採否を決めることが多い。しかし正解を作った担当者の流儀がそのまま基準になっていれば、別の流儀で妥当な出力をするモデルが不当に低く評価される。反対に、社内の流儀に合わせ込んだモデルは、別の施設のデータでは期待どおりに動かないかもしれない。検証計画の段階で、正解データが誰のどの方針で作られたかを記録し、許容される揺れと誤りとを分けて定義しておくことが、この論文から引き出せる実務上の論点である。ただし、これはプレプリント段階の主張であり、手順として採り入れる前に、本文の条件と追試を確かめる必要がある。