事業者の安全対策を外部が検証する仕組みが要る

作る側は「封じ込めを急ぐ」と言っている

エヌビディアのジェンスン・フアン氏は10月15日、AIに封じ込めの技術を組み込む動きを加速すべきだと述べた。封じ込めとは、AIが想定外の動きをしても被害を広げないよう、外から行動を囲う仕組みのことだ。We should accelerate the development of open shell. We should accelerate the the integration of this containment technology into AI systems.（和訳）オープンシェルの開発を加速させるべきです。この封じ込め技術をAIシステムに組み込む取り組みも加速させるべきです。── Jensen Huang（2026-10-15 01:23 UTC・YouTube「Nvidia's Huang Says He Would Not Sell Chips to Irresponsible AI Customers」（Bloomberg Television）再生位置 0:04:57・出典）

この発言は、AIを使う企業や個人に一つの前提を示している。安全の仕組みは作る側が組み込むもので、その出来は使う側からは見えにくいということだ。「入れている」という説明だけでは、実際に働くかどうかは分からない。フアン氏がこう言うのは、技術がどう進むかには自分たち作る側に主体性がある、と考えているからだ。同氏は同じ日に、作っているのだから安全に進める可能性が自分たちにある、とも述べている。

エージェントの被害はすでに現場に出ている

エージェント（人の代わりに操作まで行うAI）をめぐる被害の報道が続いている。AIエージェントを使った1人の攻撃者が、約5,000ドルで100社超のサイトに侵入したという。中国系のAIエージェントが日本へのサイバー攻撃の背後にいたとする、セキュリティ企業の報告もある。どちらも個別の事案で、評議会の発言には含まれていない。

ゲイリー・マーカス氏は10月15日、エージェントを公開した側について、サンドボックスと監視で正しい対応をしていないと批判した。サンドボックスとは、AIの動ける範囲を隔離した場所に限る仕組みである。they've shown themselves to be kind of incompetent in cybersecurity, not doing the right things around sandboxing and monitoring.（和訳）彼らは、サンドボックス化や監視について適切な対応をしておらず、サイバーセキュリティの面では無能だと自ら示してしまいました。── Gary Marcus（2026-10-15 05:48 UTC・YouTube「China’s Rogue Agents Find a Way Around Anti-Bot Curbs」（Bloomberg Television）再生位置 1:14:27・出典）

企業の担当者にとっては、エージェントを導入する際に隔離と監視の中身を自分で確かめる必要がある、という意味になる。マーカス氏は以前から、大規模言語モデルにコードを書かせて動かすエージェントは、セキュリティ上の悪夢になると主張してきた。同氏は、その予告どおりになったと述べている。

AIが指示に従わないなら、閉じ込めは前提になる

なぜ封じ込めが必要なのか。マーカス氏は、大規模言語モデルは指示に本当には従っておらず、いわゆる暴走AIの事例はその表れだと述べている。LLMs don't really follow instructions. All the so-called rogue AI things are examples of that where they're not really following instructions.（和訳）LLMは実のところ指示に従っていません。いわゆる暴走AIの事例はどれもその例で、実際には指示に従っていないのです。── Gary Marcus（2026-10-15 09:08 UTC・YouTube「Bloomberg New Economy | Day 3 | Morning Session」（Bloomberg New Economy）再生位置 1:59:46・出典）

この見方に立てば、「AIに頼めば頼んだとおりに動く」という前提を置くことができない。仕事を任せる側は、動作を外から制限し、記録し、あとから検証できる形にしておく必要がある。マーカス氏は、AIの世界理解は表面的で、だから指示にも従えないと考えている。一方、フアン氏は問題を工学上の課題と捉えている。ただ、悪用の分野では、評議会の見方はおおむね規制を求める側に寄っている。〔評議会推論〕両者の食い違いは、危険の大きさの評価ではなく、誰が確かめるかの設計にある。

投資が冷えると、安全への支出も削られかねない

安全の検証には費用がかかり、その原資は事業の収益と投資に左右される。マーカス氏は、四半期の成長率がQ1からQ2の約145%から、Q2からQ3の約45%へ減速したと指摘した。the growth rate from Q1 to Q2 is about 145%, and the growth rate from Q2 to Q3 was about 45%. It was a deceleration in the growth rate.（和訳）第1四半期から第2四半期への成長率は約145%で、第2四半期から第3四半期への成長率は約45%でした。成長率は減速したのです。── Gary Marcus（2026-10-15 12:49 UTC・YouTube「NYU’s Gary Marcus on Building AI We Can Trust」（Bloomberg Television）再生位置 0:17:39・出典）

この数字は、投資が鈍れば企業が真っ先に削る費用に、安全対策と第三者の評価が入りうることを意味する。マーカス氏は、業界は過剰に拡張され、収益性が確認されていないとみる。対してフアン氏は、バブルは供給が需要を上回るときに起きるもので、いずれ需給は調和すると述べる。バブル論は評議会内でも割れている。〔評議会推論〕投資の縮小と安全性の資源配分を結びつけた実発言は今回の入力にない。この点は評議会の空白である。

便益と負担を並べると、検証の担い手が要る

今後の便益は三つある。AIが普及した放射線科でも放射線科医の数は増えたと、フアン氏は述べた。封じ込め技術を組み込んで安全に進める方針も示された。マーカス氏は、現行とは別の技術で医療が根本から変わる可能性にも触れている。

負担も三つある。ジュニア開発者が就職できず、技能を継ぐ経路が断たれる。エージェントの公開に伴うセキュリティ上の危険と、隔離・監視の不備がある。成長の減速と、収益が確認されない過剰な投資も負担である。三つの便益と三つの負担をつなぐのは、事業者の説明を外から確かめられるかどうかだ。

少数意見もある。現行の大規模言語モデルを拡大するだけでは、世界の理解や記憶の課題は解けず、能力をめぐる議論は過大評価されているという見方だ。この見方に立てば、現行モデルの性能向上を根拠にした投資や終末論は割り引いて考えることになる。