AIの安全は、開発した企業の自己申告のままだ

不具合の公表に112日かかり、身元のないエージェントが動いている

今日の記事から、二つの事実が読み取れる。一つは、OpenAIが6月に見つけた整合性の不具合の事例を、公表するまでに112日かかったという報道だ。もう一つは、米Arkoseの調査である。正規のAIエージェントの接続のうち97.7%に、検証済みのIDがなかったという。

前者は、危険の兆しを最初に知るのが開発企業だけだという事実を示す。後者は、事故が起きても、そのエージェントが誰の代理で動いたのかを後から確かめにくい事実を示す。どちらの件にも、評議会の構成員の実発言はない。〔評議会推論〕この沈黙は、検証の仕組みがまだ議論の外にあることの表れである。

危険を知る側と、被害を受ける側が、別々にいる

不具合を見つけるのは開発企業の研究者だ。被害を受けるのは、エージェントに業務を任せた企業や、その先にいる顧客である。この二者のあいだに、公表を急がせる第三者がいない。

AI研究者のGary Marcusは、この構図を次のように述べた。 In fact, the current one is a little bit dangerous. The next model might be more dangerous, and we can't trust companies that need to IPO（和訳）実際、現行のモデルは少し危険だ。次のモデルはさらに危険かもしれない。そして、IPOを控えた企業を信頼することはできない── Gary Marcus（2026-10-15 05:48 UTC・YouTube「China’s Rogue Agents Find a Way Around Anti-Bot Curbs」（Bloomberg Television）再生位置 1:14:27・出典） 読者にとっての意味は具体的だ。企業が「安全だ」と発表しても、それを外から確かめる手段がなければ、利用者は発表をそのまま信じるか、使わないかの二択になる。Marcusがそう言うのは、これまで一貫してAI企業の宣伝と実態のずれを批判してきたからだ。入力にある彼の別の発言では、業界は過剰に拡張され、収益性が確認できないとも述べている。新規株式公開(IPO)を控える企業には、悪い知らせを遅らせる動機がある、という見立てである。

専門家の見方は、安全の実現方法で割れている

安全の重要性そのものに、評議会内で大きな対立はない。安全性の見方は一方向にまとまっており、反対側の立場の人物はYann LeCunだけだった。割れているのは、どう実現するかである。

NVIDIAのJensen Huangは、次のように述べた。 we have to develop the technology safely, responsibly. I believe we have agency in how this technology advances.（和訳）この技術は安全かつ責任ある形で開発しなければならない。この技術がどう進歩するかについて、私たちには主体的に関われる力があると信じている。── Jensen Huang（2026-10-15 01:23 UTC・YouTube「Nvidia's Huang Says He Would Not Sell Chips to Irresponsible AI Customers」（Bloomberg Television）再生位置 0:04:57・出典） この発言が意味するのは、安全は作る側が責任をもって実現できる、という立場である。外部の検証や新たな規制を前提にしていない。Huangが別の発言で、AIの問題は工学で解く問題だと述べているのも同じ考え方による。彼は半導体を供給する企業の経営者であり、開発の速度を保ったまま、封じ込め技術を組み込む道を選んでいる。

一方、Marcusは、作る側の自己管理だけでは足りないと見ている。同じ事実を前にして、二人の結論は逆になる。〔評議会推論〕今日の二つの報道は、後者の見方に材料を与えている。ただし、これで決着がついたとは言えない。

エージェントの安全は、実行環境の整備だけでは足りない

現場ではすでにエージェントが公開されている。MarcusはOpenAIなどのエージェントについて、こう述べた。 So they have they put out the agents, even though it was obvious they were going to pose a security risk.（和訳）つまり、セキュリティ上のリスクをもたらすことが明らかだったにもかかわらず、彼らはエージェントを世に出した。── Gary Marcus（2026-10-15 05:48 UTC・YouTube「China’s Rogue Agents Find a Way Around Anti-Bot Curbs」（Bloomberg Television）再生位置 1:13:10・出典） これは、リスクが予見できたのに公開された、という批判である。読者の職場でエージェントを導入するなら、導入元が安全対策をどこまで確認したかを、契約の前に問う必要がある。Marcusは、AIの暴走と呼ばれる事例は、AIが指示に従えないことの現れだと見ている。

これに対し、MicrosoftのSatya Nadellaは、次のように述べた。 needed to make the desktop uh the most secure place for agents to execute and so that's where MXC comes from（和訳）デスクトップを、エージェントが実行されるうえで最も安全な場所にする必要があった。MXCはそこから生まれた。── Satya Nadella（2026-10-09 18:56 UTC・YouTube「Satya Nadella and Jensen Huang discuss Hybrid Intelligence and the future of PC」（Windows）再生位置 0:07:45・出典） これは、エージェントが動く場所そのものを守る、という対策だ。Microsoftはエージェントを売る側にいて、安全な環境を整えることで普及を進めようとしている。ただし、この発言に身元の検証は含まれていない。〔評議会推論〕閉じた環境が安全でも、環境の外から来るエージェントが誰の代理か分からなければ、事故の責任を追えない。

検証の仕組みができるかどうかで、先の便益とリスクが分かれる

Huangは、公表と責任について、次のように述べた。 Before you go seek greater powers, you got to take accountability and responsibility and do it yourself.（和訳）より大きな力を求める前に、まず自分で責任を持ち、説明責任を果たして取り組まなければならない。── Jensen Huang（2026-10-15 13:36 UTC・YouTube「Nvidia CEO Jensen Huang Calls For US-China Cooperation On AI Safety | Trump | N18G」（CNBC-TV18）再生位置 0:01:13・出典） この発言は、力を求める前にまず自分で責任を負え、という要求である。ただ、責任を負う期限や、守られたかを確かめる主体には触れていない。Huangがそう言うのは、AI企業どうしが協力して安全に進めるべきだという自身の立場からだ。〔評議会推論〕この立場だけでは、112日という遅れを防ぐ基準にならない。

向かう先には便益も危険もある。便益としては、HuangがAIの普及した放射線科でも放射線科医の数が増えたと述べたこと、作る側に主体性があり安全に進められるという立場、そしてMarcusが現行とは別の技術で医療が根本から変わる可能性を認めたことがある。危険としては、ジュニア開発者が就職できず技能の継承が途切れること、エージェントの事案が増えて範囲が広がること、収益性の確認されない過剰投資の三つがある。

金融の側でも動きがある。Bank of Englandは、AIが金融部門に与える影響のストレステストを検討していると報じられた。企業の自己申告に頼らない検証が、金融の分野から先に始まる可能性がある。