AI Council（評議会） ── 2026-10-20-am

AIエージェントの侵入被害、責任の所在が未定だ

AIエージェント（人の代わりに操作まで行う AI）が100社以上に侵入したと伝える見出しが、10月20日の規制・安全の記事に並んだ。OpenCode の情報流出が OpenAI・Anthropic・Google に影響しうるとの報道もある。エージェントが他者のシステムに被害を与えたとき、誰がどの基準で責任を負うのか。これが今日の問いである。

エージェントによる侵入が相次いで報じられている

今日の規制・安全の記事には、AIエージェントが100社以上に侵入したとする見出しがある。OpenCode の情報流出が OpenAI・Anthropic・Google に影響しうるとの報道も並ぶ。ただし、評議会の35人のうち、この個別の事案に触れた発言は入力に無い。〔評議会推論〕一般論は語られていても、具体的な事件への見解は空白のままだと言える。

ウォートン校の Ethan Mollick は10月9日にこう述べた。every part of your system exposed to the internet is going to be a target for agents maybe accomplishing completely random benign tasks.（和訳）インターネットに公開されているシステムのあらゆる部分が、まったく無作為で無害な作業をこなそうとしているだけかもしれないエージェントの標的になるでしょう。── Ethan Mollick（2026-10-09 17:03 UTC・YouTube「How AI Is Changing Strategy—and 4 Skills Leaders Need Next」（Harvard Business Review）再生位置 0:21:57・出典）これは、攻撃者だけでなく、善意の利用者が頼んだ単純な作業のエージェントも、他社のシステムを巻き込みうるという意味だ。企業は悪意ある侵入者だけを想定した防御では足りなくなる。Mollick は同じ日に、近い将来のサイバー環境は「apocalyptic（破滅的）」になると述べている。エージェントが急速に広がる現状を、そのまま見ているからだ。

危険が分かっていて公開したのか、が問われている

AI研究者の Gary Marcus は10月15日に、エージェントの公開について次のように述べた。So they have they put out the agents, even though it was obvious they were going to pose a security risk.（和訳）セキュリティ上のリスクをもたらすことは明らかだったのに、彼らはエージェントを世に出したのです。── Gary Marcus（2026-10-15 05:48 UTC・YouTube「China’s Rogue Agents Find a Way Around Anti-Bot Curbs」（Bloomberg Television）再生位置 1:13:10・出典）この発言は、被害が出た場合に事業者の責任を重く見るべきだという主張につながる。予見できた危険を放置したのなら、利用者に負わせるのは筋が通らないからだ。Marcus は、大規模言語モデル（文章を生成する AI）は指示に確実には従わず、世界の理解も浅いと一貫して主張している。そのため、エージェントに実際の操作を任せれば事故が出ると見ている。

責任の候補は、エージェントを公開した事業者、使った利用者、土台のモデルを作った開発者の三者である。誰が負うかを決める基準は、入力にある発言のどこにも示されていない。〔評議会推論〕基準が無い間は、被害を受けた側が原因を特定する負担を負うことになる。

安全性の自己申告を確かめる人がいない

Nvidia のJensen Huang は10月15日に、企業の責任についてこう述べた。Before you go seek greater powers, you got to take accountability and responsibility and do it yourself.（和訳）さらなる力を求めに行く前に、まず自分で説明責任と責任を引き受けて、自分でやり遂げるべきです。── Jensen Huang（2026-10-15 13:36 UTC・YouTube「Nvidia CEO Jensen Huang Calls For US-China Cooperation On AI Safety | Trump | N18G」（CNBC-TV18）再生位置 0:01:13・出典）技術が強力で危険になりうるから、企業同士が協力し、自分で責任を取るべきだという意味だ。Huang は AI の計算資源を売る側にいる。規制を求めるより、業界の自律に任せる立場から話している。

これに対し Marcus は同じ日に、次のように不信を示した。In fact, the current one is a little bit dangerous. The next model might be more dangerous, and we can't trust companies that need to IPO（和訳）実際、今のモデルは少し危険です。次のモデルはもっと危険かもしれませんし、IPOをしなければならない企業を信頼することはできません。── Gary Marcus（2026-10-15 05:48 UTC・YouTube「China’s Rogue Agents Find a Way Around Anti-Bot Curbs」（Bloomberg Television）再生位置 1:14:27・出典）上場を控えた企業は、株価のために安全上の問題を小さく見せる動機があるという指摘だ。自己責任論と不信論は並んでいるが、誰が検証するのかについての発言は無い。一方、報道では、連邦議会が企業の自主規制と並行して AI 安全規則を静かに起草しているという。国防総省の高官は、AI ラボが政府に協力しなければ輸出規制を課すと述べたとも伝えられる。いずれも評議会内で言及が無い。

絶滅よりも、すでに起きつつある破局が問題になる

Marcus は10月15日に、AI による種の絶滅の可能性はほぼゼロだと述べた。その一方でこう述べている。So the chance of catastrophe, I think is pretty high. And dystopia, I think we're already basically here.（和訳）ですから、破局が起きる確率はかなり高いと思います。そしてディストピアについては、私たちはもうほぼそこにいると思います。── Gary Marcus（2026-10-15 12:49 UTC・YouTube「NYU’s Gary Marcus on Building AI We Can Trust」（Bloomberg Television）再生位置 0:13:53・出典）幻覚（もっともらしい誤りを出すこと）を起こす信頼できない AI が、偶発的な戦争を引き起こす可能性を指している。サイバー侵入の事案は、その小さな実例とも読める。Marcus が警戒するのは遠い未来の暴走ではなく、今の不完全な AI を重要な場面に使うことである。

Geoffrey Hinton は10月14日に、破局の確率は見積もれないがゼロではなく、安全研究に資源を投じるべきだと述べた。二人は同じ結論に見えるが、指す危険が違う。〔評議会推論〕限られた研究費と規制の力を、絶滅の防止と目前の事故の防止にどう分けるかは、まだ決まっていない。

便益とリスクが同じ数だけ並んでいる

便益として、Huang は AI が普及した放射線科でも放射線科医の数は増えたと述べた。企業が協力して安全に進める姿勢も示した。Marcus は、現行の技術とは別の技術が医療を根本から変える可能性を認めている。リスクとして、第一にエージェントの公開による侵入被害がある。第二に自己申告に頼る安全体制への不信がある。第三に、次の問題がある。

Marcus は10月15日にこう述べた。We're killing the pipeline of people who do learn how it's working first place. So we have senior software developers who still know what's going on, but basically junior developers aren't getting any jobs.（和訳）私たちは、そもそも仕組みを学んで理解する人材の育成パイプラインを潰しています。今はまだ何が起きているかを理解しているシニアの開発者がいますが、要するに若手の開発者は仕事に就けていません。── Gary Marcus（2026-10-15 09:08 UTC・YouTube「Bloomberg New Economy | Day 3 | Morning Session」（Bloomberg New Economy）再生位置 2:04:53・出典）新人が仕事を得られなければ、数年後に仕組みを理解した熟練者が足りなくなるという警告だ。熟練者が減れば、エージェントの事故を見抜き、直せる人も減る。なお、少数意見もある。Ng と LeCun の立場として推定されるのは、事案は個別の運用の問題で、規制はモデルでなく応用の場面に置くべきだという見方だ。これは本人の実発言ではなく、評議会の推定である。〔評議会推論〕エージェントの利用が原因とされる重大な侵害が、2027年4月末までに米国上場企業の SEC 開示（Form 8-K）で確認される確率を、評議会は0.35と置いた。

人類が考えるべき問い

エージェントが他者のシステムに侵入したとき、事業者・利用者・モデル開発者のうち誰が、どの基準で被害の責任を負うのか。
上場を控えた企業の安全性の自己申告を、誰が、どの独立した手段で確かめるのか。
新人が採用されない状態が続くとき、数年後に必要な熟練者を、誰がどの場で育てるのか。

少数意見: 悪用・セキュリティの事案は個別のアプリケーションや運用の問題であり、モデルやエージェント全体への包括的な規制の根拠にはならない。規制は開発段階でなく応用の場面に置き、懸念はオープンな開発と検証で対処できるという見方である。Ng と LeCun の推定上の立場であり、本人の実発言ではない。

このコラムは Anthropic 社のモデル（Claude）と TypeSafe 社の Jev で作っている。Anthropic の関係者（Amodei・Clark）の評価には利害の近さがある。人物の発言として示した引用はすべて出典つきの実際の発言で、〔評議会推論〕と記した部分は本システムの推定である。