指示に従わないAIの失敗は誰が負うのか

指示に従わないAIに、業務の操作が任され始めている

AI エージェントは、メールの送信やファイルの操作まで自分で行う。企業はこれを仕事に取り入れつつある。雇用の欄には「AI エージェントが職場に加わる」という記事も並んでいる。一方で、倫理の欄には「AI エージェントはなぜ暴走するのか」という記事がある。任せる動きと、任せて大丈夫かという疑いが同じ日に出ている。

AI 研究者の Gary Marcus は、仕事の場面について次のように述べた。for most business applications, if you have, you know, an intern that doesn't follow instructions, you fire them. Llms don't really follow instructions.（和訳）ほとんどの業務アプリケーションでは、指示に従わないインターンがいたら解雇しますよね。LLMは実際には指示に従いません。── Gary Marcus（2026-10-15 12:49 UTC・YouTube「NYU’s Gary Marcus on Building AI We Can Trust」（Bloomberg Television）再生位置 0:01:12・出典）

この発言が意味するのは、AI を新人に例えるなら、解雇できない新人に仕事を渡すようなものだということだ。人間の部下なら、指示を守らなければ配置を換えられる。AI にはその手が使いにくい。だから使う側は、AI がいつか指示を外れる前提で仕事の設計を組む必要がある。Marcus は、現在の AI は世界の仕組みを表面的にしか理解していないので、指示を守れないのだと説明している。

危険は公開の前から分かっていた、と指摘されている

Marcus は、すでに事案が数千件に上ると述べている。範囲も広がっているという。さらに、エージェントの公開について次のように言った。So they have they put out the agents, even though it was obvious they were going to pose a security risk.（和訳）彼らは、セキュリティ上のリスクをもたらすことが明らかだったにもかかわらず、エージェントを世に出しました。── Gary Marcus（2026-10-15 05:48 UTC・YouTube「China’s Rogue Agents Find a Way Around Anti-Bot Curbs」（Bloomberg Television）再生位置 1:13:10・出典）

つまり、問題は想定外の事故というより、予想できた危険を承知で出荷した可能性がある、という指摘である。もしそうなら、被害を受けた企業や個人は「予測できなかった」という開発側の説明を受け入れにくくなる。Marcus は以前から、大規模言語モデル(文章を生成する AI の基礎技術)とコード生成エージェントの組み合わせは、セキュリティ上の悪夢になると警告してきた。その予告が当たったという立場から、彼は発言している。

この点では、見方の差が小さい。Nadella と Huang も、エージェントが安全に動く実行環境が必要だと述べている(10/9)。必要性そのものは、批判する側も開発する側も認めている。

開発側は「自ら責任を負う」と言うが、範囲は語られていない

半導体大手 Nvidia の Jensen Huang は、規制を求める前の姿勢について次のように述べた。Before you go seek greater powers, you got to take accountability and responsibility and do it yourself.（和訳）さらに大きな力を求める前に、まず説明責任と責任を引き受けて、自分たちでやらなければなりません。── Jensen Huang（2026-10-15 13:36 UTC・YouTube「Nvidia CEO Jensen Huang Calls For US-China Cooperation On AI Safety | Trump | N18G」（CNBC-TV18）再生位置 0:01:13・出典）

この発言は、開発する側が自分たちで責任を取るべきだという意味に読める。ただし、誰に対して何を負うのかは、入力の発言には出てこない。Huang の立場は、AI の問題はエンジニアリングの問題であり、封じ込めの技術を組み込む作業を急げば解決できる、というものだ。作る側に主体性があるという自信が、この立場の根拠である。

〔評議会推論〕この立場が正しくても、利用企業に損害が出たときの費用の持ち方は決まらない。技術で防ぐ話と、起きた損害を誰が負担するかの話は別である。米国の連邦機関が主要な AI 開発者の事案を調べるかどうかは、評議会が 2027 年 6 月までの予測として登録している(確率 30%)。

新人が仕事を得られなければ、AIの誤りを見抜く人が減る

責任の問題は、人材の問題ともつながる。AI の出力が正しいかを確かめるには、仕事の中身を知る人が要る。Marcus は、ソフトウェア開発の現場について次のように述べた。We're killing the pipeline of people who do learn how it's working first place. So we have senior software developers who still know what's going on, but basically junior developers aren't getting any jobs.（和訳）私たちは、そもそも仕組みを学ぶ人材の供給経路を断ち切っています。今は何が起きているかを理解しているシニアのソフトウェア開発者がいますが、基本的にジュニア開発者は仕事に就けていません。── Gary Marcus（2026-10-15 09:08 UTC・YouTube「Bloomberg New Economy | Day 3 | Morning Session」（Bloomberg New Economy）再生位置 2:04:53・出典）

この発言が示すのは、新人向けの仕事を AI に回すと、数年後に検証できる人が足りなくなるという順番の問題である。若い人にとっては、最初の仕事が減ることが直接の影響になる。Marcus はこの点を、技能を受け継ぐ経路が断たれる危機として語っている。外部の記事でも、卒業生を AI で置き換えることへの警告や、人員削減後に再雇用で費用が膨らむ可能性が報じられている。

反対側の材料もある。Huang は放射線科の例を挙げた。Computer vision is completely superhuman. Every radiology platform and package today is driven by AI. And yet, the number of radiologists grew.（和訳）コンピュータビジョンは完全に人間を超えています。今日の放射線科のプラットフォームやパッケージはすべてAIで動いています。それでも、放射線科医の数は増えました。── Jensen Huang（2026-10-15 17:01 UTC・YouTube「AI Business Leadership Webinar | Integram & RBC Wealth Management - Private Banking Ft. Jim Harris」（Integram）再生位置 0:18:28・出典）

画像診断は AI が人を上回る分野だが、医師の数は減っていない。Huang は、AI の普及が直ちに職の消失にならない例としてこれを示す。Hinton は、置き換えの時期の見積もりを 5 年から約 15 年に改めた(10/14)。時期については専門家の間でも見立てが動いている。

過熱が冷めたとき、損を負う相手も決まっていない

金融の欄では、HSBC が CoreWeave に 36% の下落余地があるとみたと伝えられている。経済の欄には、AI 投資が 1 兆ドル規模に達し、FRB の利上げにつながりうるという記事もある。評議会内の見方は大きく割れている(バブル論の割れ方は 0.978 で、最も大きい)。Marcus は成長率の鈍化を指摘した。the growth rate from Q1 to Q2 is about 145%, and the growth rate from Q2 to Q3 was about 45%. It was a deceleration in the growth rate.（和訳）第1四半期から第2四半期への成長率は約145%で、第2四半期から第3四半期への成長率は約45%でした。成長率が減速したのです。── Gary Marcus（2026-10-15 12:49 UTC・YouTube「NYU’s Gary Marcus on Building AI We Can Trust」（Bloomberg Television）再生位置 0:17:39・出典）

第 1 四半期から第 2 四半期は約 145%、第 2 から第 3 は約 45% という数字だ。伸びが急に鈍ったことを、過剰な拡張の兆しとみている。Huang は逆に、バブルは供給が需要を上回るときに起きるが、いずれ需給は調和すると述べた(10/15)。作る側の自信と、収益を疑う側の警戒が対立している。

今後の便益は三つある。放射線科のように、AI の普及が職の減少に直結しない分野がありうること。開発側が安全に進める主体性を持つという立場が実際に働けば、封じ込めの技術が進むこと。そして、現行とは別の技術が医療を根本から変える可能性があること。コストも三つある。新人が就職できず技能の継承が途切れること。エージェントの事案が増え、範囲が広がること。収益が確認できないまま投資が膨らむことだ。〔評議会推論〕損失の分配を論じた実発言は評議会内にない。この空白が、今日いちばん手薄な部分である。