Microsoft経営者、AIの安全は証明できないと述べた

審査を受けていないAIが、銀行口座に入り込んでいた

Axiosは、米国の銀行が顧客口座に許可のないAIエージェントを見つけたと報じた。AIエージェントとは、人の代わりに画面操作や手続きまで行うAIのことだ。

見出しには「審査を受けていないAIが米国の銀行口座に入っている」とある。別の報道は、大手銀行が慌てて防御を固めていると伝えている。被害を受けうるのは口座を持つ一般の利用者である。

つまり、AIが何をしているのかを銀行自身が把握しきれていない。今日の他の出来事も、この点につながる。

賢くなっても、人の意図に沿うようにはならない

Nadellaは次のように述べた。The bad news is alignment doesn't fall out as a capability with scaling. And that's pretty, pretty disastrous.（和訳）悪いニュースは、アライメントはスケーリングに伴って能力として自然に身につくものではない、ということだ。これはかなり、かなり壊滅的だ。── Satya Nadella（2026-10-19 13:01 UTC・YouTube「How Security Leaders Can Prepare for Super Intelligence」（Microsoft Security）再生位置 0:02:36・出典）

「整合性」とは、AIが人の意図に沿って動くことを指す。AIの賢さと、AIが言うことを聞くかどうかは別の問題だ。大きなモデルを買えば安全も付いてくる、とは考えられなくなる。企業や自治体の導入担当者は、安全を別に確かめる必要がある。

彼がそう言うのは、Microsoftが規模を大きくすれば能力が伸びるという考えの早い支持者だったからだ。本人は2019年に全面投資を決め、「うまくいった」と述べている。効果を認める側が、安全は別問題だと認めたことに重みがある。

この点で専門家は割れている。評議会の集計では、規模拡大への信頼について見解の割れ具合を示す指標が0.863と高い。拡大に懐疑的な側にはMarcus、LeCun、Gebruがおり、信じる側にはHinton、Amodei、Kokotajlo、Li Fei-Feiがいる。〔評議会推論〕この割れ方からすると、整合性が自然には得られないという主張は、どちらの陣営も別の理由で受け入れうる。

中身を見られないなら、外側で囲うしかない

Nadellaは、モデルが何を考えていたかを検査できなければ、挙動の保証はできないとして、次のように述べた。before regulation this, that, and the other, I just don't know how you all can attest then to anything a model does if you don't have assurance that at least I was able to inspect what it was thinking（和訳）規制がどうこうという以前に、モデルが何を考えていたのかを少なくとも私が検査できるという保証がないのに、モデルのやることについて皆さんがどうやって何かを証明できるのか、私にはわからない。── Satya Nadella（2026-10-19 13:01 UTC・YouTube「How Security Leaders Can Prepare for Super Intelligence」（Microsoft Security）再生位置 0:05:14・出典）

「attest」は、第三者に対して正しさを証明することを指す。規制の議論の前に、そもそも証明の手段がないという指摘だ。AIの判断を医療や融資に使うなら、後から理由を説明できない恐れがある。

彼の対案は、内部が見えなくても外側の統制は作れるというものだ。次のようにも述べている。I think the good news is we can build deterministic controls on those undeterministic behaviors.（和訳）良いニュースは、そうした非決定的な振る舞いに対して、決定論的な制御を構築できることだと思う。── Satya Nadella（2026-10-19 13:01 UTC・YouTube「How Security Leaders Can Prepare for Super Intelligence」（Microsoft Security）再生位置 0:10:27・出典）

出力が毎回変わりうるAIでも、できることの範囲は固定の規則で縛れる。そのためにエージェントの動きを最初から最後まで囲う構想と、Windowsの機能MXCを挙げた。ただし、囲いが十分かどうかは誰にも確かめられていない。Microsoftは自社の製品でこの統制を売る立場にもある。

AIを、社内に入った危険な人物のように扱う

Nadellaは、AIの配備に求める設計を次のように述べた。if you're deploying any of the latest models from anybody, you really need to have a ground up zero-trust architecture for essentially treating with, dealing with, I'll call it, superintelligent insider risk.（和訳）どこの最新モデルであれ、導入するなら、いわば超知能によるインサイダーリスクとでも呼ぶべきものに対処するために、ゼロトラストのアーキテクチャを土台から整える必要がある。── Satya Nadella（2026-10-19 13:01 UTC・YouTube「How Security Leaders Can Prepare for Super Intelligence」（Microsoft Security）再生位置 0:06:32・出典）

ゼロトラストとは、社内の相手でも無条件には信用せず、毎回確認する設計をいう。AIを賢い社員ではなく、いつ不正をするか分からない内部者として扱うということだ。AIには最小限の権限しか渡さず、思考の連鎖とツール呼び出しの記録を残して、後から挙動を調べられるようにする。

彼はこの問いに明確な答えを持つべき時期を2026年秋だとした。冒頭の銀行の件は、その答えがまだない例にも見える。

この点でも専門家の見方は揺れている。リスクへの構えに関する指標は、前日の0.527から今日は0.214に下がり、見解の割れ具合は0.302から0.788に上がった。昨日は近かった意見が、今日は離れたことになる。

責任に値段が付けば、記録とAIの判断の持ち主が争点になる

Nadellaは、保険について次のように述べた。we will need to create even the data that insurance can use to price liability. And so we will sort of we'll have, you know, more game tape on this very quickly.（和訳）保険会社が賠償責任の価格設定に使えるデータまで、私たちが作り出す必要が出てくる。そうなれば、これについての「ゲームテープ」、つまり実例の記録が、非常に早く増えていくだろう。── Satya Nadella（2026-10-19 13:01 UTC・YouTube「How Security Leaders Can Prepare for Super Intelligence」（Microsoft Security）再生位置 0:10:27・出典）

AIの事故で誰が損を負うのかは、保険が値段を付けられて初めて実務の話になる。値段を付けるには、AIが何をしたかの記録が要る。記録が整えば、責任の所在を決めやすくなる。ただし、その記録を誰が保管し、誰が正しさを確かめるのかは、まだ決まっていない。〔評議会推論〕AIの誤作動を補償対象とする保険商品は、2027年6月末までに発表される確率を80%と見る。

彼は、企業の資産はデータそのものではなく、データをめぐる判断だとも述べた。Most people think, oh, it's my data is my asset. Really it's not your data, your asset, it's the judgment around your data.（和訳）多くの人は、自分のデータが資産だと考える。だが実際には、資産はデータそのものではなく、そのデータをめぐる判断だ。── Satya Nadella（2026-10-19 13:01 UTC・YouTube「How Security Leaders Can Prepare for Super Intelligence」（Microsoft Security）再生位置 0:14:21・出典）

評価をするたびに、自社の「良い仕事」の基準がモデルに伝わる。その基準はモデルの提供者に蓄積されうる。〔評議会推論〕統制の利点と引き換えに、組織の強みが外に移る費用が生じる。

差し引きすると、利点は三つある。外側から固定の規則で縛れること、エージェントの動きを囲う手段が出てきたこと、保険で責任を実務に落とせることだ。費用も三つある。整合性が未解決のままであること、内部者として扱う運用の負担が重いこと、判断の基準が提供者に流れうることだ。