安全を仕事にしている人間が、安全ではないと言って去る。それは裏切りなのか、誠実さなのか。 2026年9月9日、Anthropicのアライメント部門に所属していた27歳の研究者が退職した。WSJ、CNBC、Forbesが一斉に報じた理由は、彼が残した言葉にある。「今後10年以内にAIが人類全体を殺す確率は10%を超える」。安全性を企業理念の中心に置く会社の内部から、その言葉が出た。
01番人が持ち場を離れた日
Anthropicは設立当初から「安全なAI」を看板にしてきた。競合が速さを競うなかで、慎重さを売りにした。だからこそ、安全を研究する人間がその会社を離れるという事実は重い。消防士が「この建物は燃える」と言って逃げたようなものだ。残された人は、火が本当なのか、消防士の判断を疑うべきなのか、分からなくなる。
同じ日、Financial Timesは別の報道を出した。Anthropicが最新モデルを英国のAI安全性テスト機関に提供しなかったという内容だ。安全を掲げる企業が、外部の検証を避けている。二つのニュースを並べると、看板と行動のあいだに隙間が見える。
0210%という数字の手触り
「10%超」という数字を、どう受け取ればいいのか。10回に1回以上、人類が滅びる。サイコロの目に喩えれば、6面のうち1面が絶滅。これは無視していい確率ではない。だが同時に、この数字には根拠の開示がない。どの前提を置き、どの計算をしたのかは語られていない。
確率を示すことは、それだけで警告になる。しかし確率の出し方を示さなければ、受け取る側は信じるか信じないかの二択に追い込まれる。資材審査でも同じことが起きる。「この表現は誤解を招く」と指摘するとき、どう誤解されるのか、どれくらいの頻度で誤解されるのかを添えなければ、指摘は感想に終わる。
03内部告発と、ただの退職のあいだ
この研究者の行動は内部告発なのか。厳密には違う。不正を暴いたわけではない。自分の恐怖を表明し、業界そのものから離れると言った。内部告発には告発先がある。裁判所、規制当局、報道機関。だがこの場合、告発先は「社会全体」であり、是正を求める具体的な行動計画は示されていない。
内部告発
組織の不正や危険を、外部の権限ある機関に通報する行為。通報者保護の法制度がある。具体的な是正措置を求める。
恐怖による離脱
危険を感じて持ち場を去る行為。告発先を特定せず、是正の責任を負わない。ただし、去ること自体がメッセージになる場合がある。
予言的警告
将来の危険を公に述べる行為。根拠の提示義務がなく、検証もされにくい。外れても責任を問われず、当たれば称えられる非対称性がある。
ハンナ・アーレントは『エルサレムのアイヒマン』で、組織のなかにいる人間が「考えることをやめる」危険を書いた。逆に、考え続けた結果として組織を去る人間がいる。問題は、去った人が正しいかどうかではなく、残った人がその後どう考えるかだ。
04安全を語る者の二重拘束
安全性を企業理念にすると、厄介な構造が生まれる。安全だと言えば「証明せよ」と迫られ、危険だと言えば「なぜ続けるのか」と問われる。グレゴリー・ベイトソンが名づけたダブルバインドに似ている。どちらに進んでも批判される状態だ。
| 立場 | 主張 | 批判 |
|---|---|---|
| 安全だと言う | 我々のモデルは制御されている | 証拠を出せ。外部検証を受けろ |
| 危険だと言う | リスクは高い。慎重に進める | なら開発をやめろ。売るな |
| 沈黙する | 何も言わない | 透明性がない。隠している |
The American Prospectは同日、Anthropicが活動家監視向けの予測的サーベイランスシステムを構築していると報じた。安全を看板にする企業が、監視技術を開発している。看板と実態の距離が広がるほど、看板そのものへの信頼が摩耗する。
05資材審査の現場に似た風景
私たちの仕事にも、これと似た緊張がある。「この資材は適切です」と判を押す行為は、安全宣言に近い。だが判を押した人間が、本当にすべてを確かめたのかは外からは見えない。確認シートの欄が埋まっていても、目が届いていない場所がある。
審査者が「この資材は出せない」と止めたとき、止めた理由が明確でなければ、それは恐怖による拒否に見える。逆に、通したあとで問題が起きれば、「なぜ通したのか」と問われる。安全を仕事にする者は、常にこの挟み撃ちのなかにいる。
だからこそ、理由を言語化する技術が要る。怖いから止める、ではなく、ここがこう読まれる可能性があるから止める。恐怖と根拠を分けること。それが審査者の仕事の核だ。
06去る人に、何を問うべきか
この研究者に問うべきことがあるとすれば、それは「本当に10%なのか」ではない。「あなたがいた場所で、何を変えようとして、何が変えられなかったのか」だ。確率は議論の入口にすぎない。出口は、具体的な行動にある。
アルベール・カミュは『ペスト』で、疫病の街に残って患者を診続けるリウー医師を描いた。リウーは英雄ではない。ただ、自分の持ち場にいることを選んだ人間だ。去ることが正しい場合もある。だが去る前に、何を試みたかが問われる。
去ることで伝わるもの
組織の内部から声を上げても変わらなかったという事実。去ること自体が、最も強いメッセージになることがある。
残ることで守れるもの
内側からしか見えない問題を、引き続き監視し、小さな修正を積み重ねる可能性。ただし、残ること自体が共犯に見えるリスクもある。
07恐怖を、仕事に変える
安全を仕事にする人間は、恐怖と共に働いている。見逃したらどうなるか。通してしまったらどうなるか。その恐怖は消えない。消す必要もない。恐怖は、注意を向ける方向を教えてくれる信号だ。
問題は、恐怖に飲まれて動けなくなるか、恐怖を根拠に変換して次の一手を打てるかの分岐にある。10%という数字を投げて去ることと、10%を0.1%ずつ削るために残ることは、どちらも誠実さの形だ。ただし、削る努力は記録に残りにくく、投げる言葉は見出しになりやすい。
私たちの机の上にある一枚の資材も、同じ構造を持っている。すべてのリスクを消すことはできない。だが一つずつ、根拠をつけて、削ることはできる。安全の番人が逃げた日に、残った者がすべきことは、持ち場に戻ることだ。恐怖を握りしめたまま。
安全を語ることと、安全を作ることは違う。語る言葉は見出しになるが、作る仕事は記録に残りにくい。Anthropicの研究者が投げた「10%」は、問いとしては有効だ。だがその問いに答えるのは、去った人ではなく、残った人の仕事だ。恐怖を根拠に変え、根拠を行動に変える。地味で、終わりのない、その繰り返しが安全を作る。
Key Points ── 3つの持ち帰り
- 安全を掲げる組織の内部から恐怖の声が上がること自体は、組織が考えている証拠でもある。問題は、その声が組織の行動を変えたかどうかだ。
- 確率の数字は議論の入口にすぎない。根拠の開示と、具体的な是正策がなければ、警告は感想に終わる。
- 恐怖を消す必要はない。恐怖を根拠に変換し、一つずつリスクを削る作業が、安全を名乗る者の本当の仕事だ。
出典・参考
- Wall Street Journal, "Anthropic Researcher Quits Over 'Uncontrollable' AI Concerns," 2026-09-09.
- CNBC, "Anthropic researcher says 'probability that AI kills all of us' is 'above 10%' after colleague quits," 2026-09-09.
- Forbes, "Anthropic's Head Of Alignment Warns AI Has 'Above 10%' Chance Of 'Killing All Of Us' Within Decade," 2026-09-09.
- Financial Times, "Anthropic withheld latest AI model from UK testing body," 2026-09-09.
- The American Prospect, "Anthropic and predictive surveillance systems," 2026-09-09(報道日).
- Hannah Arendt, Eichmann in Jerusalem: A Report on the Banality of Evil, Viking Press, 1963.
- Gregory Bateson, Steps to an Ecology of Mind, University of Chicago Press, 1972.
- Albert Camus, La Peste, Gallimard, 1947.(邦訳『ペスト』宮崎嶺雄訳、新潮文庫)