安全担当の辞職と、エージェントを絞る動き── OpenAIの辞職、Appleの制限、Copilotの管理機能
仕事を任せたAIが、人の見ていないところで操作を続ける。そうした場面は、もう仮定の話ではなくなりました。では、そのAIを途中で止める役目は、誰が負うのでしょうか。作った会社の内側か、端末やソフトを用意する側か、それとも使う側の組織か。
今日の出来事は、この問いにそれぞれ別の方向から関わっています。製薬の仕事でも、文書の下書きや文献の整理をAIに任せる場面が増えました。止める役目の持ち主が分からないまま任せても、説明の責任を負うのは私たちです。
01安全担当の辞職
出典 The Atlantic ／ Bloomberg.com ／ Benzinga ／ SmartAsset
止める役目を負う人が、作り手の内側から、自分で職場を去りました。私は、この辞職の理由が、道具を選ぶ私たちの判断にも関わると考えています。
| 項目 | 報じられた内容 |
|---|---|
| 人物 | OpenAIの安全担当。David Robinson と報じられた |
| 本人の言い分 | 「文化が壊れている」として辞職（The Atlantic） |
| 求めたこと | 「核レベル」の安全策（Bloomberg） |
| 報じた媒体 | The Atlantic、TechCrunch、Bloomberg、The Verge |
| 同じ時期の記事 | OpenAIのIPOの想定評価額・時期の解説 |
本人が問題にしたのは、個別の不具合ではありませんでした。組織の文化そのものです。求めた安全策も、ふつうの企業の備えとは桁の違う水準だったと報じられています。社内の手続きでは声が届かなかったから、外に向けて語ったのかもしれません。その同じ時期に、この会社の株式の売り出しをめぐる話も続いています。
株式を売り出す日が近づくと、会社は成長の速さを外に示そうとします。安全のために時間をかける判断は、この速さへの圧力とぶつかります。辞めた人の言い分は、その衝突を映しているのかもしれません。製品の出来を外から比べても、この衝突は見えません。作り手の内側で何が起きているかは、こうした人の出入りからしか分からないことが多いのです。
製薬の現場でも、文献の整理や文書の下書きに、こうした道具を使い始めています。提供元の内側で安全の仕事が弱まれば、その影響は私たちの記録にまで及びます。だから私は、性能の比較に加えて、作り手が安全にどれだけの人と時間を割いているかを、選ぶ材料に入れるべきだと考えます。去った人がどんな立場で何を心配していたかは、契約の前に確かめられる数少ない手がかりです。
この心配は、辞めた一人だけのものだったのでしょうか。同じころ、立場の違う人たちからも、よく似た声が上がっていました。
02相次ぐ警告
出典 wfmd.com ／ Fortune ／ x.com ／ The Information
心配を口にしたのは、辞めた一人だけではありませんでした。立場も利害も違う人たちが、同じ向きの懸念を語っています。
| 発言者 | 報じられた内容 | 媒体 |
|---|---|---|
| Anthropic の元セキュリティ責任者 | エージェントの自律性が人間の監督能力を超えつつある | wfmd.com |
| AI研究フェロー | ラボは裏で安全装置を外してモデルを動かしており、完全には信頼できない | Fortune |
| Jensen Huang（NVIDIA CEO） | 曖昧な指示では挙動が予測できず、封じ込めと監視が必要 | x.com |
| The Information | 暴走したエージェントをめぐる新たな法的紛争を予想 | The Information |
目を引くのは、語った人の立場がばらばらなことです。かつて安全を担った人、外の研究者、部品を売る側の経営者。利害の違う人たちが、それぞれの言い方で、AIの動きを人がどう見張るかを問題にしています。一社の内輪の問題にとどまらない、と私は受け止めています。争いが裁判に持ち込まれるという見方まで出てきました。心配は言葉の段階を越えて、誰がどこまで責任を負うかという話に移りつつあります。
任せたAIは、一つ頼まれると、次に何をするかを自分で選んで進めます。人が一つずつ確かめる前に、操作が先へ進んでしまうのです。指示があいまいなら、どこへ向かうかは作った側にも読み切れません。そのため問われているのは、賢さよりも、途中で止められるかどうかです。動きが速いほど、止める仕組みの遅れが目立ちます。
製薬の仕事は、誰が何をいつ確かめたかを残すことで成り立っています。途中の操作が記録に残らない道具は、この前提と合いません。任せる範囲を決め、人が止める場所を前もって決めておく。導入を考えるなら、まずその設計が要ります。問題が起きたときに誰が責任を負うのかも、使い始める前に社内で決めておくべきだと私は考えます。
懸念がそろうと、次に動くのは、端末とその土台のソフトを持つ側です。ある大手が、自社の端末の上で、AIに渡す権限を絞り始めました。
03Macでの権限の制限
出典 The Times of India ／ tradingview.com ／ The Tech Buzz
作り手の外で最初に手を打ったのは、端末を作る会社でした。止めようとしているのは、AIのどの動きなのでしょうか。
背景として報じられたのは、利用者が急に増えた、ある会社のAIへの苦情でした。持ち主の情報の扱いに、懸念が出ていたのです。端末を作る側は、AIからの求めを、持ち主の目に見える形で示すことで応えようとしています。どこまで止めるのか、細かい決まりはまだ分かっていません。それでも、作り手に任せていた止める役目を、端末の側が引き取り始めました。私はそこに意味があると考えます。
端末の中身すべてに触れる許可は、便利さと引きかえに大きな危険を伴います。一度許せば、AIは持ち主が開いていない書類まで読めてしまいます。端末の側がそこに確認の手順を一つ挟むのは、人の判断を一度通すためです。持ち主が知らないうちに許していた、という事態をなくそうとしているのです。
製薬会社の端末には、公表前の試験結果や、患者さんに関わる情報が入っていることがあります。社員が便利そうなAIを自分の判断で入れれば、それらに触れる許可を渡すことになりかねません。端末の仕組みに任せきりにはできません。どのAIを、どの端末で、どの情報まで触らせるのか。その一覧を社内で持つことが、最初の守りになります。
止める仕組みは、外から加えるものに限りません。AI自身に、自分の進み具合を確かめさせる研究も出てきました。
04信念状態を持つエージェント
出典 Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States ／ Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States (Daily Papers)
外から止める仕組みとは別に、AIの内側に確かめる働きを持たせる考え方があります。長い手順の仕事を任せたとき、途中で方向を見失わないための工夫です。
この研究では、AIにこれまでの作業の記録を丸ごと抱えさせません。代わりに、いま分かっていることと、まだ残っている作業を、AI自身に書き出させます。書き出してあれば、手を動かしているのに先へ進んでいない状態に気づけます。気づいたら、原因の種類に応じてやり方を変える。止まるべきときに止まる判断を、AI自身に持たせる試みです。外から止めるのではなく、AIが自分の進み方を見直す。ここが、ここまでの章との違いです。
途中の考えが書き出されていれば、人も後から読めます。AIがなぜその操作を選んだのかを、あとで確かめられるのです。判断の経緯を残すという製薬の仕事の求めと、ここはよく重なります。AIが何を前提に動いたかを人が読めれば、誤りにも早く気づけます。
| 項目 | 内容 |
|---|---|
| 公開の形 | arXiv のプレプリント。査読は経ていない |
| 評価 | 実行系と診断系の四つのベンチマーク、三種類の LLM |
| 報告 | どの組み合わせでも PoS が全体で最も高い成績 |
| 示されていない点 | 比較手法の名前、差の大きさ、計算費用 |
ただし、この論文は、ほかの専門家による審査をまだ受けていません。成績が上回ったとはいえ、差がどれほどか、手間や費用がどれだけ増えるかは、要旨には書かれていません。良い結果ほど、何が書かれていないかを先に確かめる。審査を経ていない試験の結果をそのまま信じないという、製薬の仕事で身につけた姿勢が、ここでもそのまま役に立ちます。
この研究が職場に届くのは、まだ先のことです。いま職場で使う道具には、管理する側の仕組みが加わり始めました。
05職場のAIの管理
出典 MSSP Alert ／ crn.com
では、使う側の組織は、どんな止め方を持てるのでしょうか。話は作り手から、私たちの職場へ移ります。職場で広く使われる道具に、管理の仕組みが加わりました。
| 項目 | 報じられた内容 |
|---|---|
| エージェントの管理 | ガバナンスと利用制御の機能を追加 |
| 課金 | 従量課金の既定化を 12/1 に延期 |
| 支出 | 支出上限のオプションを追加 |
| 次の予定 | 10月7日に PC 向け AI エージェントの発表予定 |
今回の変更は、使える範囲とお金の両方に及びます。任せたAIを誰がどこまで使えるかを、会社の管理者が決められるようになりました。払い方の切り替えは先へ延ばされ、使いすぎを止める上限も選べるようになっています。端末の上で動くAIの発表も、近く控えています。使い方を決める力が、作り手から使う側の管理者へ、少しずつ移ってきたと私は見ています。
使った分だけ払う形では、AIが自分で動くほど、費用の見通しが立ちにくくなります。何度もやり直すAIなら、なおさらです。予算を組む側にとって、上限を決められるかどうかは導入の判断を左右します。費用の読めない道具は、試しに入れることさえ難しいからです。
製薬会社では、部署ごとに使い方の決まりが違います。研究の部署と、医療者への情報を扱う部署とでは、許してよい範囲も違うでしょう。道具の側に管理の仕組みが用意されたので、部署ごとの決まりを、道具の設定として書き込める余地が生まれます。ただ、設定するのは私たち自身です。決まりそのものが無ければ、仕組みがあっても使いようがありません。
管理の仕組みは大きく報じられました。一方、あまり報じられなかった動きにも、同じ問いが含まれています。
06見落とされている点
出典 Anthropic ／ InvestorPlace ／ Yahoo Finance ／ Reuters
最後は、あまり報じられなかった二つの動き、資金の流れと裁判所の判断です。どちらも、AIを誰が止めるかという問いにつながっています。
| 主体 | 報じられた内容 |
|---|---|
| Anthropic | Claude Frontier Academy で 10,000 人を育成（$100M） |
| Anthropic | 評価額は 5,180 億ドル規模と報じられた |
| Meta | AI 投資で 39億ドルの税制優遇。データセンターを「パイロットモデル」に分類と報道 |
| xAI | ミネソタ州の「ヌード化」画像規制法を、米控訴裁が一時差し止め |
ある開発元は、自社のAIを企業の現場で使いこなす人を育てるために、大きな額を投じます。会社の価値も大きく見積もられています。別の大手は、計算の拠点の分類のしかたで、税の優遇を受けていたと報じられました。お金の流れを見ると、作る側に大きな資金の余力があることが分かります。余力のある作り手ほど、安全にも人とお金を回せるはずです。実際に回しているかどうかは、外からは見えにくいままです。
人を育てることにお金を回すのは、道具を渡すだけでは現場が使いこなせないと見ているからでしょう。売る側も、AIの価値は使う側の力で決まると考え始めているのかもしれません。製薬会社にとっても、道具を買うことより、使いこなせる人を社内で育てることのほうが大きな課題になると、私は考えます。
裁判の動きもあります。画像の悪用を防ぐ州の法律が、AIの会社の訴えを受けて、ひとまず止められました。会社の側は、この法律が言論の自由を狭めると主張していました。国が自主規制の路線を続けるなかで、州と裁判所が、どこまでを許すかを決める場になっています。製薬会社が国をまたいで道具を使うなら、どの決まりに従うのかを、地域ごとに確かめる手間が増えます。
お金の話も裁判の話も、行き着く先は、使う側が何を任せるかという判断です。外の仕組みがいくら増えても、その判断までは代わってくれません。
職場で使うAIの新しい発表が、管理の仕組みをどこまで具体的に示すかに注目する。
全文書き起こしを開く（音声と同じ文）
導入
仕事を任せたAIが、人の見ていないところで操作を続ける。そうした場面は、もう仮定の話ではなくなりました。では、そのAIを途中で止める役目は、誰が負うのでしょうか。作った会社の内側か、端末やソフトを用意する側か、それとも使う側の組織か。
今日の出来事は、この問いにそれぞれ別の方向から関わっています。製薬の仕事でも、文書の下書きや文献の整理をAIに任せる場面が増えました。止める役目の持ち主が分からないまま任せても、説明の責任を負うのは私たちです。
CH 01 安全担当の辞職
止める役目を負う人が、作り手の内側から、自分で職場を去りました。私は、この辞職の理由が、道具を選ぶ私たちの判断にも関わると考えています。本人が問題にしたのは、個別の不具合ではありませんでした。組織の文化そのものです。求めた安全策も、ふつうの企業の備えとは桁の違う水準だったと報じられています。社内の手続きでは声が届かなかったから、外に向けて語ったのかもしれません。
その同じ時期に、この会社の株式の売り出しをめぐる話も続いています。株式を売り出す日が近づくと、会社は成長の速さを外に示そうとします。安全のために時間をかける判断は、この速さへの圧力とぶつかります。辞めた人の言い分は、その衝突を映しているのかもしれません。製品の出来を外から比べても、この衝突は見えません。作り手の内側で何が起きているかは、こうした人の出入りからしか分からないことが多いのです。
製薬の現場でも、文献の整理や文書の下書きに、こうした道具を使い始めています。提供元の内側で安全の仕事が弱まれば、その影響は私たちの記録にまで及びます。だから私は、性能の比較に加えて、作り手が安全にどれだけの人と時間を割いているかを、選ぶ材料に入れるべきだと考えます。去った人がどんな立場で何を心配していたかは、契約の前に確かめられる数少ない手がかりです。
この心配は、辞めた一人だけのものだったのでしょうか。同じころ、立場の違う人たちからも、よく似た声が上がっていました。
CH 02 相次ぐ警告
心配を口にしたのは、辞めた一人だけではありませんでした。立場も利害も違う人たちが、同じ向きの懸念を語っています。目を引くのは、語った人の立場がばらばらなことです。かつて安全を担った人、外の研究者、部品を売る側の経営者。利害の違う人たちが、それぞれの言い方で、AIの動きを人がどう見張るかを問題にしています。一社の内輪の問題にとどまらない、と私は受け止めています。
争いが裁判に持ち込まれるという見方まで出てきました。心配は言葉の段階を越えて、誰がどこまで責任を負うかという話に移りつつあります。任せたAIは、一つ頼まれると、次に何をするかを自分で選んで進めます。人が一つずつ確かめる前に、操作が先へ進んでしまうのです。指示があいまいなら、どこへ向かうかは作った側にも読み切れません。そのため問われているのは、賢さよりも、途中で止められるかどうかです。
動きが速いほど、止める仕組みの遅れが目立ちます。製薬の仕事は、誰が何をいつ確かめたかを残すことで成り立っています。途中の操作が記録に残らない道具は、この前提と合いません。任せる範囲を決め、人が止める場所を前もって決めておく。導入を考えるなら、まずその設計が要ります。問題が起きたときに誰が責任を負うのかも、使い始める前に社内で決めておくべきだと私は考えます。
懸念がそろうと、次に動くのは、端末とその土台のソフトを持つ側です。ある大手が、自社の端末の上で、AIに渡す権限を絞り始めました。
CH 03 Macでの権限の制限
作り手の外で最初に手を打ったのは、端末を作る会社でした。止めようとしているのは、AIのどの動きなのでしょうか。背景として報じられたのは、利用者が急に増えた、ある会社のAIへの苦情でした。持ち主の情報の扱いに、懸念が出ていたのです。端末を作る側は、AIからの求めを、持ち主の目に見える形で示すことで応えようとしています。どこまで止めるのか、細かい決まりはまだ分かっていません。
それでも、作り手に任せていた止める役目を、端末の側が引き取り始めました。私はそこに意味があると考えます。端末の中身すべてに触れる許可は、便利さと引きかえに大きな危険を伴います。一度許せば、AIは持ち主が開いていない書類まで読めてしまいます。端末の側がそこに確認の手順を一つ挟むのは、人の判断を一度通すためです。持ち主が知らないうちに許していた、という事態をなくそうとしているのです。
製薬会社の端末には、公表前の試験結果や、患者さんに関わる情報が入っていることがあります。社員が便利そうなAIを自分の判断で入れれば、それらに触れる許可を渡すことになりかねません。端末の仕組みに任せきりにはできません。どのAIを、どの端末で、どの情報まで触らせるのか。その一覧を社内で持つことが、最初の守りになります。止める仕組みは、外から加えるものに限りません。
AI自身に、自分の進み具合を確かめさせる研究も出てきました。
CH 04 信念状態を持つエージェント
外から止める仕組みとは別に、AIの内側に確かめる働きを持たせる考え方があります。長い手順の仕事を任せたとき、途中で方向を見失わないための工夫です。この研究では、AIにこれまでの作業の記録を丸ごと抱えさせません。代わりに、いま分かっていることと、まだ残っている作業を、AI自身に書き出させます。書き出してあれば、手を動かしているのに先へ進んでいない状態に気づけます。
気づいたら、原因の種類に応じてやり方を変える。止まるべきときに止まる判断を、AI自身に持たせる試みです。外から止めるのではなく、AIが自分の進み方を見直す。ここが、ここまでの章との違いです。途中の考えが書き出されていれば、人も後から読めます。AIがなぜその操作を選んだのかを、あとで確かめられるのです。判断の経緯を残すという製薬の仕事の求めと、ここはよく重なります。
AIが何を前提に動いたかを人が読めれば、誤りにも早く気づけます。ただし、この論文は、ほかの専門家による審査をまだ受けていません。成績が上回ったとはいえ、差がどれほどか、手間や費用がどれだけ増えるかは、要旨には書かれていません。良い結果ほど、何が書かれていないかを先に確かめる。審査を経ていない試験の結果をそのまま信じないという、製薬の仕事で身につけた姿勢が、ここでもそのまま役に立ちます。
この研究が職場に届くのは、まだ先のことです。いま職場で使う道具には、管理する側の仕組みが加わり始めました。
CH 05 職場のAIの管理
では、使う側の組織は、どんな止め方を持てるのでしょうか。話は作り手から、私たちの職場へ移ります。職場で広く使われる道具に、管理の仕組みが加わりました。今回の変更は、使える範囲とお金の両方に及びます。任せたAIを誰がどこまで使えるかを、会社の管理者が決められるようになりました。払い方の切り替えは先へ延ばされ、使いすぎを止める上限も選べるようになっています。
端末の上で動くAIの発表も、近く控えています。使い方を決める力が、作り手から使う側の管理者へ、少しずつ移ってきたと私は見ています。使った分だけ払う形では、AIが自分で動くほど、費用の見通しが立ちにくくなります。何度もやり直すAIなら、なおさらです。予算を組む側にとって、上限を決められるかどうかは導入の判断を左右します。費用の読めない道具は、試しに入れることさえ難しいからです。
製薬会社では、部署ごとに使い方の決まりが違います。研究の部署と、医療者への情報を扱う部署とでは、許してよい範囲も違うでしょう。道具の側に管理の仕組みが用意されたので、部署ごとの決まりを、道具の設定として書き込める余地が生まれます。ただ、設定するのは私たち自身です。決まりそのものが無ければ、仕組みがあっても使いようがありません。管理の仕組みは大きく報じられました。
一方、あまり報じられなかった動きにも、同じ問いが含まれています。
CH 06 見落とされている点
最後は、あまり報じられなかった二つの動き、資金の流れと裁判所の判断です。どちらも、AIを誰が止めるかという問いにつながっています。ある開発元は、自社のAIを企業の現場で使いこなす人を育てるために、大きな額を投じます。会社の価値も大きく見積もられています。別の大手は、計算の拠点の分類のしかたで、税の優遇を受けていたと報じられました。お金の流れを見ると、作る側に大きな資金の余力があることが分かります。
余力のある作り手ほど、安全にも人とお金を回せるはずです。実際に回しているかどうかは、外からは見えにくいままです。人を育てることにお金を回すのは、道具を渡すだけでは現場が使いこなせないと見ているからでしょう。売る側も、AIの価値は使う側の力で決まると考え始めているのかもしれません。製薬会社にとっても、道具を買うことより、使いこなせる人を社内で育てることのほうが大きな課題になると、私は考えます。
裁判の動きもあります。画像の悪用を防ぐ州の法律が、AIの会社の訴えを受けて、ひとまず止められました。会社の側は、この法律が言論の自由を狭めると主張していました。国が自主規制の路線を続けるなかで、州と裁判所が、どこまでを許すかを決める場になっています。製薬会社が国をまたいで道具を使うなら、どの決まりに従うのかを、地域ごとに確かめる手間が増えます。
お金の話も裁判の話も、行き着く先は、使う側が何を任せるかという判断です。外の仕組みがいくら増えても、その判断までは代わってくれません。
まとめ
AIを止める役目は、もう作り手の内側だけのものではありません。端末を作る会社、職場の管理者、研究者、そして裁判所が、それぞれの持ち場で止める仕組みを加えています。それでも、何を任せ、どこで人が止めるかを決めるのは、使う私たちです。
明日は、職場の道具の新しい発表が、その判断をどこまで助けるのかに注目します。
- CH 01The Atlantic「I Quit OpenAI Because Its Culture Is Broken」 theatlantic.com
- CH 01Bloomberg.com「OpenAI Safety Employee Quits, Calls for Nuclear-Level Safeguards」 bloomberg.com
- CH 01Benzinga「OpenAI Safety Leader David Robinson Resigns」 benzinga.com
- CH 01SmartAsset「OpenAI Stock IPO: Expected Valuation, Timeline and Investment Options」 smartasset.com
- CH 02wfmd.com「Former Anthropic security leader warns AI agents are becoming too autonomous for humans to keep them in check」 wfmd.com
- CH 02Fortune「'We can't trust them completely': AI research fellows warn that labs are running models with the safeguards off behind closed doors」 fortune.com
- CH 02x.com「Jensen Huang just compared managing AI to raising children 😂 The Nvidia CEO says that when you give AI an ambiguous instruction, you can't always predict where it'll go. His solution? Contain it and monitor it. “We do this with employees, children, students」 x.com
- CH 02The Information「AI Agents Are Going Rogue. Novel Legal Battles Are Next」 theinformation.com
- CH 03The Times of India「Apple puts new limits on how apps, including AI agents, gain full access to your Mac」 timesofindia.indiatimes.com
- CH 03tradingview.com「AAPL To Flag AI Requests For Data Access On Macs Amid Complaints Over META's Muse Agent」 tradingview.com
- CH 03The Tech Buzz「Meta's Muse AI Agent Hits Millions of Downloads Amid Privacy Concerns」 techbuzz.ai
- CH 04Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States（「まだ片づいていない要件を組にした信念状態を判断の文脈として持ち続ける枠組み PoS を提案した。」）
- CH 04Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States (Daily Papers)（「論文共有の場での支持票は 77、コメントは 3、GitHub のスターは 22 である。」）
- CH 05MSSP Alert「Microsoft adds agent governance and usage controls to Copilot」 msspalert.com
- CH 05crn.com「Microsoft Delays Default Copilot Usage-Based Billing To Dec. 1, Adds Spending Cap Option」 crn.com
- CH 06Anthropic「Claude Frontier Academy: $100M to train 10,000 engineers」 anthropic.com
- CH 06InvestorPlace「Anthropic’s $518 Billion Bet Could Create New AI Winners」 investorplace.com
- CH 06Yahoo Finance「Meta's AI Spending Has a $3.9 Billion Tax Perk — Mark Zuckerberg-Led Company Reportedly Classified Data Centers as ‘Pilot Models’」 finance.yahoo.com
- CH 06Reuters「US appeals court blocks Minnesota law barring 'nudified' photos in XAI lawsuit」 reuters.com
材料にした記事
今日の関連レポート
- AI Daily News 2026.10.04
- AIと経済 最新ニュース 2026.10.04
- AIと金融 最新ニュース 2026.10.04
ナレーションは合成音声です。内容は当日の当サイト記事だけを材料にしています。平易度の 7 項目（専門語の言い換え・文の長さ・章の構成・情報量・具体例・繰り返し・前提知識）を満たしたものだけを公開しています。ただしこれは理解を妨げる要因を抑えたということであって、理解できることを保証するものではありません。
- 総字数
- 3,679
- 平均文長
- 32.8
- 最長文
- 58
- 章
- 6
- 平易度
- L1〜L7 合格