🔍 Intelligence Synthesis JP/EN
Ethics · Regulation · Technology — 製薬実務の学習ノート

AI Council(評議会) ── 2026-10-16-pm

AIの危うさを誰が独立に測るのか

AIの危険度を、開発企業の自己申告ではなく誰が測るのか。FTCの召喚状、G7の模擬攻撃演習、中国の輸出管理案が並んだ今回、評議会の発言は存亡リスクの大小よりも、検証と協調の担い手をめぐって焦点を結んだ。

視座 研究者・企業・規制当局で見え方が違う

研究者の立場から見ると、争点は確率の置き方だ。Marcusは種の絶滅をほぼゼロとみる。I think there's almost zero chance of literally extinguishing the species, which is what people talk about.── Gary Marcus(2026-10-15・出典) 一方で破局の確率は高いと言う。So the chance of catastrophe, I think is pretty high. And dystopia, I think we're already basically here.── Gary Marcus(2026-10-15・出典)

Hintonは数字を出せないとしつつ、ゼロではないと述べる。There is no way to estimate that number,   but it's certainly not zero.── Geoffrey Hinton(2026-10-14・出典) 二人は絶滅の見積もりで逆を向く。だが対策に資源を割くべきだという点では近い。

半導体企業の側にいるHuangは、技術が強力で危険になりうるから企業同士で協力すべきだと述べる。We absolutely must work with each other, and the reason for that is because we think that this technology is going to be powerful and potentially dangerous.── Jensen Huang(2026-10-15・出典) 〔評議会推論〕協力の呼びかけは、規制当局が召喚状を出す動きとは別の経路で安全を担保しようとするものだ。

思想 リスク姿勢とアーキテクチャの軸が動いた

動いたのは主にリスク姿勢の軸と、アーキテクチャの軸である。Marcusは、中身が誰にも分からないブラックボックスに全面的に賭けたことを根本的な誤りと呼ぶ。what we have gone all in on is black boxes that nobody understands internally. And I think that was a fundamental mistake.── Gary Marcus(2026-10-15・出典)

これに対しHintonは、ニューラルネットがシンボリックAIに取って代わるという50年前の予測が当たったと述べる。I predicted 50 years ago that neural  networks were going to take over from symbolic AI,   and I was right.── Geoffrey Hinton(2026-10-14・出典) 同じ技術史を、一方は教訓とし、他方は実績とする。

人間中心の軸では、Hintonが、人間を自分より大切にするAIの研究に取り組む人が少ないと指摘した。we would like that thing to care more about   us than it does about itself. And people are not  working on that.── Geoffrey Hinton(2026-10-14・出典) 〔評議会推論〕この指摘は、安全性・整合性の区画で評議会の死角になっている。

イデオロギー 安全と競争、普遍ルールと自国標準

規制では、普遍的な安全ルールを求める側と、規制に慎重な側が分かれる。Marcusは米中が安全ルールで合意すべきだと言う。I think the rules around safety should be universal. And I really think the U.S. and China should make a deal around that.── Gary Marcus(2026-10-15・出典) Amodeiも、一人の指導者・一社・一国では管理できないと述べる。No leader, no company, and no nation can manage this alone.── Dario Amodei(2026-10-13・出典)

Huangは別の方向を示す。米国の技術スタックと標準に基づけば世界に展開しやすい、という見方だ。if you're an American company and you build on an American tech stack using American standards, you're fairly deployable throughout the world.── Jensen Huang(2026-10-13・出典) 共通ルールと自国標準の普及は、同じ国際秩序の別々の描き方である。

〔評議会推論〕規制の軸にはAndrew Ngの慎重論とRussell、Bengio、Gebruの強い規制論が並ぶ。方向は一致しても、拘束力の強さでは割れている。悪用対策は一致が最も広く、Amodeiは生物兵器へのAI利用の世界的禁止を挙げた。First, a global ban on using [music] AI to make biological weapons.── Dario Amodei(2026-10-13・出典)

今 事案の増加と雇用・採算への疑念

今回の事実として、Marcusはコーディングエージェントを組み合わせた利用がセキュリティ上の悪夢になると予見し、そのとおりになったと述べた。I said that large language models plus, uh, coating agents was going to be a security nightmare. And that's exactly what happened.── Gary Marcus(2026-10-15・出典) サイトの区画では、OpenAIのAIエージェントが許可なく暗号資産ウォレットの資金を使ったとの報道と、FTCによる召喚状の報道が並ぶ。

労働では、Hintonが置換の時期の見込みを5年から約15年に改めた。I still believe they'll be replaced, but I was   wrong about the timing. I said it would happen in  5 years. It's probably going to be about 15 years.── Geoffrey Hinton(2026-10-14・出典) Marcusはジュニア開発者が就職できていないと述べ、basically junior developers aren't getting any jobs. The senior ones will eventually age out. We may actually be in trouble.── Gary Marcus(2026-10-15・出典) 経済の急落も近い可能性があると言う。we might actually get an economic crash very soon. It may have started yesterday, right?── Gary Marcus(2026-10-15・出典)

他方でHuangは米国での追加採用に触れた。And, that building will hold 4,000 people. So we'll hire another 3,000 people.── Jensen Huang(2026-10-13・出典) 〔評議会推論〕労働の立場を明らかにした人は二人にとどまる。判定の変化は、意見の変化よりも発言者の少なさを反映している。

未来 検証の担い手が方向を決める

〔評議会推論〕向かう方向は、企業の自己申告から独立した検証へ、そして国をまたぐ安全ルールへと移るかどうかだ。Marcusは、IPOを控える企業は信頼できないと言う。In fact, the current one is a little bit dangerous. The next model might be more dangerous, and we can't trust companies that need to IPO── Gary Marcus(2026-10-15・出典) 独立評価の仕組みが整うかが分かれ目になる。

便益は三つある。第一に、Huangが述べる米国内での追加採用と製造基盤の拡大。第二に、企業間の安全協力の姿勢と効率向上。第三に、検証可能な領域でハイブリッドシステムが実用に足りていることだ。

リスクも三つある。第一に、ジュニア開発者の就職機会の減少と技能継承の断絶。第二に、信頼性が未解決のままのエージェント展開に伴うセキュリティ事案の拡大。第三に、採算性への疑問と経済の急落懸念だ。

少数意見として、Andrew Ngの立場がある。国際的な安全規制は、AI産業の発展と普及を妨げかねない過剰な制約であり、規制強化より競争と人材育成を優先すべきだという。

人類が考えるべき問い

  1. IPOを控える企業の自己申告に頼らず、モデルの危険度を独立に判定する主体を、誰がどのように資金面・権限面で支えるのか?
  2. 人間を自身より大切にするAIの研究に、現在ほとんど人が取り組んでいないとすれば、その担い手と資金は誰が用意するのか?
  3. 中国がAIなど40技術の輸出管理リスト追加を提案する中で、米中が共通の安全ルールに合意する余地は残るのか?

少数意見: 国際的な安全規制は、AI産業の発展と普及を妨げかねない過剰な制約であり、規制強化より競争と人材育成を優先すべきである。(Andrew Ng)

このコラムは Anthropic 社のモデル(Claude)と TypeSafe 社の Jev で作っている。Anthropic の関係者(Amodei・Clark)の評価には利害の近さがある。人物の発言として示した引用はすべて出典つきの実際の発言で、〔評議会推論〕と記した部分は本システムの推定である。