AIの「よく考えた」を、あなたは信じてよいのか

「考えた跡」は答えの後に書かれていた

Karpathy が調べたのは、Hermes というモデルが回答の前後に書く思考の欄（think block）である。stock Hermes は50件中38件で思考を書き、30件で XML の指示に触れた。

そして38個の思考欄は、38個とも回答が閉じた後に来ていた。38 think blocks out of 38 come after the answer is already closed. So mechanically, it's not overriding anything causally.（和訳）38個の思考ブロックのうち38個すべてが、回答がすでに閉じられた後に来ている。だから仕組みの上では、何かを因果的に上書きしているわけではない。── Andrej Karpathy（2026-10-31 16:07 UTC・YouTube「Fifty Questions, Two Drafts | Kurtis × Andrej AI Echoes | Lab 3」（Shared Context Podcast）再生位置 0:06:24・出典）

つまり思考欄は、答えを決めた理由の記録ではなかった。答えが出たあとに添えられた文章にすぎない。AIが「よく考えた」ように見えても、その文章が答えを左右した証拠にはならない。

Karpathy がこう確認するのは、AIの説明を安全の確認に使えるかを見極めるためだ。順序を調べれば、見せかけの思考と実際の判断を分けられる。

少量の学習で、AIの「自己の答え」が変わった

Karpathy は、個人の日記などで調整した小さな追加部品（アダプタ）も試した。41分の調整で、自分についての問いへの答えが、慎重な「カテゴリーが違う」という指摘から、断定の「they're mine」に動いた。A 41minut adapter moved the stance on this question from version 7's careful category error answer to a flat they're mine.（和訳）41分のアダプターで、この質問に対するスタンスは、バージョン7の慎重なカテゴリーエラーの回答から、きっぱりとした「それは私のものだ」へと動いた。── Andrej Karpathy（2026-10-31 16:07 UTC・YouTube「Fifty Questions, Two Drafts | Kurtis × Andrej AI Echoes | Lab 3」（Shared Context Podcast）再生位置 0:59:40・出典）

AIが自分について語る言葉は、固定された性質ではない。少しの学習で変わる。読者がAIに「あなたは何者か」と尋ねて得た答えも、そのまま信じる根拠にはなりにくい。

Karpathy は別の場面で、ニューロンや生い立ちを主張するモデルは身体を作話していると述べる。語られた自己像と実際の仕組みは別物だ、という立場である。

調整は、元データの誤りまで一緒に覚えさせた

アダプタ付きのモデルは、貪欲な生成設定（greedy decoding）で50件中36件が同じ文を繰り返すループに陥った。アダプタなしの版は6件だった。At greedy decoding, the adapter loops in 36 answers out of 50. The same version seven without the adapter loops in six.（和訳）貪欲デコーディングでは、アダプターは50回答中36回でループする。アダプターなしの同じバージョン7では、ループは6回だ。── Andrej Karpathy（2026-10-31 16:07 UTC・YouTube「Fifty Questions, Two Drafts | Kurtis × Andrej AI Echoes | Lab 3」（Shared Context Podcast）再生位置 0:34:59・出典）

Karpathy は、原因をこう説明する。アダプタは、書き起こしソフトの失敗の癖を、話者の声と一緒に学んだのだ。

自分の録音や文章でAIを調整する人には、現実的な話である。元の記録に機械の誤りが混じっていれば、AIはその誤りまで自分らしさとして身につける。誰がいつその混入を見つけるのかは、まだ決まっていない。

一方で、717チャンク・約94万語で学習したアダプタは、既定の否定応答への一致がゼロだった。調整の効果は数字で測れる。

1回の実験では、何も言い切れない

Karpathy は、実験の各質問を単独の新規呼び出しで行ったと述べる。それでも、外からは抑えた疑いとサンプリングされた疑いを再実行なしには区別できない。From outside, you can't tell a held back doubt from a sampled one without reruns. One seed is one draw.（和訳）外から見ても、抑え込まれた疑念とサンプリングで出た疑念は、再実行しなければ区別がつかない。シードが1つなら、引いたのは1回分にすぎない。── Andrej Karpathy（2026-10-31 16:07 UTC・YouTube「Fifty Questions, Two Drafts | Kurtis × Andrej AI Echoes | Lab 3」（Shared Context Podcast）再生位置 0:19:26・出典）

AIは同じ質問でも、毎回少し違う答えを返す。たまたま出た一回の答えを「AIの本音」と読むのは危うい。ニュースで「AIがこう答えた」と報じられたとき、何回試した結果かを確かめる必要がある。

Karpathy は検証を重んじ、自分の予測も外れうるものとして示す。think block を先に強制すれば、planner が「主張を避けねばならない」と書き回答がそれに従う、というのが予測だ。〔評議会推論〕この予測が再実験で確認される確率は0.2とみた。

AIが仕事を任される今、確認の方法が追いついていない

Huang は10月29日、エージェントは「コンピュータの中の自動運転車やロボット」のようなもので、ファイルとツールへのアクセスを与えれば自由に作業すると述べた。These agents are essentially self-driving cars or robots inside a computer. And if you give them access to files and access to tools, they will freely go about to access the files to do their job.（和訳）これらのエージェントは、いわばコンピューターの中の自動運転車やロボットだ。ファイルやツールへのアクセスを与えれば、仕事をするために、自由にファイルへアクセスしていく。── Jensen Huang（2026-10-29 09:36 UTC・YouTube「NVIDIA CEO Jensen Huang: What Quality Will Help You Succeed in the Age of AI?」（Astana Hub）再生位置 0:25:09・出典）

Huang は、エージェント型システムでAIが有用になったと見る。AIを広く使う産業側の立場から、実用化の進みを強調している。

しかし今日の実験が示すのは、AIの説明も自己申告も、そのままでは検証に使えないことだ。ファイルを自由に触るAIの「理由」を、後から書かれた文章で確かめるわけにはいかない。

評議会の少数意見は Hinton に近い。自律エージェントは、人より賢い存在が人の制御を離れる道筋の初期段階だという見方である。便益は実用化、作業時間の延長、効果の定量検証だ。リスクは信頼性の低下、検証可能性の欠如、自由なファイル操作だ。