AI技術速報 ── 2026-11-02
AI学習の拒否を1行で示す案、大手4社が支持
Google等4社がAI学習の拒否を1行で示すrobots.txt案を支持
何が変わるか
サイト運営者は、AI学習への利用を断る意思を1つの記述で示せるようになる見込みだ。これまでは、AI事業者ごと、クローラーごとに記述を足す必要があった。SiliconANGLEが報じた。
ただし実際に動き出す時期は社ごとに異なる。PPC Landによると、現時点で読み取りを始めたと明らかにした企業はない。
なぜ重要か
SiliconANGLEによると、AI学習を断るには事業者ごとに別の記述が要る。クローラーが複数ある事業者では、その1つずつにも記述が要る。
Google、Microsoft、OpenAI、Anthropicの4社が同じ方式を読む方針を示した。PPC Landによると、4社とも運営者の手間を減らすことを理由に挙げた。
何か
対象は、サイトの入口に置くテキストファイル「robots.txt」だ。巡回プログラム（クローラー）に、読んでよいページを伝える。
PPC Landによると、案の名称は draft-kelley-aipref-training-preference-signal-00 である。運営者は「__usage_ai-training」という識別名（ポリシートークン）を指定する。これで生成AIの学習に使わないでほしいという意思を示す。
PPC Landによると、これは標準化団体IETFへの提出文書（Internet-Draft）だ。正式な標準ではない。
どこで・誰が
PPC Landによると、案を書いたのはAnthropicのKevin Kelley氏だ。IETFのAIPREF作業部会のメーリングリストに提出した。
Google、Microsoft、OpenAIも10月30日に、自社ブログなどで対応方針を示した。SiliconANGLEによると、Metaは考え方への支持を表明したが、実装は約束していない。
なぜ作られたか
SiliconANGLEによると、学習目的の収集を断るには、AI事業者ごとにrobots.txtへ記述を足す必要がある。1事業者が複数のクローラーを使う場合は、それぞれにも記述が要る。
PPC Landによると、Googleは「AI開発者ごとの個別指示の管理」をなくしたい考えだ。OpenAIも、事業者ごとに規則を保つ負担を挙げている。
どう動くか
運営者は、クローラー名の代わりに識別名を指定する。PPC Landが示す例では、「User-Agent: __usage_ai-training」の下に「Disallow: /」と「Allow: /press-kit/」を書く。これで /press-kit/ 以外の全ページで、AI学習に使わないでほしいという意思を示す。
PPC Landによると、案は新しい命令や文法を加えない。既存の規格RFC 9309の経路指定と最長一致の規則を使う。
全ボット向けの「User-Agent: *」は、この識別名に一致しないと案は定めている。SiliconANGLEによると、対象は生成AIの学習用で、非生成の処理だけを行うモデルには及ばない。
要点
- Google、Microsoft、OpenAI、Anthropicが、AI学習拒否を1つのrobots.txt記述で示す案を支持した。
- PPC Landによると、案はまだ草案だ。Microsoftは2027年2月1日、Googleは2027年初めの対応を見込む。
- PPC Landによると、「User-Agent: *」はこの識別名に一致しない。拒否には識別名の明記が要る。
結語
4社が同じ方式を読む方針を示した。運営者の記述の手間は減る可能性がある。
ただし草案であり、PPC Landによると、すでに読み取っていると明らかにした企業はない。Microsoftは2027年2月1日、Googleは2027年初めを見込む。OpenAIとAnthropicは日付を示していない。
引用と出典
“It would allow website operators to block all scrapers that collect training data for generative AI models with a single robots.txt entry.”（和訳）これにより、ウェブサイト運営者は、生成AIモデルの学習データを集めるすべてのスクレイパーを、robots.txtの1つの記述でブロックできるようになる。── SiliconANGLE, 2026-10-31
“It introduces no new directive names and no new grammar: the path language, longest-match precedence, and group structure of robots.txt are not changed”（和訳）新しい命令名も新しい文法も導入しない。robots.txtの経路指定言語、最長一致の優先規則、グループ構造は変更されない。── PPC Land, 2026-10-31
“wildcard groups (i.e., User-Agent: *) MUST NOT be interpreted as matching the policy token”（和訳）ワイルドカードのグループ（つまり User-Agent: *）は、ポリシートークンに一致するものと解釈してはならない。── PPC Land, 2026-10-31
材料にした記事
- SiliconANGLE 10/31 02:00 UTC
- PPC Land 10/31 08:03 UTC
- https://tech-insider.org/ 11/01 06:20 UTC
この速報は AI（Claude）が出典の記事から書き、Jev（TypeSafe の判定モデル）と Gemini の裏取り、引用の逐語の照合を通したものです。