GPTBotを許可・拒否する設定方法
2026-09-28

結論
GPTBotは、OpenAIが自社のAIモデルの学習データ収集のために運用しているクローラーであり、ChatGPTの回答生成時にリアルタイムでウェブページを参照する用途とは役割が分かれている。robots.txtでGPTBotを個別に制御する方法と、許可・拒否をどう判断すべきかを整理する。
GPTBotの役割
GPTBotは主にOpenAIのモデルを訓練するためのデータ収集を目的としたクローラーだと、OpenAI自身が公開している情報で説明されている。一方、ChatGPTが回答の中でウェブ上の情報をリアルタイムに参照する際には、別のクローラーが使われる場合がある。用途の異なるクローラーを混同しないことが設定の前提になる。
事業者側のドキュメントは更新されることがあるため、robots.txtを設定する前に、対象のクローラー名と役割の最新情報を一次情報源で確認する習慣をつけておきたい。
拒否する場合の書き方
GPTBotによる巡回を全面的に拒否したい場合は、robots.txtにUser-agent: GPTBotという行を追加し、続けてDisallow: /と記述する。特定のディレクトリだけを拒否したい場合は、Disallow: /members/のように対象パスを指定する。
拒否設定は、学習データとして自社コンテンツを使われたくないという意図がある場合に選ばれることが多い。ただし拒否した場合、ChatGPTがその情報を学習データとして参照する機会そのものが失われる可能性がある点は理解しておく必要がある。
許可する場合の考え方
AEO/LLMOの観点からAIエンジンでの引用機会を増やしたい企業にとっては、原則としてGPTBotを含む主要AIクローラーを拒否しない方針が基本になる。robots.txtに何も記述しなければデフォルトで許可されているため、特別な理由がない限り追加のDisallow設定は不要だ。
一部のページだけ非公開にしたい場合(社内向け資料、会員限定コンテンツなど)は、GPTBot専用のルールではなく、すべてのクローラーに共通するUser-agent: *のルールで制御する方が管理がシンプルになる。
設定後の確認
設定を変更したら、robots.txtの該当ブロックが正しく反映されているかをブラウザやcurlで直接確認し、アクセスログでGPTBotの巡回状況も併せて確認しておくと、設定意図と実際の挙動のズレに早く気づける。