AllCite
技術実装・SEO技術

robots.txtでAIクローラーを制御する方法

2026-09-28

ネットワークケーブルが接続されたサーバー機器

結論

「robots.txtで何を制御できるか」を正確に理解していないと、AIエンジンへの露出機会を意図せず失うことがある。robots.txtはクローラーに対する「お願い」であり強制力はないが、主要なAI事業者のクローラーはこれを尊重する運用を明示している。基本構文とAIクローラー別の設定方法を押さえておきたい。

robots.txtの基本構文

robots.txtはサイトのルート直下(例: https://example.com/robots.txt)に置くプレーンテキストファイルで、User-agentごとにDisallowやAllowでアクセス範囲を指定する。行頭のUser-agentで対象のクローラー名を指定し、続くDisallowで巡回を禁止するパス、Allowで例外的に許可するパスを列挙する仕組みだ。ワイルドカード(*)を使えばすべてのクローラーに同じルールを適用できる。

記述の優先順位にも注意が必要だ。同じUser-agentに対して複数のルールがある場合、多くのクローラーはより長く一致するパスを優先する。意図しない範囲までDisallowしてしまうミスは、AI経由の流入機会そのものを失うことに直結するため、公開前に必ず範囲を見直したい。

主要なAIクローラーのUser-agent

AI検索・生成エンジンは、それぞれ独自のクローラー名でサイトを巡回する。代表的なものにOpenAIのGPTBot、Google検索の生成AI機能に使われるGoogle-Extended、AnthropicのClaudeBot、PerplexityのPerplexityBotなどがある。これらは検索インデックス用のクローラー(Googlebotなど)とは別物として扱われている点に注意したい。

AIクローラーは学習データ収集用と、回答生成時にリアルタイムでページを参照する用途の2種類に大別されることがある。事業者によって役割ごとにクローラー名を分けている場合もあるため、対象のクローラーが自社にとってどちらの用途かを事業者の公開情報で確認してから制御方針を決めるのが望ましい。

許可・拒否を書き分ける具体例

特定のAIクローラーだけを拒否したい場合は、User-agentにそのクローラー名を指定し、Disallow: / を記述する。反対に、通常のクローラーは制限しつつAIクローラーには公開したいページだけを許可する、といった細かい制御も、User-agentブロックを分けて記述すれば実現できる。

AIによる引用(サイテーション)を増やしたい企業にとっては、原則としてAIクローラーを拒否しないことが基本方針になる。むしろ料金ページやFAQ、事例ページなど引用されたいコンテンツへのアクセスを妨げていないか確認する方が優先度が高い。

設定後の確認方法

設定を変更したら、Google Search Consoleのrobots.txtテスターや、curlコマンドで直接ファイルを取得して構文エラーがないかを確認する。誤ったDisallowの記述一つでサイト全体がAIから見えなくなるリスクがあるため、変更後は必ず該当パスへのアクセス可否をテストしたい。

あわせて後述するアクセスログの確認も行い、実際に主要AIクローラーが巡回してきているかを継続的にモニタリングする運用にしておくと、設定ミスにも早期に気づける。

自社ブランドがAIにどう引用されているか、定点観測しませんか。

AllCiteならChatGPT・Claude・Gemini・Perplexityでの引用状況を自動で計測できます。

無料で始める