AllCite
サイト実装・技術要素

ClaudeBotとは?

結論

ClaudeBotとは、Anthropicが生成AIモデルの学習に役立つ可能性のあるWebコンテンツを収集するために運用するクローラー。robots.txtでブロックすると、以降のコンテンツを学習データから除外するよう求める意思表示になる。

Anthropicはボットを用途別に分けて公開しており、学習用のClaudeBotのほかに、ユーザーがClaudeに質問した際にWebページへアクセスするClaude-User、Claudeの検索結果の品質向上のためにコンテンツを巡回するClaude-SearchBotがある。公式ヘルプでは、これらのボットがrobots.txtの指示に従い、非標準のCrawl-delayにも対応すると説明されている。

たとえば `User-agent: ClaudeBot` と `Disallow: /` で学習用の収集だけを拒否し、Claude-SearchBotやClaude-Userは許可したままにする、といった書き分けができる。検索用・ユーザー起点のボットまでブロックすると、Claudeの回答で自社ページが参照される機会が減りうるため、AEOの観点では用途ごとに区別して設定したい。

自社サイトはClaudeBotの観点でどう見えている?

無料ツールでその場で診断できます(登録不要)

自社ブランドがAIにどう引用されているか、定点観測しませんか。

AllCiteならChatGPT・Claude・Gemini・Perplexityでの引用状況を自動で計測できます。

無料で始める