サイト実装・技術要素
ClaudeBotとは?
結論
ClaudeBotとは、Anthropicが生成AIモデルの学習に役立つ可能性のあるWebコンテンツを収集するために運用するクローラー。robots.txtでブロックすると、以降のコンテンツを学習データから除外するよう求める意思表示になる。
Anthropicはボットを用途別に分けて公開しており、学習用のClaudeBotのほかに、ユーザーがClaudeに質問した際にWebページへアクセスするClaude-User、Claudeの検索結果の品質向上のためにコンテンツを巡回するClaude-SearchBotがある。公式ヘルプでは、これらのボットがrobots.txtの指示に従い、非標準のCrawl-delayにも対応すると説明されている。
たとえば `User-agent: ClaudeBot` と `Disallow: /` で学習用の収集だけを拒否し、Claude-SearchBotやClaude-Userは許可したままにする、といった書き分けができる。検索用・ユーザー起点のボットまでブロックすると、Claudeの回答で自社ページが参照される機会が減りうるため、AEOの観点では用途ごとに区別して設定したい。
自社サイトはClaudeBotの観点でどう見えている?
無料ツールでその場で診断できます(登録不要)