AllCite
サイト実装・技術要素

CCBotとは?

結論

CCBotとは、非営利団体Common Crawlが運用するWebクローラー。収集したデータは誰でも利用できるオープンなWebアーカイブとして公開され、多くの大規模言語モデルの学習データの素材として使われてきた。

CCBotは特定のAI企業のクローラーではないが、Common Crawlのデータセットは研究機関やAI企業に広く利用されており、GPT-3の論文でも学習データの主要な構成要素として挙げられている。そのため、各AI企業の学習用クローラーを個別にブロックしていても、CCBotを許可していればコンテンツが間接的にAIの学習データに含まれる可能性がある。

CCBotはrobots.txtに従い、`User-agent: CCBot` と `Disallow: /` で収集を拒否できる。反対に、AIに自社の存在を学習段階から知ってもらいたい場合は、CCBotを許可しておくことがその経路のひとつになりうる。なお、robots.txtは基本的に今後の収集に対する指示であり、すでに公開済みのアーカイブに遡って適用されるものではない点に留意が必要だ。

自社ブランドがAIにどう引用されているか、定点観測しませんか。

AllCiteならChatGPT・Claude・Gemini・Perplexityでの引用状況を自動で計測できます。

無料で始める