サイト実装・技術要素
CCBotとは?
結論
CCBotとは、非営利団体Common Crawlが運用するWebクローラー。収集したデータは誰でも利用できるオープンなWebアーカイブとして公開され、多くの大規模言語モデルの学習データの素材として使われてきた。
CCBotは特定のAI企業のクローラーではないが、Common Crawlのデータセットは研究機関やAI企業に広く利用されており、GPT-3の論文でも学習データの主要な構成要素として挙げられている。そのため、各AI企業の学習用クローラーを個別にブロックしていても、CCBotを許可していればコンテンツが間接的にAIの学習データに含まれる可能性がある。
CCBotはrobots.txtに従い、`User-agent: CCBot` と `Disallow: /` で収集を拒否できる。反対に、AIに自社の存在を学習段階から知ってもらいたい場合は、CCBotを許可しておくことがその経路のひとつになりうる。なお、robots.txtは基本的に今後の収集に対する指示であり、すでに公開済みのアーカイブに遡って適用されるものではない点に留意が必要だ。