AllCite
サイト実装・技術要素

クローラーとは?Crawler

結論

クローラーとは、Web上のページを自動的に巡回して内容を取得するプログラムのこと。検索エンジンだけでなく、AI企業も学習・検索用データの収集のために独自のクローラーを運用している。

AIがある企業やサービスについて「知っている」状態になるには、まずクローラーがそのサイトを訪れ、内容を取得している必要がある。新しく開設したばかりのサイトや、robots.txtでクローラーをブロックしているサイトは、この時点でAIの認知の外に置かれてしまう。

関連する用語

自社ブランドがAIにどう引用されているか、定点観測しませんか。

AllCiteならChatGPT・Claude・Gemini・Perplexityでの引用状況を自動で計測できます。

無料で始める