サイト実装・技術要素
クローラーとは?Crawler
結論
クローラーとは、Web上のページを自動的に巡回して内容を取得するプログラムのこと。検索エンジンだけでなく、AI企業も学習・検索用データの収集のために独自のクローラーを運用している。
AIがある企業やサービスについて「知っている」状態になるには、まずクローラーがそのサイトを訪れ、内容を取得している必要がある。新しく開設したばかりのサイトや、robots.txtでクローラーをブロックしているサイトは、この時点でAIの認知の外に置かれてしまう。