AllCite
サイト実装・技術要素

robots.txtとは?

結論

robots.txtとは、検索エンジンやAIクローラーに対して、サイト内のどのページのクロール(巡回・取得)を許可・禁止するかを指示するファイル。

AI企業のクローラーや制御用トークン(OpenAIのGPTBot・OAI-SearchBot、GoogleのGoogle-Extended等)を明示的にブロックしている設定になっていると、そもそもAIがサイトの情報を取得できず、どれだけ内容が優れていても引用のしようがない状態になる。AEO対策の第一歩は、まずrobots.txtで自社サイトがAIクローラーをブロックしていないか確認することとも言われる。

自社ブランドがAIにどう引用されているか、定点観測しませんか。

AllCiteならChatGPT・Claude・Gemini・Perplexityでの引用状況を自動で計測できます。

無料で始める