サイト実装・技術要素
robots.txtとは?
結論
robots.txtとは、検索エンジンやAIクローラーに対して、サイト内のどのページのクロール(巡回・取得)を許可・禁止するかを指示するファイル。
AI企業のクローラーや制御用トークン(OpenAIのGPTBot・OAI-SearchBot、GoogleのGoogle-Extended等)を明示的にブロックしている設定になっていると、そもそもAIがサイトの情報を取得できず、どれだけ内容が優れていても引用のしようがない状態になる。AEO対策の第一歩は、まずrobots.txtで自社サイトがAIクローラーをブロックしていないか確認することとも言われる。