サイト実装・技術要素
GPTBotとは?
結論
GPTBotとは、OpenAIがWeb上のコンテンツを収集するために使用するクローラー(自動巡回プログラム)の名称。robots.txtで許可・禁止を個別に設定できる。
同様にGoogleには「Google-Extended」、Anthropicには専用のクローラーが存在し、それぞれのAI企業が独自にクロール用のユーザーエージェントを公開している。すべてを許可するか、一部だけ許可するかはサイト運営者の判断に委ねられているが、AI経由の流入・引用を狙う場合はブロックしないことが前提になる。