サイト実装・技術要素
OAI-SearchBotとは?
結論
OAI-SearchBotとは、OpenAIがChatGPTの検索機能で回答に表示・リンクするWebサイトを見つけるために使うクローラー。生成AIモデルの学習用データを収集するGPTBotとは用途が分けられている。
OpenAIはクローラーを用途別に分けて公開しており、GPTBotは基盤モデルの学習用、OAI-SearchBotはChatGPTの検索結果用、ChatGPT-Userはユーザーの操作をきっかけとしたアクセス用と位置づけている。OAI-SearchBotはrobots.txtに従い、ブロックしたサイトはChatGPTの検索回答に表示されなくなる(ナビゲーション目的のリンクとしては表示されうる)と公式ドキュメントで説明されている。
そのため「学習には使わせたくないが、ChatGPTの検索回答では引用されたい」場合は、`User-agent: GPTBot` に `Disallow: /`、`User-agent: OAI-SearchBot` に `Allow: /` を指定するといった使い分けができる。robots.txtの変更がOpenAIの検索システムに反映されるまでには、24時間程度かかるとされている。