サイト実装・技術要素
ユーザーエージェントとは?User-Agent
結論
ユーザーエージェントとは、ブラウザやクローラーがWebサーバーにアクセスする際に、自分が何者であるかを伝えるために送る識別情報のこと。HTTPリクエストのUser-Agentヘッダーとして送信される。
robots.txtの `User-agent:` 行には、ユーザーエージェントに含まれる名前(GPTBot、ClaudeBot、PerplexityBotなど)をトークンとして指定し、クローラーごとに許可・禁止を書き分ける。ただしGoogle-Extendedのように、実際のアクセスには現れずrobots.txtでの制御専用に使われるトークンもあるため、「ログに出る名前」と「robots.txtに書く名前」が常に一致するとは限らない。
ユーザーエージェントは送信側が自由に名乗れるため、有名なAIクローラーを装った偽のアクセスも存在する。サーバーログからAIクローラーの訪問状況を分析する際は、OpenAIやAnthropic、Common Crawlなどが公開しているIPアドレス範囲や逆引きDNSと照合して、本物のアクセスかどうかを確かめるのが確実だ。