AllCite
サイト実装・技術要素

ユーザーエージェントとは?User-Agent

結論

ユーザーエージェントとは、ブラウザやクローラーがWebサーバーにアクセスする際に、自分が何者であるかを伝えるために送る識別情報のこと。HTTPリクエストのUser-Agentヘッダーとして送信される。

robots.txtの `User-agent:` 行には、ユーザーエージェントに含まれる名前(GPTBot、ClaudeBot、PerplexityBotなど)をトークンとして指定し、クローラーごとに許可・禁止を書き分ける。ただしGoogle-Extendedのように、実際のアクセスには現れずrobots.txtでの制御専用に使われるトークンもあるため、「ログに出る名前」と「robots.txtに書く名前」が常に一致するとは限らない。

ユーザーエージェントは送信側が自由に名乗れるため、有名なAIクローラーを装った偽のアクセスも存在する。サーバーログからAIクローラーの訪問状況を分析する際は、OpenAIやAnthropic、Common Crawlなどが公開しているIPアドレス範囲や逆引きDNSと照合して、本物のアクセスかどうかを確かめるのが確実だ。

自社ブランドがAIにどう引用されているか、定点観測しませんか。

AllCiteならChatGPT・Claude・Gemini・Perplexityでの引用状況を自動で計測できます。

無料で始める