AIクローラーのアクセスログを確認する方法
2026-09-28

結論
robots.txtやllms.txt、構造化データを整備しても、実際にAIクローラーが巡回してきているかを確認しなければ、施策が機能しているかどうかは分からない。サーバーのアクセスログを見れば、どのAIクローラーがいつ、どのページにアクセスしたかを直接確認できるため、AEO施策の効果測定の基本的な手段になる。
アクセスログの基本的な見方
Webサーバーのアクセスログには、通常アクセス元のIPアドレス、アクセス日時、リクエストされたURL、そしてUser-Agent文字列が記録されている。AIクローラーはそれぞれ固有のUser-Agent文字列を名乗って巡回してくるため、ログの中からGPTBotやClaudeBot、PerplexityBotといった文字列を検索することで、該当クローラーのアクセスを抽出できる。
grepコマンドやログ解析ツールを使い、User-Agentに特定の文字列を含む行だけを抽出するのが基本的な手順だ。アクセス数の多いサイトでは、定期的に自動集計するスクリプトを組んでおくと継続的な確認が楽になる。
なりすましクローラーへの注意
User-Agent文字列は自己申告の情報であり、本物のクローラーになりすまして別のツールがアクセスしてくる可能性もゼロではない。正確に判定したい場合は、IPアドレスの逆引き(リバースDNS)と、事業者が公開しているIPレンジとの一致を確認する、より厳密な検証方法もある。
通常のAEO効果測定の範囲では、まずUser-Agent文字列でのおおまかな集計から始め、アクセス数が想定と大きく異なる場合にIPアドレスベースの検証を追加するという段階的なアプローチで十分なことが多い。
確認しておきたいポイント
まず確認したいのは、robots.txtで許可しているはずのAIクローラーが実際に巡回してきているかどうかだ。許可設定をしているにもかかわらずアクセスが確認できない場合、サーバー側の別の設定(WAFやCDNのボット対策機能など)でブロックされている可能性を疑いたい。
次に、どのページにアクセスが集中しているか、逆にどのページにはアクセスが来ていないかを見る。料金ページやFAQなど引用されたいページへのアクセスが少ない場合、内部リンクの構造やコンテンツの見つけやすさに改善余地があるかもしれない。
継続的なモニタリング体制
AIクローラーの巡回頻度は日々変動するため、一度確認して終わりにせず、月次など定期的な間隔でログを確認する運用にしておきたい。robots.txtやllms.txtを更新した直後は特に、変更が意図通りに反映されているかをログで確認する習慣をつけると、設定ミスの早期発見につながる。
自社サイトは今、どう見えている?
無料ツールでその場で診断できます(登録不要)