クローラは、ウェブページのコンテンツの解析とインデックス登録に使用されるソフトウェアで、スパイダーまたはボットとも呼ばれます。AdSense クローラは、関連性の高い広告を配信するため、サイトにアクセスしてコンテンツを分析します。
AdSense クローラについて留意すべきポイントは次のとおりです。
クロールは自動的に実行されるため、クロールの頻度を増やすご要望にお応えすることはできません。
2 つのクローラは別個のものですが、キャッシュを共有しています。これにより、2 つのクローラが同じページをリクエストする事態を防ぎ、サイトの帯域幅を節約するよう努めています。同様に、ウェブマスター ツールのクローラも独立しています。
[クローラ アクセス] ページに表示される問題を解決しても、Google 検索結果での掲載順位は変化しません。Google でのサイトのランキングの詳細については、Google の検索結果にサイトを表示する方法をご覧ください。
AdSense クローラは、site.com と www.site.com には別々にアクセスしますが、site.com と site.com/#anchor は区別しません。
Google クローラと AdSense Mediapartners クローラはどちらも robots.txt ファイルを尊重し、robot.txt ファイルでアクセスが禁止されているページやディレクトリをクロールすることはありません。
ロボットによるブロックが
User-agent: *の行で指定されているページに広告を掲載している場合、AdSense クローラはページのクロールを継続します。AdSense クローラによるページのクロールを停止するには、robots.txt ファイルで
User-agent: Mediapartners-Googleを指定します。詳細については、
こちらをご覧ください。
Google 広告を掲載しているページだけが送信するリクエストに応じて、クロールが行われます。
他のページにリダイレクトするページ（リダイレクト元のページ）がある場合、クローラはリダイレクト元のページにアクセスしてリダイレクトが設定されていることを確認する必要があります。このため、クローラによるリダイレクト元ページへのアクセスがアクセス ログに記録されます。
現在のところ、Google のクローラがサイトのコンテンツをインデックスに登録する頻度を調整することはできません。クロールはロボットにより自動的に行われます。ページを変更した場合、Google のインデックスに変更が反映されるまでに 1、2 週間かかる場合があります。