Googleウェブマスターツールでクロール頻度を細かく設定可能に

2008/12/6 13:40

Google Updates Webmaster Tools & Crawl Rate Controlsの情報によると、Google ウェブマスターツールで設定できる「クロール頻度」がスクロールバーで設定できるようになったとのことです。

実際にログインしてみると、確かに「カスタムクロール頻度を設定」という項目が追加されています。

↑ このブログの場合は33.333秒に1回クロールされている。

このように、デフォルトの設定を確認することで、現在クローラーがどの程度の間隔でサイトにアクセスしているかを知ることもできます。

重いサイトやページ数の少ないサイトの場合、クロール頻度はかなり少なくなっているのがわかります。

↑ feed.fkoji.com の場合は125秒に1回。

クロール頻度が下がると検索結果の即時性に影響が出るだけでなく、クロール対象のページ数も制限されるそうなので、サーバに問題がある場合のみの対応が望ましいようです。

(追記: 2008-12-08) Sphinn Japanにて『「Crawl Rate」なのに「クロール頻度」って勘違いするよね！』というコメントがありました。全然気にしてませんでしたが、確かにそうですね。ここで設定できるのはあくまで「1リクエストあたりの間隔」ですのでお間違えなきよう。

Webエンジニアやってます。最近はドットインストールの開発がお仕事です。その傍ら、個人で Meity や電車遅延なう、梅酒.in、 #グラドル自画撮り部の部室といったネットサービスを開発・運営してます。梅酒と草野球とリアル脱出ゲームが好きです。