トップページが消えたときのYahoo!のクローラーの挙動

Yahoo!のクローラーのDNSサーバーにこのブログの新しいIPアドレスがまだ浸透していなかったようで、ヤフーからのトラフィックが減少してしまいました。

何が起こったか

このブログはXREAのサーバーを利用していました。XREAで独自ドメインを利用するにはバーチャルホストを設定する代わりに「ドメインウェブ」の設定を管理画面でおこないます。

XREAのドメインウェブはどんなドメインでも設定できるわけではなく、そのドメインのIPアドレスとサーバーのIPアドレスが一致していなければなりません。

先日このブログのサーバーを移転し、DNSの設定も新しいIPアドレスに切り替えたのですが、そのためか古いXREAサーバーのドメインウェブの設定が削除されてしまい、以前のIPアドレスではブログにつながらなくなってしまいました。

通常であれば古いサーバーにもバーチャルホストの設定を残しておくと思いますが、レンタルサーバーなので仕方がありません。ただ、その影響でYahoo!のクローラーがしばらくこのブログにアクセスできない状態が続いてしまっていたのです。

Yahoo!のクローラーがサイトにアクセスできなくなるとどうなるか

Yahoo!のクローラーがサイトにアクセスできない状態が続くとどうなるか、いくつか分かったことがあります。

ひとつは、クロール対象のトップページが 404 Not Found になると、過去にどれだけページをインデックスしていても、その他のページは巡回されなくなるということです。サイトエクスプローラーを見てみると最終クロール日時が更新され続けていたのはトップページのみでした。

常に巡回の起点はトップページだということです。

もうひとつは、こういう風にトップページが消えて巡回されなくなると、Yahoo!での順位が下がり(もしくは一時的に消え)、トラフィックが徐々に減少していくということです。

↑ Yahoo!からのトラフィックの推移。

このように綺麗にYahoo!からのトラフィックが減少していっています。ほとんどのキーワードでサーバーの移転を機にトラフィックがなくなってしまっていました。

ただ現在は新しいIPアドレスを見てくれるようになったので、徐々に復活してくるものと思われます。