モバイル向けクローラーにだけ404が返っているとウェブマスターツールでクロールエラーが表示される

2012/4/5 01:28

ある日ふと Google のウェブマスターツールを見ると、100件以上のクロールエラーが報告されていました。

↑ 存在するページなのに404エラー。

思い当たるフシがなかったのでアクセスログを調べてみると、404を返しているログが確かにありました。Googlebot-Mobileに対してね・・・。

どういうことかというと、ケータイ向けの画面を用意していなかったので、特に何も考えずにケータイ向けには 404 Not Found を返すようにしていたんです。アクセスされてもしょうがないし・・・と思って。

なので Google のモバイル向けクローラーである Googlebot-Mobile に対しても、同じように404 Not Foundを返すようにしていました。もちろん通常の Googlebot には、正常に200を返すようにしています。

Googlebot に対して正常にコンテンツを返していたのでGoogle検索にはきちんとインデックスされていました。なので特別影響はなし。ただ、ウェブマスターツールで余計なクロールエラーが表示されるのはちょっと煩わしいです。

というわけでケータイに対してもPC向けの画面を返すようにして、Googlebot-Mobileにも404を返さないようにしました。以降、最近はクロールエラーが検出されていないようです。

普通はケータイ向け画面を用意してなくてもPC向けの画面を返すと思うので、あまり無いケースだと思いますがとりあえず。

Webエンジニアやってます。最近はドットインストールの開発がお仕事です。その傍ら、個人で Meity や電車遅延なう、梅酒.in、 #グラドル自画撮り部の部室といったネットサービスを開発・運営してます。梅酒と草野球とリアル脱出ゲームが好きです。