Googlebot-Mobileが見つけたURLはGooglebotもクロールする

先日モバイル用のサイトマップを作成してめでたくGooglebot-Mobileに梅酒.inモバイルがクロールされるようになったのですが、今度は別の問題が発生してしまっていました。

それは、モバイル用のページのURLに通常のGooglebotが巡回にきていたという問題です。

ドコモが提供するiモードIDは「URLに guid=ON をつけないと取得できない」という意味不明な仕様になっているので、仕方なくモバイル用のページにはすべて「guid=ON」をつけています。

(例)
PC用URL: http://umeshu.in/brand/show/34
モバイル用URL: http://umeshu.in/brand/show/34?guid=ON

不思議なのは「guid=ONがついたURLは Googlebot-Mobile がクロールして見つけたものであるにも関わらず、そのURLに対して通常の Googlebot が巡回にきていること」です。そのため、 guid=ON のついたURLとついてないURLの両方がウェブ検索結果に表示されてしまっています。

はてなやアメブロのモバイル版がGoogleの検索結果に出てくるのを見たことがある人は多いと思います。あれって邪魔ですよね。特にアメブロのモバイル版はパソコンからアクセスしてもコンテンツを見ることができません。

Googleはガイドラインなどで「ユーザの利便性」を強調しているにも関わらず、モバイル向けページをPC向けの検索結果に出しています。どうも矛盾している気がするのです。

少し話が逸れました。

PC向けのウェブ検索結果にモバイル向けのページが出てしまって困る場合は、「robots.txtでGooglebotをブロックしてGooglebot-Mobileを許可する」で紹介している対策をおこないます。

今回の場合は、robots.txt に以下のような記述をすることにします。

User-agent: *
Allow: /

User-agent: Googlebot
Disallow: /*guid=ON
Allow: /

User-Agent: Googlebot-Mobile
Allow: /

こうすることで Googlebot は guid=ON のページを巡回しなくなります。これで多分大丈夫だと思うのですが、またしばらく様子を見ることにします。

Googlebot-Mobileが見つけたURLをGooglebotはクロールする必要あるのかなぁ・・・。