robots.txtでGooglebotをブロックしてGooglebot-Mobileを許可する

自分のブログがひっかかりそうなキーワードをGoogleで検索していて、いくつかの記事について通常のページよりもモバイル版のページのほうが検索結果の上位に表示されていることに気づきました。

確かにGoogleウェブマスターツールを利用して「ケータイ/cHTMLタイプ」のサイトマップを登録しているのですが、まさかモバイルサイトのほうが上位に出てくるとは。。

↑ 実際にウェブマスターツールで確認してみると、確かに上位表示されているモバイル版コンテンツがちらほら。。(現在はPC版が表示されているものもあります。)

このままでは個人的に困るので、「Googlebot をブロックするにはどうすればよいですか。」を参考に以下の対策を施すことにしました。

モバイルサイトについて、

• Googlebotをブロックする
• Googlebot-Mobileを許可する

こうすることで、モバイル版のコンテンツがGoogleモバイルの検索結果には表示され、PC版のGoogle検索結果には表示されなくなる、はず。。

そこで、robots.txtを以下のように書き直します。

User-Agent: Googlebot
Disallow: /moblog.cgi*

User-Agent: Googlebot-Mobile
Allow: /moblog.cgi*

Googleはモバイルのクローラーにも「Googlebot」という文字列が使われているので、この順番通りに記述する必要があります。

このブログのモバイル版の場合は http://fkoji.com/moblog.cgi にクエリをつけて各ページを表示しているので、「Allow: /moblog.cgi*」のように末尾にアスタリスクをつけています。

ついでに、Yahoo!のほうも設定しました。こちらはユーザーエージェント文字列が完全に異なるので順番は関係なさそうです。

User-Agent: Slurp
Disallow: /moblog.cgi*

User-Agent: Y!J-SRD/1.0
Allow: /moblog.cgi*

User-Agent: Y!J-MBS/1.0
Allow: /moblog.cgi*

しばらくこれで様子を見てみることにします。

※ この方法は、通常のサイトとモバイル向けサイトの両方のrobots.txtを自分で管理している場合に使える方法。