robots.txtでGooglebotをブロックしてGooglebot-Mobileを許可する
自分のブログがひっかかりそうなキーワードをGoogleで検索していて、いくつかの記事について通常のページよりもモバイル版のページのほうが検索結果の上位に表示されていることに気づきました。
確かにGoogleウェブマスターツールを利用して「ケータイ/cHTMLタイプ」のサイトマップを登録しているのですが、まさかモバイルサイトのほうが上位に出てくるとは。。
↑ 実際にウェブマスターツールで確認してみると、確かに上位表示されているモバイル版コンテンツがちらほら。。(現在はPC版が表示されているものもあります。)
このままでは個人的に困るので、「Googlebot をブロックするにはどうすればよいですか。」を参考に以下の対策を施すことにしました。
モバイルサイトについて、
- Googlebotをブロックする
- Googlebot-Mobileを許可する
こうすることで、モバイル版のコンテンツがGoogleモバイルの検索結果には表示され、PC版のGoogle検索結果には表示されなくなる、はず。。
そこで、robots.txtを以下のように書き直します。
User-Agent: Googlebot Disallow: /moblog.cgi* User-Agent: Googlebot-Mobile Allow: /moblog.cgi*
Googleはモバイルのクローラーにも「Googlebot」という文字列が使われているので、この順番通りに記述する必要があります。
このブログのモバイル版の場合は http://fkoji.com/moblog.cgi にクエリをつけて各ページを表示しているので、「Allow: /moblog.cgi*」のように末尾にアスタリスクをつけています。
ついでに、Yahoo!のほうも設定しました。こちらはユーザーエージェント文字列が完全に異なるので順番は関係なさそうです。
User-Agent: Slurp Disallow: /moblog.cgi* User-Agent: Y!J-SRD/1.0 Allow: /moblog.cgi* User-Agent: Y!J-MBS/1.0 Allow: /moblog.cgi*
しばらくこれで様子を見てみることにします。
※ この方法は、通常のサイトとモバイル向けサイトの両方のrobots.txtを自分で管理している場合に使える方法。
コメントを残す
著者について
僕も携帯版の方が上位にくることがあって、同じような対策をとっていました。Yahooは完全に別みたいなので、PC版にでることは皆無になりましたが、Googleの場合は、GoogleBotsをブロックすると、他のロボットまでブロックされるらしく、Googleはほったらかしていました。(Yahooと違って携帯サイトのランクは低かったし) しかし今Googleの公式ヘルプを読むと、Googlebotsを切ってもクロールしてくれそうな記述がありますね・・・。F.Ko－jiさんの結果をみてGoogle対策を考えてみたいとおもいます(´∀｀;)