F.Ko-Jiの「一秒後は未来」

robots.txtでGooglebotをブロックしてGooglebot-Mobileを許可する

自分のブログがひっかかりそうなキーワードをGoogleで検索していて、いくつかの記事について通常のページよりもモバイル版のページのほうが検索結果の上位に表示されていることに気づきました。

確かにGoogleウェブマスターツールを利用して「ケータイ/cHTMLタイプ」のサイトマップを登録しているのですが、まさかモバイルサイトのほうが上位に出てくるとは。。

mobile-duplicate-contents.gif

↑ 実際にウェブマスターツールで確認してみると、確かに上位表示されているモバイル版コンテンツがちらほら。。(現在はPC版が表示されているものもあります。)

このままでは個人的に困るので、「Googlebot をブロックするにはどうすればよいですか。」を参考に以下の対策を施すことにしました。

モバイルサイトについて、

  • Googlebotをブロックする
  • Googlebot-Mobileを許可する

こうすることで、モバイル版のコンテンツがGoogleモバイルの検索結果には表示され、PC版のGoogle検索結果には表示されなくなる、はず。。

そこで、robots.txtを以下のように書き直します。

User-Agent: Googlebot
Disallow: /moblog.cgi*

User-Agent: Googlebot-Mobile
Allow: /moblog.cgi*

Googleはモバイルのクローラーにも「Googlebot」という文字列が使われているので、この順番通りに記述する必要があります。

このブログのモバイル版の場合は http://fkoji.com/moblog.cgi にクエリをつけて各ページを表示しているので、「Allow: /moblog.cgi*」のように末尾にアスタリスクをつけています。

ついでに、Yahoo!のほうも設定しました。こちらはユーザーエージェント文字列が完全に異なるので順番は関係なさそうです。

User-Agent: Slurp
Disallow: /moblog.cgi*

User-Agent: Y!J-SRD/1.0
Allow: /moblog.cgi*

User-Agent: Y!J-MBS/1.0
Allow: /moblog.cgi*

しばらくこれで様子を見てみることにします。

※ この方法は、通常のサイトとモバイル向けサイトの両方のrobots.txtを自分で管理している場合に使える方法。

  1. sloop より:

    僕も携帯版の方が上位にくることがあって、同じような対策をとっていました。Yahooは完全に別みたいなので、PC版にでることは皆無になりましたが、Googleの場合は、GoogleBotsをブロックすると、他のロボットまでブロックされるらしく、Googleはほったらかしていました。(Yahooと違って携帯サイトのランクは低かったし) しかし今Googleの公式ヘルプを読むと、Googlebotsを切ってもクロールしてくれそうな記述がありますね・・・。F.Ko-jiさんの結果をみてGoogle対策を考えてみたいとおもいます(´∀`;)

sloop へ返信する コメントをキャンセル

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

著者について

fkoji

F.Ko-Ji

Webエンジニアやってます。最近は ドットインストール の開発がお仕事です。その傍ら、個人で Meity電車遅延なう梅酒.in#グラドル自画撮り部 の部室といったネットサービスを開発・運営してます。梅酒と草野球とリアル脱出ゲームが好きです。

» 詳しいプロフィールや運営サービスの一覧など