ネットサービスの開発に役立ちそうな話題を中心にお届けします。
F.Ko-Jiの「一秒後は未来」 > 検索王の見る検索 > 動的URLと重複コンテンツとクローラーの負荷
2008年09月29日 13:11
1227日前に投稿

動的URLと重複コンテンツとクローラーの負荷

  • ... PV
  • このエントリーをはてなブックマークに追加

スポンサード リンク

Googleが動的URLについて「Official Google Webmaster Central Blog」で述べている内容と、それに対する解説記事「Google、動的URLの扱いに新見解「動的URLのままで問題なし」:渡辺隆広のサーチエンジン情報館 - CNET Japan」を読んでみました。

ややこしいですね、、。

  • Googleが扱える動的URLのパラメータ数に制限はない
  • 複数の動的URLで重複コンテンツがあれば、Googleは無駄なパラメータを探そうとする
  • URLを静的化してもよいが、複数のURLでコンテンツが重複しないようにね

うーん、動的URLのままでコンテンツが重複していたとしても、「Googleが勝手に無駄なパラメータを見つけるから大丈夫」ということかな。ただ、場合によってはGoogleが間違えることだってありえます。そう考えると静的URLのほうがいいのかもと思います。

しかし、そもそも動的URLの場合であっても、すべてのコンテンツが異なるもの(異なるの度合いはわからないけど)であれば、Googleは無駄なパラメータ探しをしないと思います。そのほうが効率的ですし。

Googleが無駄なパラメータを見つける方法は定かではありませんが、無駄なパラメータを省略した結果として1000個の動的URLが重複扱いされたとすると、その1000個のURLに対するクロール負荷が無駄なものだったということになります。

クローラーが1日にクロールするページ数には上限があるはずです。検索エンジンにサイトの最新の内容をなるべく早く登録/更新してもらうという意味でも、クローラーの負荷を減らすという意味でも、最初からサイト運営者側で重複するコンテンツのURLをユニークにしておくことは重要でしょう。

そのためにはURLを適切に静的化する以外に、robots.txtで不要パラメータに対するクロールをブロックするとか、.htaccessやmod_rewriteで301リダイレクトさせるといった複数の対策をしておく必要があります。

ただ、Googleが提示している例のように「セッションIDまでも静的URLにしているようなサイト」が増えてしまうと問題なので、「そんな無駄なことをされるよりは動的URLのまま処理できるようにしよう」という考えに至ったんだと思います。

スポンサード リンク

Written by
関連エントリーはこちら
お探しの情報が見つからない場合はサイト内検索もお試しください。
Meity.jp - Twitterなかまでプライベートなオフ会を開催したいなら


トラックバック

このエントリーのトラックバックURL:

Google / SEO / 検索王の見る検索

English version

2008/09/29 13:11:57 by F.Ko-Ji
コメント (0) トラックバック (0) 検索王の見る検索

前のエントリー: « パケ・ホーダイ ダブルに移行するにあたって気をつけておきたいこと
次のエントリー: 松木里菜「ブレイク5秒前」朝日新聞 夕刊(2008-09-29) »

コピペにご利用ください。

タイトル:

URL:

リンク用HTMLタグ: