これまでGoogleは、URLが「.0」すなわち拡張子が「0」であるURLをクロールしていなかったそうだ。

SEOmozは「SEOmoz | Unwritten Google Webmaster Guideline: Don’t End URLs in .0」にて、URLが .0 で終わるページはWikipediaですらインデクシングされていないことを指摘した。Yahoo!の検索結果には表示されてGoogleの検索結果には表示されないいくつかのページの例を挙げている。

これを受けて Google のMatt Cutts氏は自身のブログで、「これまで Google は .0 で終わるURLをクロールしなかった」ということを認めている。「そのようなURLのほとんどがバイナリファイルであるため、インデックスから削除することが望ましい」と考えていたそうだ。

しかしこれでは en.wikipedia.org/wiki/Web_2.0 のようなページも排除されてしまう。そこで Google は、URLが .0 で終わるページをクロールして検索結果に表示するようにシステムを変更したそうだ。

「Googleで「filetype:0」を検索すれば、多くのページがつい最近クロールされていることがわかるだろう」と述べている。

なんという罠。

» Don’t end your urls with .exe

著者について

F.Ko-Ji

最近はもっぱら仕事と育児、どちらかというと育児のほうが忙しいです。もう長いことドットインストールの開発をしています。

» 詳しいプロフィールや運営サービスの一覧など