ネットサービスの開発に役立ちそうな話題を中心にお届けします。
F.Ko-Jiの「一秒後は未来」 > SEO > Yahoo! SlurpもX-Robots-Tagをサポート
2007年12月08日 11:30
1523日前に投稿

Yahoo! SlurpもX-Robots-Tagをサポート

  • ... PV
  • このエントリーをはてなブックマークに追加

スポンサード リンク

Yahoo!の検索エンジンロボット(Yahoo! Slurp)が X-Robots-Tag をサポートするようになったとのことです。

X-Robots-TagはHTTP Headerの中でクローラーに返されるため、HTMLに限らずPDFやExcelなどあらゆるタイプのファイルについて検索エンジンのインデックスを柔軟にコントロールできるようになります。

[参照] Yahoo! Search Blog: Yahoo! Search Support for X-Robots-Tag Directive to Simplify Webmaster's Control and Weather Update

利用できる設定値は、HTMLのmetaタグで利用するものと同じです。

1. X-Robots-Tag: NOINDEX
Yahoo!の検索結果にURLを表示させたくない場合

2. X-Robots-Tag: NOARCHIVE
検索結果ページにキャッシュへのリンクを表示させたくない場合

3. X-Robots-Tag: NOSNIPPET
検索結果ページにサマリ文を表示させたくない場合

4. X-Robots-Tag: NOFOLLOW
ページ内のリンクをクロールさせたくない場合

最も簡単に X-Robots-Tag を利用する方法は、.htaccessファイルに設定を記述することです。以下に記述例を示します。この例では、noindex.pptというPowerPointファイルについて、「X-Robots-Tag: NOINDEX」を返すように設定しています。

<Files noindex.ppt>
Header set X-Robots-Tag: "NOINDEX"
</Files>

この.htaccessとPowerPointファイルを http://blog.fkoji.com/noindex.ppt に置き、実際にHTTP Headerの内容を観察してみました。

x-robots-tag.gif

↑ このように、きちんとヘッダに「X-Robots-Tag: NOINDEX」が設定されていますね。

ちなみに「特定の拡張子のファイルすべてをクロールさせたくない」という場合には素直にrobots.txtを利用することをおすすめします。また、ヘッダ情報を見るにはロボットがファイルにアクセスする必要があるため、それ自体を禁止させたい場合もrobots.txtを使うようにと説明されています。

なお、Googleではすでに2007年7月からX-Robots-Tagをサポートしています。

スポンサード リンク

Written by
関連エントリーはこちら
お探しの情報が見つからない場合はサイト内検索もお試しください。
Meity.jp - Twitterなかまでプライベートなオフ会を開催したいなら


トラックバック

このエントリーのトラックバックURL:

SEO

English version

2007/12/08 11:30:52 by F.Ko-Ji
コメント (0) トラックバック (0) SEO

前のエントリー: « ブログの各記事のページビューをGoogle Chart APIでグラフ表示させてみた
次のエントリー: キン肉マン29周年 | キンケシ全418体つきコンプリートDVD-BOX | Amazon, 楽天ブックスで26%オフ »

コピペにご利用ください。

タイトル:

URL:

リンク用HTMLタグ: