F.Ko-Jiの「一秒後は未来」

Yahoo! SlurpもX-Robots-Tagをサポート

Yahoo!の検索エンジンロボット(Yahoo! Slurp)が X-Robots-Tag をサポートするようになったとのことです。

X-Robots-TagはHTTP Headerの中でクローラーに返されるため、HTMLに限らずPDFやExcelなどあらゆるタイプのファイルについて検索エンジンのインデックスを柔軟にコントロールできるようになります。

[参照] Yahoo! Search Blog: Yahoo! Search Support for X-Robots-Tag Directive to Simplify Webmaster’s Control and Weather Update

利用できる設定値は、HTMLのmetaタグで利用するものと同じです。

1. X-Robots-Tag: NOINDEX
Yahoo!の検索結果にURLを表示させたくない場合

2. X-Robots-Tag: NOARCHIVE
検索結果ページにキャッシュへのリンクを表示させたくない場合

3. X-Robots-Tag: NOSNIPPET
検索結果ページにサマリ文を表示させたくない場合

4. X-Robots-Tag: NOFOLLOW
ページ内のリンクをクロールさせたくない場合

最も簡単に X-Robots-Tag を利用する方法は、.htaccessファイルに設定を記述することです。以下に記述例を示します。この例では、noindex.pptというPowerPointファイルについて、「X-Robots-Tag: NOINDEX」を返すように設定しています。

<Files noindex.ppt>
Header set X-Robots-Tag: "NOINDEX"
</Files>

この.htaccessとPowerPointファイルを http://blog.fkoji.com/noindex.ppt に置き、実際にHTTP Headerの内容を観察してみました。

x-robots-tag.gif

↑ このように、きちんとヘッダに「X-Robots-Tag: NOINDEX」が設定されていますね。

ちなみに「特定の拡張子のファイルすべてをクロールさせたくない」という場合には素直にrobots.txtを利用することをおすすめします。また、ヘッダ情報を見るにはロボットがファイルにアクセスする必要があるため、それ自体を禁止させたい場合もrobots.txtを使うようにと説明されています。

なお、Googleではすでに2007年7月からX-Robots-Tagをサポートしています。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

著者について

fkoji

F.Ko-Ji

Webエンジニアやってます。最近は ドットインストール の開発がお仕事です。その傍ら、個人で Meity電車遅延なう梅酒.in#グラドル自画撮り部 の部室といったネットサービスを開発・運営してます。梅酒と草野球とリアル脱出ゲームが好きです。

» 詳しいプロフィールや運営サービスの一覧など