Yahoo! SlurpもX-Robots-Tagをサポート

2007/12/8 11:30

Yahoo!の検索エンジンロボット(Yahoo! Slurp)が X-Robots-Tag をサポートするようになったとのことです。

X-Robots-TagはHTTP Headerの中でクローラーに返されるため、HTMLに限らずPDFやExcelなどあらゆるタイプのファイルについて検索エンジンのインデックスを柔軟にコントロールできるようになります。

利用できる設定値は、HTMLのmetaタグで利用するものと同じです。

1. X-Robots-Tag: NOINDEX
Yahoo!の検索結果にURLを表示させたくない場合

2. X-Robots-Tag: NOARCHIVE
検索結果ページにキャッシュへのリンクを表示させたくない場合

3. X-Robots-Tag: NOSNIPPET
検索結果ページにサマリ文を表示させたくない場合

4. X-Robots-Tag: NOFOLLOW
ページ内のリンクをクロールさせたくない場合

最も簡単に X-Robots-Tag を利用する方法は、.htaccessファイルに設定を記述することです。以下に記述例を示します。この例では、noindex.pptというPowerPointファイルについて、「X-Robots-Tag: NOINDEX」を返すように設定しています。

<Files noindex.ppt>
Header set X-Robots-Tag: "NOINDEX"
</Files>

この.htaccessとPowerPointファイルを http://blog.fkoji.com/noindex.ppt に置き、実際にHTTP Headerの内容を観察してみました。

↑ このように、きちんとヘッダに「X-Robots-Tag: NOINDEX」が設定されていますね。

ちなみに「特定の拡張子のファイルすべてをクロールさせたくない」という場合には素直にrobots.txtを利用することをおすすめします。また、ヘッダ情報を見るにはロボットがファイルにアクセスする必要があるため、それ自体を禁止させたい場合もrobots.txtを使うようにと説明されています。

Webエンジニアやってます。最近はドットインストールの開発がお仕事です。その傍ら、個人で Meity や電車遅延なう、梅酒.in、 #グラドル自画撮り部の部室といったネットサービスを開発・運営してます。梅酒と草野球とリアル脱出ゲームが好きです。