RSSフィードをYahoo!のインデックスから削除する方法
2009/01/02 18:57:36
Yahoo!の検索結果にページではなくRSSフィードが表示される例がありました。
↑ Yahoo!で「ねこ娘の梅酒」を検索した結果
ここで表示されているのはカテゴリー別に配信しているRSSフィードです。フィードにアクセスされるのは好ましくないので、インデックスから削除することにします。
robots.txtでYahoo! Slurpのアクセスをブロック
まずはrobots.txtでYahoo! Slurpが各フィードをクロールしないように設定します。Yahoo!サイトエクスプローラーからページを削除しても再度クロールされてしまうと意味がないためです。
User-agent: Slurp Allow: / Disallow: /*index.xml$
フィードのページ名はindex.xmlなので、robots.txtで上記のように記述しました。アスタリスクは任意の文字列、ドルは文字列の末尾を表します。ユーザーエージェント名は「Slurp」と指定するのが推奨されています。
ちなみにMy Yahoo!は「YahooFeedSeeker」、Yahoo!ブログ検索では「Y!J-BSC」というユーザーエージェント名が使われているので、それらには影響しません。
サイトエクスプローラーで削除リクエスト
Yahoo!サイトエクスプローラーからインデックスの削除をリクエストします。
↑ インデックス状況にあるテキストボックスに削除したいURLを入力します。
↑ 選択して「検索結果で非表示」をクリックします。
↑ 確認画面が表示されるので、よければ「非表示」をクリックします。
これをフィードの数だけ繰り返します。ちょっとめんどいですが、これでYahoo!のインデックスから消えてくれるはずです。
- Yahoo!からのトラフィックが回復してきた [2009-05-13]
- トップページが消えたときのYahoo!のクローラーの挙動 [2009-04-26]
- Yahoo!版サイトリンク「Quicklinks(クイックリンク)」に関する論文 [2009-04-14]
- モバイル検索サイトのリファラーから検索キーワードを抽出する正規表現 [2009-02-23]
- 米Yahoo! MyWeb終了、プライベートなYahoo! Bookmarksへ移行 [2009-02-14]
前のエントリー: « 過去の情報を最新の情報と思い込まないためにできる3つのこと
次のエントリー: ワーナーマイカルシネマズ戸畑に原田佳奈が登場 »
トラックバック
このエントリーのトラックバックURL:
このブログをRSSリーダーで簡単購読
タイトル:
URL:
リンク用HTMLタグ:
powered by Google Chart API
