RSSフィードをYahoo!のインデックスから削除する方法
Yahoo!の検索結果にページではなくRSSフィードが表示される例がありました。
↑ Yahoo!で「ねこ娘の梅酒」を検索した結果
ここで表示されているのはカテゴリー別に配信しているRSSフィードです。フィードにアクセスされるのは好ましくないので、インデックスから削除することにします。
robots.txtでYahoo! Slurpのアクセスをブロック
まずはrobots.txtでYahoo! Slurpが各フィードをクロールしないように設定します。Yahoo!サイトエクスプローラーからページを削除しても再度クロールされてしまうと意味がないためです。
User-agent: Slurp Allow: / Disallow: /*index.xml$
フィードのページ名はindex.xmlなので、robots.txtで上記のように記述しました。アスタリスクは任意の文字列、ドルは文字列の末尾を表します。ユーザーエージェント名は「Slurp」と指定するのが推奨されています。
ちなみにMy Yahoo!は「YahooFeedSeeker」、Yahoo!ブログ検索では「Y!J-BSC」というユーザーエージェント名が使われているので、それらには影響しません。
サイトエクスプローラーで削除リクエスト
Yahoo!サイトエクスプローラーからインデックスの削除をリクエストします。
↑ インデックス状況にあるテキストボックスに削除したいURLを入力します。
↑ 選択して「検索結果で非表示」をクリックします。
↑ 確認画面が表示されるので、よければ「非表示」をクリックします。
これをフィードの数だけ繰り返します。ちょっとめんどいですが、これでYahoo!のインデックスから消えてくれるはずです。
著者について
コメントを残す