Yahoo! Search blog: Keeping Ad Tracking and Dead URLs out of Yahoo! Searchより。

「広告トラッキング用パラメータ付きのURLが検索エンジンに登録されないようにするにはどうすればいいか？」という質問がよくあるそうな。

トラッキング用パラメータというのはURLの最後に ?ref=rss のように付加されるパラメータ。このように最近は広告だけでなくRSSからのトラフィックを計測するためにも利用されている。

広告トラッキングの場合、広告を掲載したサイトの効果測定をするために用いられる。しかし、もし検索エンジンにそのURLがインデクシングされてしまうと、正確なトラッキングを測定できなくなる場合がある。まぁリファラもあわせて見てるのだろうけど。

そこでトラッキングURLが検索エンジンに登録されないようには、robots.txtに以下のような記述を追加すればいいそうだ。

User-Agent: Yahoo! Slurp
Disallow: /*ref=YahooPublisherNetwork

これはトラッキング用パラメータが ref=YahooPublisherNetwork の場合。ワイルドカードを使うといいらしい。

先に述べたようにトラッキング用パラメータはRSSからのトラフィック計測にも用いられていることが多いが、この場合もrobots.txtに同様の記述をしておいたほうがよい。たとえばinurl:ref=rssでGoogle検索するとかなりのページがインデクシングされていることが分かる。これではリファラとあわせて測定しないと正しい効果測定ができない。

「RSSって効果高いな」と思っていたら実は検索エンジンからのトラフィックだったいうことにならないようにね。

(疑問を追記)
RSSをSEOに役立てたい場合はrobots.txtに記述しないほうがよい？でも同じコンテンツにパラメータ付きとパラメータなしのURLがあってもSEO的に問題なし？

参照
Yahoo! Search blog: Keeping Ad Tracking and Dead URLs out of Yahoo! Search