ロリポップがYahoo!の新クローラのIPをアクセス禁止にしていたらしい
「ロリポップ運営のサイト、Yahoo!検索で不具合発生 – クロール禁止が原因 :: SEM R」より
このブログもロリポップを使わせてもらっています。もしかしてYahoo!のブログ検索にインデクシングされなかったのは、これが原因だったのでしょうか？？
ロリポップのお知らせには「Yahoo様において7月28日にクローラー（データ収集プログラム）の変更が行われ」と書かれていますが、Yahoo! Search blog: Weather Report – The New Yahoo! Search Crawler (Slurp) Is Here!によると、7月28日の週の初めに新しいクローラに切り替えたと書いてあるので、7月23日か24日には切り替わっていたことになります。
前はなかったYahoo! Slurpのユーザーエージェントのアクセスが最近になって残っているのはなんでだろうと思っていたのですが、原因はこれだったんですね。困ったものです。
著者について
コメントを残す