スポンサード リンク
更新されたフィードを効率的にクロールするための Simple Update Protocol (SUP) というプロトコルが FriendFeed の開発者によって提案されているそうです。
フィードがブログやサイトの更新情報を伝えるものなら、SUPはフィードそのものの更新情報を伝えるためのプロトコルだと理解することができます。
以下は関連記事を読んで私なりに解釈したSUPの説明です。
通常、あるフィードが更新されているかどうかはそのURLをリクエストしてみなければ分かりません。
たとえばクローラーが FriendFeed の全ユーザのフィードを定期的にチェックしていたとすると、クローラーはある順番にしたがって定期的に全フィードのURLをリクエストするでしょう。これでは更新の取得に遅延が発生してしまいます。
しかし、SUPを利用すればどのフィードが更新されているかをあらかじめ知ることができます。
たとえばクライアントは、FriendFeedのサーバに対して「ある期間内に更新されたフィードはどれですか？」と聞くことができます。サーバは更新されたフィードのSUP-IDをリストにして返します。それによってクローラーは確実に更新されているフィードを知ることができ、効率的にフィードをクロールすることができます。
要するに、はてなブックマークやTwitterやdel.icio.usやFeedBurnerといった、多数のフィードを配信しているサービスがSUPを実装していると、かなり有用なわけです。
すでに FriendFeed では http://friendfeed.com/api/sup.json からSUPフィードを取得することができます。
SUPを利用した場合の処理の流れは次のようになるでしょう。
- フィードを配信するサーバは、RSSやAtomに特別なlinkタグをつけます。そのlinkタグにSUP-IDが含まれていて、クライアントはそのSUP-IDとフィードのURLをデータベースに格納しておきます。
- クライアントはSUPフィードをリクエストします。
- リクエストを受けたサーバは、(指定された)期間内に更新されたフィードを確認し、それらのSUP-IDをリスト化し、SUPのフォーマットにしてレスポンスを返します。
- クライアントはSUPフィードを解析し、含まれるSUP-IDをデータベースと照合してURLを取得し、そのURLをクロールします。
これによりクライアント側は更新されたフィードを素早く知ることができ、サーバ側はリクエストの負荷を下げることができます。また、SUP-IDは完全にランダムな文字列なので、SUPによってプライベートなフィードのURLが外部に漏れるもこともありません。
SUP はオープンソースで、来月にリリースが予定されているそうです。
【関連記事】
» フィード更新速度を加速する新プロトコルsup - huixingの日記
» Speed Up RSS? FriendFeed's Going to Try - ReadWriteWeb
» FriendFeed Blog: Simple Update Protocol: Fetch updates from feeds faster
» simpleupdateprotocol - Google Code
スポンサード リンク
- フィードの各記事に署名を入れました
- フィードの配信をホスティングしてもらうことのデメリット
- リンクの相関性とテーマフィード
- 自分や知り合いのウェブ上の活動を集約してフィードするサービスが増加中
- MagpieRSSのキャッシュ・ディレクトリをフィードのURLごとに分けてみる
トラックバック
このエントリーのトラックバックURL:
この一覧は、次のエントリーを参照しています: SUP(Simple Update Protocol) - 効率的なフィードのクロールを実現するためのプロトコル:
» RSSの購読を効率化するための PubSubHubbub というプロトコルがあるらしい from F.Ko-Jiの「一秒後は未来」
記事を書いてからRSSリーダーにその記事が反映されるまでにタイムラグはつきもの。最近はTwitterのリアルタイム性が注目されていてRSSリーダーはだめだ... [詳しくはこちら]
前のエントリー: « 松木里菜の関連検索ワードに出る「劇団ひとり」の謎
次のエントリー: 大雨で濡れた靴をフリーペーパーを使って乾かす »
コピペにご利用ください。
タイトル:URL:
リンク用HTMLタグ:
(共同運営)
(共同運営)
