こんにちは、EDGE担当の櫛井です。

以前 livedoorブログなど、ユーザーがコンテンツを投稿するWebサービスでは年間で千万円単位のコストがかかるストレージシステムを使っていました。増え続けるデータに今後どう向き合っていくのかという課題に、ライブドアのエンジニアが出した答えは「ストレージシステムの自社開発」でした。

まず最初に作ったのは、ユーザーごとに分散するタイプのストレージシステム。これは DAVStorage という名前で、５年ほど前から本番環境へ投入し稼働していました。 DAVStorage はコスト的にメリットがありましたが、当初問題なかったものの大規模化するに従って機能面での不足が明らかになり、次世代型のシステムを開発する必要性がありました。

そこで作られたのが、今回オープンソースで公開する分散オブジェクトストレージシステム「STF」です。STFではファイル単位の分散が可能となり、より安全に、より高速に大量のデータを保存・参照することが可能になりました。メンテナンス・運用の利便性も以前より向上し、現在では安価になったHDDを並列で使い制御するシステムを開発・運用し、コスト面での改善と数多くのユーザーに対応出来るようになっています。


というわけで、STF 是非お試しください。

STF 分散オブジェクトストレージシステム - livedoor labs EDGE



技術的な解説はこちら。
STF分散オブジェクトストレージ - Perl Advent Calendar Japan 2011 Hacker Track