ライブドア流自作サーバ

カテゴリ
ブックマーク数
このエントリーを含むはてなブックマーク はてなブックマーク - ライブドア流自作サーバ
このエントリーをはてなブックマークに追加
livedoorポータルサイト等のインフラを担当している片野です。
今回は若干いまさら感がありますが、弊社にて運用している自作サーバをご紹介します。
(検証機以外は弊社内で組み立ててないので、正確には自作してないんですがw)


■背景


去年は特に自作サーバが盛り上がっていましたし、早い段階で「うちも作るか!」という展開はあったんですが、弊社では以下のような事情もあり、着手していませんでした。

・自社データセンタでの運用なため、その他顧客と運用が大きく変わるようなサーバを投入すると運用が煩雑になる。
・ポータルのサービスだけでも3000台近いサーバがあり、規模的にも運用に手がかかるサーバを入れるのは非現実的。
・ボリュームメリットが出せるため、コスト面での自作メリットはそれほど大きくない。
そもそも自作で間に合う台数じゃないw

(人的な)運用コストや調達コスト面ではあまりメリットがないのですが、ある事情により、年末辺りから自作サーバを再検討していました。

その事情とは…


ラックの電力が足りない


まあ、どこの企業様も悩みは同じだと思うのですが、1ラック辺りに詰め込むメモリ量やストレージ量で考えると、サーバベンダ機ではとにかく電力がネックになります。

というわけで、以下のような条件で設計を進めました。

・サーバ用CPUは電力が高い(値段も)。省電力なCPUを使いたい。
・仮想化して効率良く使うにはメモリ16GBは欲しい。
・安く容量を増やせるストレージが欲しい。→3.5インチが有利
・ホットスワップは必須。
・電力的に詰め込むのが不可能なので、1Uハーフにはこだわらない。
・蓋なしのケースはダメ。ラックに固定できること。燃えそうだったり、感電しそうなケースももちろんダメw


■特徴


下記サーバが弊社で数ヶ月前から運用している自作(パーツの)サーバです。

sv03
※2010年5月現在で100台ほど稼働中。


今投入しているスペックは、基本的に以下のような構成です。
・CPU:Athlon II X4 605e
・Mem:16GB
・HDD:250GB(RAID1)

詳細は写真から判断頂ければ。
全然特殊なパーツはないですが。


性能と電力で言うとAM3が非常に優秀なので、今は省電力モデルのAthlonやPhenomを使ってます。
(省電力モデルのXeonもあるけど高すぎたので) 

下表は弊社でメインに使っているサーバベンダ機との比較結果です。





サーバ処理リクエスト数負荷時消費電力処理リクエスト数/Watt
X3250(Core2Duo x1, 8GB)355 req/s110 W3.23 req/W
X4150(Core2Quad x2, 24GB)962 req/s230 W4.18 req/W
自作サーバ(AthlonII X4 605e x1, 16GB)495 req/s91 W5.44 req/W
自作サーバ(PhenomII X4 945 x1, 16GB)662 req/s115 W5.76 req/W

Xeonと比較すると電力的にかなり有利なのが分かると思います。


ケースは2Uハーフです。
2Uハーフを選択している理由としては、下記のような点です。

・パーツ選定の制約が少なく、ケースの使い回しが効く。
・3.5インチHDDが使えるので、容量単価が有利。


1Uハーフでないとマウントできないような台数は電力的に入らないため、パーツ選定の自由度を優先して敢えて2Uハーフにしています。

また、既存サーバのラックレールに乗るように微調整がしてあります。
(ラックマウントしやすい形にすることでオペさんに怒られないライフハックw)

大量にあるラックレールを使い回せてエコです!
sv02


■今後の課題


・Atom+2TBHDDでストレージサーバ構築

検証はしていますが、まだ投入はしてません。
ストレージは増加する一方ですし、コスト削減は至上命題ですね。


・Phenom II X6の検証

まだ発売されていませんが、95W版の6CorePhenomは電力的に優秀そうなので気になってます。
より電力的に美味しいCPUへ随時交換して行きたいので、省電力Xeonも含め、色々と検証はしています。


運用面での課題はありますが、サーバベンダ機にはないメリットもありますし、何よりパーツ選定は楽しいので(笑)
今後も適材適所で使い分けていく予定です。
レスポンス

このエントリーをはてなブックマークに追加