データセンターを進化させるためにeBayが行っていること

ほぼ同じ処理性能を発揮する3つのクラスタ、2.9GHzのCPUを積んだサーバ2000台と、1.6GHzのサーバ3663台、3.46GHzのサーバ1694台。どれが最もトータルコストが安いのか？ eBayのDean Nelson氏は、こうした緻密な試算を積み重ねてデータセンターの構成を決定していることを、スイスで開催された「2011 European Data Centre Summit」のセッションで解説しています。

最新のデータセンターはどのような設計思想の上に成り立っているのか。公開されているセッションのビデオから紹介します。

What have we learnd in our Data Centers

eBayのDean Nelson氏。

まずはeBayの基本的なデータを紹介しよう。eBayは1日に2ビリオンページビューのWebサイトで、23ミリオン行のソースコード、1日に75ビリオンのデータベースコールがある。これはだいたいニューヨーク証券取引所の4倍になると思う。

全体で50パタバイト以上のデータストレージを備え、世界最大のマーケットエクスチェンジであり、94ミリオンのアクティブユーザーとShopping.comやrent.comなど190のマーケットを運営している。

ビジネス面でのデマンドも非常に高い。Paypalは年に25％成長し、モバイルからのアクセスは2年以内に4倍に成長するだろう。

データは1年以内に500％以上成長している。データこそ、すべてをドライブするものであり、データは顧客が何を求めているかを教えてくれる。

今年は半分以上のサーバを新しくする。新しいサーバでは性能は倍になり、パワーは半分になる。そして同様にデータセンターの電力消費量が下がる。

これまでと同じようにデータセンターを構築していては、競争力を維持できないと考えている。そこで、私たちが最新のデータセンター構築で学んだことを紹介していこう。

私が最初にeBayに来たときには、すべてが高価なTier4データセンターの上で構築されていた（注：データセンターは信頼性の低いほうからTier1、Tier2、Tier3、Tier4に分類される。Tier4はもっとも信頼性の高い構成のデータセンターである）。

そこで、ワークロードやサービスの内容、要件に応じてこれらを分類することから始めた。

例えばサーチ、データベース、バックボーンネットワークなどコンポーネントごとに判断をしていき、どれをTier4に入れるべきかを判断した。そして、80％の施設はTier 2に入れた。これにより調達や運用にかかるコストを半分にした。

またeBayは多くのタイプのサーバを用いてきた。グループごとにサーバの構成が異なっていたのだ。これは効率が悪く、高価でもあった。そこでサーバを2種類の構成にまとめた。Hdoop向けのサーバとそれ以外だ。プロセッサ、メモリ、ネットワークコンポーネントなど全部を同じ構成にした。

そして非常に重要で効果的だったのが、包括的TCOモデル（Holistic TCO Model）だ。あらゆるコストを、デプロイ、アプリケーション、イクイップメントに分解していった。これにより調達における意志決定が大きく変わった。

その例を見てみよう。次のグラフは、データセンターにおける密度分析グラフだ。私は密度を分析するのが大好きだ。

あるワークロードを処理するとき、低性能のCPUで低消費電力のサーバを多数集めた方がいいのか、それとも逆がいいのだろうか？ それを判断することができる。

このグラフの3番目の列に着目すると、2.93GHzCPU搭載のサーバ2000台の処理性能を示している。これと同等の処理性能なのが、1列目の1.6GHzCPU搭載サーバだと3663台、2列目の2.26GHzCPU搭載サーバだと2593台、4列目の3.46GHzCPU搭載サーバだと1694台である。黒い線グラフが、その台数を示したものだ。

赤い線はそれらのサーバを11-18Kwのラックに展開したときのコストで、緑の線はそれらのサーバを22-28.8Kwのラックに展開したときのコストだ。

これを見ると、2.98GHzCPU搭載サーバを22-28.8Kwのラックに展開するのがいちばんコストが安いことが分かる。

これはデータセンター内でのコストだが、次のグラフではソフトウェアも含めた全体のコストを見てみよう。

グラフのいちばん右を見てみよう。なぜ私が3.4GHzのサーバを買わないのか。これにはプレミア価格がついているが、それが割に合わないからだ。

（訳注：このグラフでも3列目の緑のグラフのいちばん下がったところ、つまり2.93GHzCPU搭載サーバを2000台、22-28.8Kwのラックに展開するのがいちばんコストが安いことが分かる）

そういうわけで、適切なラックの密度が重要だ。コストの面でもっともすぐれたスイートスポットは、Hadoop用には1ラック48サーバ、2.4GHz/6コア、24TBストレージの構成。それ以外の用途には、1ラック96サーバ、3GHz/6コア、という構成だ。

そしてグラフで見たように、20kWラックは14kWラックよりもコスト効果が高い。

eBayではこうした構成のラック一式をアウトソースしており、キャッシュオン・デリバリで調達している。納品後ラックを電源につなぎ、データを入れるだけでプロビジョニングに加わるのだ。

そして、データセンターレベルでの包括的なコンピュータエンジニアリングが重要だ。大規模で複雑でやりすぎた冷却は不要だし、水平方向のスケーラビリティも、垂直方向のスケーラビリティも検討すべきだ。

その意味でオーバークロックも水冷式も悪くない。外気とチップの温度を見て、必要なときにチップを水冷式で冷やしてオーバークロックできれば、余計なサーバを買わなくて済む。コストと性能のバランスの問題だ。こうした方法も受け入れられていくのではないだろうか。

私たちは、データセンターの性能、コスト、効率を最適化するためのアクセルペダルを作っているのだ。必要なときにはエンジンをふかし、そうでないときは戻せるような。それは性能とコストと効率性の最適化だ。