マイクロソフトのHadoop対抗「Dryad」がベータテスト開始

マイクロソフトは、Windows HPC Serverのクラスタ上で動作する「Dryad」のベータ公開を開始したことを発表しました。

Dryad Beta Program Starting - The Windows HPC Team Blog - Site Home - TechNet Blogs

Dryadは、オープンソースとして公開されている大規模並列バッチ処理ソフトウェアのHadoopに対抗するものといわれています。Hadoopは、いままで高価格なハードウェアとソフトウェアが必要とされていたビジネスインテリジェンスなどの大量データ分析を、安価なハードウェアのクラスタとオープンソースという破壊的な低価格と高い処理能力をもたらしたことで注目されています。

DryadとHadoopの違いは？

発表によると、今回ベータ公開されたのは、Windows HPC Server 2008 R2 Service Pack 1クラスタ上にインストールして動作する「Dryad」と「DSC」。そしてアプリケーションを.NET LINQモデルで開発するための「DyradLINQ」。ただしまだすべての機能が利用可能になっているわけではなく、一部機能の制限があるとのこと。

HadoopとDryadがどう違うのかについては、今年7月の記事「マイクロソフトのHadoop対抗技術「Dryad」、いよいよ始動か？」に書きましたので、あらためてここでまとめておきます。

MapReduceとは、簡単に言えば大規模なデータを小さなデータに分割して処理するMap処理と、それをまとめて結果として出力するReduce処理からなります。Dryadを解説している「Dryad プロジェクト ～ Microsoft Research 研究紹介シリーズ」では、HadoopとDryadの違いを、MapReduceではMapからReduceへ一連の処理を逐次実行していくのに対し、Dryadでは処理の順番や内容をもっと柔軟に設定できるとしています。