「次世代Hadoopの開発に着手する」Yahoo!が宣言、数万台以上のクラスタをサポートへ

2011年2月21日

米Yahoo!が大規模分散処理のフレームワーク「Hadoop」の次世代版を開発することを、ブログYahoo! Developers Networkにポストしたエントリ「The Next Generation of Apache Hadoop MapReduce」で明らかにしました。

The Next Generation of Apache Hadoop MapReduce · Yahoo! Hadoop Blog

Yahoo!によると、現在のHadoopの実装では1クラスタあたり4000台程度でスケーラビリティの限界にあたるため、アーキテクチャを見直して信頼性や可用性を高めると同時に、1万台から2万台を超えるクラスタのスケーラビリティを実現したうえで、従来のHadoopとアプリケーションの互換性を保つ予定とのこと。さらに、マルチテナント対応、多言語プログラミングのサポートなども実現する予定のようです。

Apache Hadoopコミュニティと協力して開発を進める

Yahoo!はブログで次のように書いています。

The current implementation of the Hadoop MapReduce framework is showing it’s age.

現在のHadoop MapReduceフレームワークの実装は古さを見せつつある。

Yahoo!はHadoopが生まれた企業であり、現在でも世界最大のユーザーの1つです。Yahoo!にとってどこが古さを見せつつあるのでしょうか？

Given observed trends in cluster sizes and workloads, the MapReduce JobTracker needs a drastic overhaul to address several deficiencies in its scalability, memory consumption, threading-model, reliability and performance.

クラスタのサイズとワークロードのトレンドに対して、MapReduce JobTrackerはドラスティックなオーバホールを必要としている。それは、スケーラビリティ、メモリ使用量、スレッドモデル、信頼性と性能といった点に対する不足の解決だ。

こうした問題を解決するために、次世代Hadoopが必要だとしています。そして、要件（Requirements）を次のように定めています。

信頼性
可用性
スケーラビリティ～ 1万台から2万台のクラスタコア、もしくはそれ以上
後方互換性（および前方互換性）～カスタマのMapReduceアプリケーションを変更せずに次世代バージョンでも実行できることを確保する
革新～ Hadoopのソフトウェアスタックへアップグレードすることをカスタマ自身がコントロールできる
予測可能なレイテンシ
クラスタの有効化

Yaho!は先月末に独自のHadoopディストリビューションの開発を止め、Apache Hadoopの開発に注力することを、エントリ「[ANNOUNCEMENT] Yahoo focusing on Apache Hadoop, discontinuing “The Yahoo Distribution of Hadoop”」で宣言していました。

今回の次世代Hadoopの開発でも、Apache Hadoopのコミュニティと協力して進めていくと書いています。