Hadoop初のメージャーバージョンアップ「Hadoop 2」正式版が公開。MapReduce以外の分散処理フレームワークも実行可能に

2013年10月17日

The Apache Software Foundationは、Hadoopの初めてのメジャーバージョンアップとなる「Apache Hadoop 2」の正式版公開を発表しました。

The Apache Software Foundation Announces Apache™ Hadoop™ 2 : The Apache Software Foundation Blog

Hadoopは2004年にGoogleが公開したMapReduceに関する論文を元にオープンソースとして開発されたものでした。Hadoopの開発者であるダグ・カッティング氏は、Hadoop 2のプレスリリースで次のように発言しています。

"What started out a few years ago as a scalable batch processing system for Java programmers has now emerged as the kernel of the operating system for big data," said original Hadoop creator and ASF Board member Doug Cutting.

“Javaプログラマーのためのスケーラブルなバッチ処理として数年前に始まったものが、いまビッグデータのためのオペレーティングシステムの中核になろうとしている”と、Hadoop開発者でApache Software Foundationメンバーのダグ・カッティング氏は語る。

Hadoop 2の最大の特徴は、HDFS上にYARN（Yet Another Resource Negotiator）と呼ばれるフレームワークが載り、MapReduceだけでなく、さまざまなアルゴリズムの大規模分散処理アプリケーションが、しかも複数同時に効率的に実行できるようになっているところです。

Hadoop 2の新機能

Hadoop 2の特徴は以下となっています。YARN搭載のほか、HDFSフェデレーション、HDFSスナップショット、Windowsサポート、NFSバージョン3アクセスなどが挙げられています。

Apache Hadoop YARN, a cornerstone of next generation Apache Hadoop, for running both data-processing applications (e.g. Apache Hadoop MapReduce, Apache Storm etc.) and services (e.g. Apache HBase)
High Availability for Apache Hadoop HDFS
Federation for Apache Hadoop HDFS for significant scale compared to Apache Hadoop 1.x.
Binary Compatibility for existing Apache Hadoop MapReduce - applications built for Apache Hadoop 1.x.
Support for Microsoft Windows.
Snapshots for data in Apache Hadoop HDFS.
NFS-v3 Access for Apache Hadoop HDFS.

Hadoop 2の新機能については下記の記事で解説していますので、ぜひご参照ください。