Hadoop WorldでClouderaと提携したNTTデータが目指すもの。Hadoop World: NYC 2010

2010年10月18日

先週10月12日に、ニューヨークでHadoopのイベント「Hadoop World: NYC 2010」が開催されました。参加者は900名を超えたともいわれ、日本からも30名程度が参加しました。

イベントを主催するClouderaは、Hadoopを開発したDoug Cutting氏らが所属しており、Hadoopの商用利用におけるリーダー的な存在です。そしてこのイベントでClouderaはNTTデータとの提携を発表。両社でアジア太平洋地域と日本でのHadoopビジネスを積極展開することを明らかにしています。

Clouderaとの提携を受け、NTTデータ代表取締役常務執行役員ソリューション＆テクノロジーカンパニー長 CTO 山田伸一氏がHadoop Worldで講演。その講演内容をHadoop Worldに参加したNTTデータ関係者から入手しました。以下はその情報を元に記事化したものです。

アジア太平洋地域と日本でのHadoop商用利用を推進

ClouderaのCEOであるMike Olson氏は、NTTデータを「First Regional Partner」として紹介。その紹介を受けてNTTデータ山田伸一氏が登壇。

NTTデータは2008年から3年以上にわたり、Hadoopの構築と運用を行ってきた。現在では300台から1000台以上のサーバで構成される規模のHadoop環境を構築、運用しており、日本国内ではナンバーワンの実績を有していると考えている。

データマネジメントの分野ではすでに8年以上PostgreSQLに取り組んでもいる。PostgreSQLもHadoopもマスコットは象である。NTTは象好きなのだ。

今回の提携で、アジア太平洋地域と日本におけるHadoopビジネスを両社協力のもとに進めていく。

NTTデータは日本国内で「Cloudera's Distribution for Hadoop」（CDH）のソフトウェア、サポート、トレーニングやナレッジベースなどの提供を行う。

オープンソースの観点ではコミュニティやエコシステムの構築と維持も重要。NTTデータはその一翼を担えると考えている。

Hadoopには実績やアプローチが異なる2種類の顧客がいる

日本におけるHadoopの現状。アーリーアダプターはネットサービス系の企業。前向きな取り組みはまだ多くなく、ベストプラクティスを求めている段階。

Hadoopの実績を積んでいくなかで、2種類の顧客がいるように感じる。それぞれ重視するポイントやアプローチが異なる。

1種類目は「すでに大量にデータを持っている企業」で、彼らのニーズはHadoopが持つ処理能力におけるスケーラビリティ、コモディティサーバで実現できるスケーラビリティのいずれにも合致している。そのため早期からHadoopを使い始めている。

この場合の課題は、Hadoop/MapReduceの使いこなしよりも、既存のシステムとどう組み合わせるか、また、設備が大規模になるために、それらをどうやって効率的かつ経済的に運用するか、にある。

しかしHadoopの効率的、経済的な運用（Operational Economies）はやってみないと分からないことが多い分野だ。単体の機器の故障率と故障の影響のバランスを考慮し、機器の調達方法や故障対応の自動化などをバランスよくデザインすることが大事。NTTデータでは、このあたりの検証や実績作りに取り組んでいる。