Google、ビッグデータ処理基盤の「Cloud Dataflow」を正式サービスとして公開。エクサバイトまでスケール可能

Googleは、ビッグデータ処理のためのサービス「Cloud Dataflow」を正式版として公開すると8月12日に発表しました。

Cloud DataflowはGoogle Cloud Platformで提供されるフルマネージドのクラウドサービスで、エクサバイトのスケールまで対応。大量のデータの取得、変換、分析、分類などの一連の処理を、リアルタイムに処理するストリーム処理、逐次的に処理するバッチ処理のどちらでも同一のプログラミングモデルで記述し処理できるのが特長です。

Cloud Dataflowは昨年の6月に開催されたイベント「Google I/O 2014」ではじめて発表されました。その時点でGoogle社内ではすでにMapReduceを大規模データ処理には使っておらず、Cloud Dataflowを用いていることも明らかにされています。

2014年6月に開催されたGoogle I/OでのCloud Dataflowの発表の様子

Cloud Dataflowの発表を行ったGoogleのシニアバイスプレジデントUrs Hölzle氏は、Cloud Dataflowを使うことでスケーラビリティや並列性をプログラマが心配する必要はない、と説明しています。