Apache Kafkaがついにバージョン1.0に到達、オープンソース化から約7年。大量のデータを高速に収集できるメッセージ処理システム

2017年11月14日

大量のデータを高速に収集できるメッセージ処理システムとして知られる「Apaceh Kafka」が、正式バージョンとなる「Apache Kafka 1.0」に11月1日付けで到達したことが、Kafkaの主要な開発元であるConfluentから発表されました

Apache Kafka

Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理する機能を備えたソフトウェアです。

さまざまなアプリケーションやシステムから送られてくるログや大量のセンサーなどから生成されるデータなど、リアルタイムに送信されてくるストリームデータをいったんKafkaで受け止め、それをまとめてHadoopなどの分析エンジンに渡してデータの分析を行う、といった形で使われます。

また、その名称は「変身」などで知られる作家のフランツ・カフカにちなんだものとされています

fig

バージョン1.0では、Stream APIの強化、Java 9対応、メトリクスの改善、ディスク障害への対応改善などの改善が行われました。

1.0で、真に安定し成熟したエンタープライズ対応に

Apache Kafkaはオープンソースとして登場してから今回のバージョン1.0まで、約7年が経過しています。そしてすでに数年前から多くの本番システムで採用が始まっていました。

そうしたなかでのApache Kafkaがバージョン1.0は、真に安定し成熟したエンタープライズ対応版だと、Apache Kafkaプロジェクトマネジメントコミッティは次のように説明しています。

With this release, the Apache Kafka Project Management Committee is acknowledging that Kafka has truly become a stable, mature, and enterprise-ready Streaming Platform poised to continue serving users faithfully and evolving as stream processing plays a first-class role in enabling a central nervous system for all companies worldwide.

Apache Kafkaプロジェクトマネジメントコミッティは、今回のリリースにおいてKafkaが真に安定し成熟したエンタープライズ対応のストリーミングプラットフォームであることを認め、ストリーム処理が世界中のすべての企業にとって中枢的なものになるべく引き続き進化させていく。

LinkedInがオープンソース化。スピンアウトしたConfluentが商用化

KafkaはもともとLinkedInが2009年から社内で開発していたた分散メッセージキューイングソフトウェアです。2011年1月に同社がオープンソースとして公開しました。

2011年7月にApacheがKafkaをインキュベーションプロジェクトとして採用し、2012年1月にApacheからの最初のリリースとなる「Apache Kafka 0.7」が登場します

その後Kafkaは順調に機能強化やバグフィックスが行われていき、Kafkaはビッグデータ処理の広がりとともに、さまざまなシステムで採用されていきます。

2014年11月には、LinkedInのエンジニアがスピンアウトし、Kafkaの商用利用を推進するための企業「Confluent」を結成。Kafkaの主要な開発元となりました。

そのConfluentは、2017年9月にストリームデータをSQLで継続的に処理するSQLエンジン「KSQL」のデベロッパープレビューをオープンソースでリリースするなどKafkaの強化を積極的に推進しています。

そしてオープンソース化から6年10カ月となる2017年11月1日に、正式安定版として「Apache Kafka 1.0」がリリースされることとなりました。

Kafkaのビジョンは、ストリーミング処理のプラットフォームとして、ストリームデータをトランザクション的な整合性を保ったまま、読み書きや移動、そして分析や加工といった処理を行うこととされています。

バージョン1.0でそれはある程度の完成を見たものの、今後もさらにこのビジョンに沿って強化を続けていくとのことです。

あわせて読みたい

機械学習・AI Apache Kafka




タグクラウド

クラウド
AWS / Azure / Google Cloud
クラウドネイティブ / サーバレス
クラウドのシェア / クラウドの障害

コンテナ型仮想化

プログラミング言語
JavaScript / Java / .NET
WebAssembly / Web標準
開発ツール / テスト・品質

アジャイル開発 / スクラム / DevOps

データベース / 機械学習・AI
RDB / NoSQL

ネットワーク / セキュリティ
HTTP / QUIC

OS / Windows / Linux / 仮想化
サーバ / ストレージ / ハードウェア

ITエンジニアの給与・年収 / 働き方

殿堂入り / おもしろ / 編集後記

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed

最新記事10本