AWS、SQL互換の新問い合わせ言語「PartiQL」をオープンソースで公開。RDB、KVS、JSON、CSVなどをまとめて検索可能

Amazon Web Services（以下AWS）は、SQL互換の新しい問い合わせ言語およびそのリファレンス実装である「PartiQL」をオープンソースとして公開したことを発表しました。

PartiQLはSQL互換の構文に最小限の拡張を施すことで、リレーショナル形式のデータベースだけでなく、KVSやJSONなどを含むNoSQLデータベースやCSVファイルなど、さまざまなデータソースに対して横断的に検索できる問い合わせ言語およびそのリファレンス実装です。

下記はPartiQLを発表したブログからの引用です。

Today we are happy to announce PartiQL, a SQL-compatible query language that makes it easy to efficiently query data, regardless of where or in what format it is stored. As long as your query engine supports PartiQL, you can process structured data from relational databases (both transactional and analytical), semi-structured and nested data in open data formats (such as an Amazon S3 data lake), and even schema-less data in NoSQL or document databases that allow different attributes for different rows.

本日、PartiQLを発表します。PartiQLは、データがどこにどのようなフォーマットで保存されていたとしても、データを効率的に問い合わせ可能にするSQL互換の問い合わせ言語です。クエリエンジンがPartiQLをサポートしていれば、リレーショナルデータベース（トランザクションとアナリティクスのどちらも）、オープンなデータフォーマットの半構造化データや入れ子形式のデータ（Amazon S3データレイクなど）、そしてNoSQLのスキーマレスなデータや行ごとに異なる属性を持つことを許容するドキュメントデータベースなども対象となります。

PartiQLの特徴として以下が挙げられています。

SQL compatibility（SQL互換）
既存のSQLを書き換えることなく、追加で導入可能

First-class nested data（入れ子形式のデータを重視）
PartiQLのデータ抽象化において、入れ子形式のデータを基本的なデータ型として扱う。そのため、PartiQLの文法や構文にはこれらを包括的かつ適確に扱うものが含まれる。

Optional schema and query stability（スキーマのオプション化と問い合わせの安定性）
PartiQLはデータに対してスキーマがあることを求めていないため、スキーマの存在を前提としないデータベースエンジンも扱える。スキーマがデータに適用されてもされなくても、データが同じであればクエリの結果は変わらない。

Minimal extensions（最小限の拡張）
PartiQLはSQLに最小限の拡張を行うものとする。

Format independence（データフォーマットに非依存）
PartiQLの文法はJSON,やParquetやORC、CSVやそのほかのあらゆるデータフォーマットに依存しない。

Data store independence（データストアに非依存）
PartiQLの文法はあらゆるデータストアに依存しない。

PartiQLはすでにAWSのサービスとして使われている

AWSがPartiQLの開発を行った理由は、Amazonの小売り部門がリレーショナルデータベースやNoSQLなどのさまざまなデータストアにデータを保存しており、それらを効率よく活用するにはPartiQLのようなデータストアやフォーマットに依存しない問い合わせ言語と実装を求めていたためだとしています。

PartiQLはすでにAWSのサービスの一部として使われており、また前述のようにすでにAmazon社内のシステムでも使われているとのこと。

It is already being used by Amazon S3 Select, Amazon Glacier Select, Amazon Redshift Spectrum, Amazon Quantum Ledger Database (Amazon QLDB), and Amazon internal systems. Also, Amazon EMR pushes down PartiQL queries to S3 Select. More AWS services will add support in the coming months. Outside of Amazon, Couchbase also looks forward to supporting PartiQL in the Couchbase Server.

PartiQLはすでにAmazon S3 Select、Amazon Glacier Select、Amazon Reshift Spectrum、Amazon Quantum Ledger Database（Amazon QLDB）、そしてAmazonの社内システムなどで使われています。

さらに今後、より多くのAWSサービスがPartiQLをサポート予定で、また、AWS以外ではCouchbase ServerがPartiQLをサポートする見通しだそうです。