AWS、超高性能なクラウド基盤を実現するために独自開発した技術を説明。AWS re:Invent 2019

Amazon Web Services（AWS）のデベロッパー向け年次イベント「AWS re:Invent 2019」が、米ラスベガスで開催中です。

基調講演の前夜に行われたセッション「Monday Night Live」には、AWSグローバルインフラストラクチャ＆カスタマサポート担当VP、Peter DeSantis氏が登壇。

DeSantis氏は、従来は専用のスーパーコンピュータで行われてきたような超高速なコンピューティングをクラウドでも実現するためにAWSは投資をし続けてきており、クラウドを進化させてきたと指摘。

そのためにどのような技術がAWSのインフラで使われているのかを説明しました。

独自のスイッチやNitro Controllerで高性能ネットワークを実現

超高速な処理をクラウド上で実現する上でカギとなる技術の1つ目は、広帯域で低レイテンシなネットワークの実現です。

AWSはそのためにネットワークスイッチ機器と、それらを制御するためのソフトウェアを独自に開発。

第三世代にあたる2019年現在、展開されているネットワークの性能は、2013年に展開されていた第一世代にあたるネットワークの性能と比較して、6年で20倍も向上していることを示しました。

そのうえで、すべてのAmazon EC2マシンに搭載されているAWS独自の「Nitro Controller」は、サーバのCPUサイクルもキャッシュも、ネットワークもストレージも、すべて仮想化するものであり、これによって帯域やレイテンシなどのネットワーク性能をそれ以外の性能に依存せずに最適化し、かつ独立してスケールできる仕組みになっているとのこと。

Nitro Controllerとは、昨年のre:Inventで明らかにされた「Nitro System」の一部として、Amazon EC2のサーバに組み込まれているAWS独自のカスタムチップです。

• Amazon EC2の最新基盤として「VMware Cloud on AWS」や「EC2ベアメタル」の実現にもつながったAWSの「Nitro System」とは？

TCPをバイパス、AWSに最適化されたプロトコルを利用可能

AWSはネットワークプロトコルにも手を入れているとDeSantis氏。

汎用の通信プロトコルとして使われているTCPは、OSのカーネルスペースで動作しており、しかもミリ秒の世界であるインターネットのために作られたプロトコルであり、HPCが要求するマイクロ秒の世界ではオーバーヘッドになるとDeSantis氏は指摘。

そこでAWSは独自に「Elastic Fabric Adapter」（EFA）と呼ばれる、AWSとNitro Controllerに最適化されたネットワーキングスタックを開発。

EFAをコミュニケーションライブラリとしてインスタンスに組み込むと、TCPの処理やカーネルをバイパスし、アプリケーションからNitro Controllerに通信内容を直接渡すことができるようになります。

Nitro Controllerは、内蔵された独自のトランスポートプロトコルである「SRD」（Scalable Reliable Datagram）を用いることで、一貫して広帯域で低レイテンシな通信を実現すると説明されました。

EFAとSRDを用いると、ベストケースでは当然ながらTCPよりも速く、ワーストケースであってもTCPのベストケースより速いことが示されました。

EFAは最小限の変更でアプリケーションに組み込み可能だとのこと。

米国海軍研究所はAWSの最新インスタンス群を用いて気象予報の処理を実行。

これまで使っていたオンプレミスのスーパーコンピュータの処理（チャートの青いライン。横軸でプロセッサが増えると、縦軸の処理時間が短くなる）よりも高い性能（チャートの赤いライン）を示したことが紹介されました。

DeSantis氏はまた、機械学習処理においてもAWSは高い性能を発揮することを解説。近々、AWSが機械学習専用に開発中のチップ「Inferentia」が登場することを明らかにしました。

AWS re:Invent 2019：バックナンバー

Monday Night Live

• AWS、超高性能なクラウド基盤を実現するために独自開発した技術を説明。AWS re:Invent 2019

Keynote1 : by Andy Jassy AWS CEO

• ［速報］AWS、自身でプロセッサを開発していく姿勢を明らかに。独自開発の第二世代ARMプロセッサ「Graviton 2」発表。AWS re:Invent 2019
• ［速報］「Amazon Fargate for Amazon EKS」正式発表。Kubernetes上の分散アプリケーションをマネージドなサーバレスとして自動運用。AWS re:Invent 2019
• ［速報］「Amazon CodeGuru」発表。機械学習したコンピュータが自動でコードレビュー、問題あるコードや実行の遅い部分などを指摘。AWS re:Invent 2019
• ［速報］AWSをオンプレミスに持ち込める「AWS Outposts」正式リリース。日本国内でも利用可能。AWS re:Invent 2019
• 5GキャリアのエッジロケーションにAWSを設置、モバイルデバイスから利用できる「AWS Wavelength」発表。国内ではKDDIが提携。AWS re:Invent 2019
• AWS、機械学習のための統合開発環境「Amazon SageMaker Studio」提供開始。コード、ノートブック、データセットをひとつのツールで。AWS re:Invent 2019

Keynote2 : by Werner Vogels Amazon.com CTO

• ［速報］「The Amazon Builders' Library」発表。大規模分散システムの構築、運用などについて、Amazonが学んできたことをコンテンツとして公開。AWS re:Invent 2019