クラウドのリージョンを丸ごと落とす過酷な試験を実現する「Chaos Kong」、Netflixが発表。「カオスエンジニアリング」の指針も表明

動画配信サービスのNetflixが、Amazonクラウド上のサーバをランダムに落とすことでシステムの堅牢性をチェックするという画期的な考え方のツール「Chaos Monkey」を発表したのは2012年でした。

• サービス障害を起こさないために、障害を起こし続ける。逆転の発想のツールChaos Monkeyを、Netflixがオープンソースで公開

Netflixは普段からChaos Monekeyでシステムをテストし続けていたおかげで、昨年10月にAmazon EC2の全インスタンスの約10％がリブートされるという大規模メンテナンスも難なく乗り切ることができたと報告しています。

The Netflix Tech Blog: Chaos Engineering Upgraded

そしてこのChaos Monkeyの成功に基づき、さらに過酷な状況をシミュレーションするツールがNetflixから発表されました。Amazonクラウドのリージョンを丸ごと落とす状況をシミュレートする「Chaos Kong」です。

Netflixは先週発生した米東リージョンにおけるDynamoDBの大規模障害を、このChaos Kongでテストしていたおかげで乗り切ったと説明しています（一方でNetflixは障害の影響を受けたとの報道もあります）。

By running experiments on a regular basis that simulate a Regional outage, we were able to identify any systemic weaknesses early and fix them. When US-EAST-1 actually became unavailable, our system was already strong enough to handle a traffic failover.

（Chaos Kongによる試験を）定期的に実行することによってリージョンが落ちることをシミュレートでき、早期にシステムの脆弱性を発見し修復できた。米東第1リージョンが実際に落ちたときも、トラフィックをフェイルオーバーさせるだけの堅牢性がすでに私たちのシステムには備わっていたのだ。

Netflixはこの、Chaos MonkeyやChaos Kongといった方法論をさらに推し進めていると、ブログ「Chaos Engineering Upgraded」で説明しています。

We learn about the behavior of a distributed system by observing it in a controlled experiment, and we use those learnings to fortify our systems before any systemic effect can disrupt the quality service that we provide our customers. We call this new discipline Chaos Engineering.

コントロールされた試験を観察することで、私たちは分散システムの振る舞いというものを学んでいる。そして、システム障害の影響によってお客様に提供しているサービスの品質が損なわれる前に、ここで学んだことでシステムをより強固にしているのだ。私たちはこれを新しい規律「Chaos Enginieering」（カオスエンジニアリング）と呼んでいる。

Chaos Engineeringをドキュメントとしてまとめた「PRINCIPLES OF CHAOS ENGINEERING」の公開も合わせて発表されています。