3D映画「AVATAR」、スクリーンの裏には大規模データとの戦いがあった

3D映画として上映され話題になっている映画「AVATAR」（アバター）ですが、その制作過程では大量のデータ処理との戦いがあったことを海外の複数のメディアが報じています。

毎週のようにテラバイト級のデータが生成

AVATARは、カリフォルニアにあるLightStorm Entertainmentが制作しましたが、そこで3Dカメラの動画から生成される大量のデータは、ニュージーランドにあるWeta Digitalに転送されコンピュータグラフィックスの処理が行われたと、The Registerの記事「The Avatar storage effect」が報じています。

LightStorm Entertainmentが使用していたストレージはアイシロン・システムズのもの。アイシロンはこの件で「Lightstorm Entertainment Uses Isilon IQ to Power Production of "Avatar"」というプレスリリースを出しています。

リリースではLightstorm Entertainmentのプロデューサが、毎週、ときには毎日のようにテラバイト級のデータを生成したと語っています。

Our unique and highly demanding workflow created terabytes of data on a weekly and even daily basis,

私たちのユニークでかつ高い要求をこなすワークフローが、テラバイト級のデータを毎週、ときには毎日生成していました。

以下はどのようなデータが生成されたのかについて。

The "Avatar" production generated terabytes of data in various formats, including massive digital files used in creating "Avatar's" all-digital, virtual filming environment, small metadata and instructional files, still frames for review, and large media files from Avid systems.

AVATARの制作過程では、各種フォーマットによるテラバイト級のデータが生成されました。これらはすべてデジタルで、仮想フイルム環境であり、メタデータやインストラクションファイル、レビューのための静止フレーム、そしてAvidシステムからの大規模なメディアファイルなどです。

この大量のデータをカリフォルニアからニュージーランドへ転送する手段として、FTPでは性能が十分ではなく、ときにはスニーカーネット（つまり人手による運搬）も併用し、結局はAsperaというベンダのFASPという高速な転送技術を採用したとのこと。

スーパーコンピュータクラスの処理性能

Weta Digitalがどれだけの規模で動画処理を行っていたのかは「DataCenterKnowledge」の記事「The Data-Crunching Powerhouse Behind 'Avatar'」が伝えています。

それによると、同社は2008年にハードウェアを入れ替え、AVATARの制作で利用したのは4000台のHP BL2×220cブレードサーバ、ファウンドリーネットワークス（現ブロケード コミュニケーションズ システムズ）の10GbEネットワーク、BluArcとNetAppのストレージで構成され、そのクラスタの計算能力は、スーパーコンピュータ上位500のリストで193位から197位に連なるほどです。

Information Managementの記事「Processing AVATAR」が、同社のシステムをより詳しく伝えています。

The computing core - 34 racks, each with four chassis of 32 machines each - adds up to some 40,000 processors and 104 terabytes of RAM. The blades read and write against 3 petabytes of fast fiber channel disk network area storage from BluArc and NetApp.

コンピューティングの中心は34本のラックで、それぞれが32台のマシンを4つのシャーシに格納し、合計で4万にも上るプロセッサ、104テラバイトのメモリを搭載する。このブレードサーバがBluArcとNetAppのストレージに格納された3ペタバイトのデータを、ファイバーチャネルのストレージネットワーク経由で読み取っていく。

All the gear sits tightly packed and connected by multiple 10-gigabit network links. "We need to stack the gear closely to get the bandwidth we need for our visual effects, and, because the data flows are so great, the storage has to be local," says Paul Gunn, Weta's data center systems administrator.

すべての機器は、複数の10ギガビットネットワークで密接に接続されている。「私たちは視覚効果処理に必要なバンド幅を得るために機器を密接して積み上げなければなりませんでした。その結果、データフローは強力なものとなり、ストレージもローカルに配置しなければなりませんでした」と、Wetaのデータセンター管理者であるPaul Gunn氏は語る。

こうした密接した配置のせいなのか、冷却についても触れられています。

It also required some extra engineering for the hardware because the industry standard of raised floors and forced-air cooling could not keep up with the constant heat coming off the machines churning out a project like AVATAR.

さらに特別な装置も必要になった。なぜならば、業界標準の床上昇強制冷却機構（Raised Floors and Fooced-air cooling）ではAVATARプロジェクトのマシン冷却としては十分なものではなかったからだ。

これまでも映画にはさまざまな最新テクノロジーが投入され、ITもその一部として重要な役割を果たしてきましたが、3D映画の時代にはその役割がますます高まっていくことになりそうですね。