ストレージの注目技術「デデュープ」をプライマリディスクに用いるのはチャレンジだ
2007年の終わり頃から、ストレージの世界で「デデュープ（De-dupulication）」という技術が注目を集め始めました。デデュープとは名称から想像できるとおり、データの中から重複している部分（Dupulication）を見つけ、その部分を省くことで保存するデータを効率的に扱おう、という技術です。
Computerworld.jpの記事「大容量データ時代のバックアップ新標準「データ・デデュープ」では、次のように説明されています。
「デデュープ技術」の肝は、2つのファイルを比較して、どの部分が同じで、どの部分が異なるのか、ということを見極めることにある。これによって、同じと判断した部分はバックアップしない、つまり、無駄な重複を避けることが可能になる。
ここから分かるように、デデュープはデータ圧縮技術の1つです。これまでのデータ圧縮技術の多くはファイルごとに1つ1つ個別に圧縮を行うのが一般的でしたが、デデュープはディスクボリューム全体に渡って重複した部分を排除するのが一般的です。このため通常の圧縮よりも扱うデータの範囲が広く、処理が複雑な一方で、従来の圧縮技術とは一線を画すほど効率的に重複排除を行って保存するデータを小さくすることが可能です（もちろん圧縮率は扱うデータによって異なりますが）。また、従来の圧縮技術と併用することでさらにデータを小さくすることができます。
主要なストレージベンダのほとんどが現在ではデデュープに対応したソリューションを揃えています。
ただしデデュープはこれまで、バックアップを効率的に行うソリューション、あるいは遠隔地へのディザスタリカバリ用に回線使用量を減らすソリューションとして用いられていました。プライマリのディスクに用いるには、デデュープの処理にかかるパフォーマンスや負荷が問題だったためです。これをハードウェアによって解決し、ストレージアプライアンスとして製品化したベンダによる発表会が本日行われました。
デデュープは仮想化と相性がよい
デデュープ機能をハードウェアで実装し、プライマリディスクとして利用可能にしたBridgeSTORベル・データが発表したアプライアンス「BridgeSTOR」は、IBMのサーバ「System x3650 M2」（Xeon 5500、最大メモリ128GB、最大HDD 6TB）をベースにWindows Storage Server 2003 R2 64bitを搭載しストレージサーバとしたものです。サーバ内に米ハイフン（Hifn）のデデュープカードを内蔵することで、ハードウェアベースでデデュープを実行するため高速にデータの重複排除および圧縮と伸長が行える特徴を備えています。
新製品の詳細については、Enterprise WatchやITproの記事を読んでいただくとして、
- ASICベースの重複排除が可能な中小向けストレージ「BridgeSTOR」、オンラインでも利用可能 - Enterprise Watch
- プライマリ利用も可能な重複排除ストレージ，ベル・データが10月販売 - ニュース：ITpro
いままでバックアップにしか用いられなかったデデュープをプライマリディスクに用いることができるようになった理由は何でしょうか？
デデュープ用のハードウェアを提供したEXAR社のバイスプレジデント ジョン・メイツ氏は、デデュープ処理をハードウェア化して負荷をサーバ本体からオフロードしたこと、また、ハードウェアによるデデュープおよび圧縮処理は、読み込が非常に高速で、書き込みについてもキャッシュを用いることで高速化しておりランダム書き込み時で約30～40メガバイト/秒と、iSCSIやIP-SANでのストレージへのアクセススピードが従来と変わらない、といったことを挙げています。
メイツ氏はこれから企業内でサーバの仮想化が普及すると、デデュープは非常に効果的だと指摘しています。サーバ内に多くの仮想化サーバのイメージファイルが保存された場合、そのイメージファイル内のOSは同一イメージになるはずで、またアプリケーションも多数重複している可能性があります。その場合、デデュープによって非常に高い重複排除効果が見込めるわけです。
さらに仮想サーバのイメージファイルを定期的にバックアップするケースでも、差分の部分だけが重複排除によって保存されるようになるため、これもデデュープと非常に相性がよいとのこと。
デデュープはいずれプライマリディスクに用いられるようになる、という予測は以前からありましたが、この製品の登場でそれが実現したことになります。ただし本当に顧客が納得するような性能と信頼性が達成できるのかが、これから試されます。
そしてそうした顧客からの信頼を得られたとすれば、仮想化やそれをベースにしたクラウドの基盤ストレージには、デデュープが標準搭載され普及していく可能性が高くなりそうです。
関連記事 on Publickey
あわせて読みたい
