Cloudflare、生成AIを守るためのファイアウォール「Firewall for AI」開発へ。従来とは異なる脆弱性に対応

Cloudflareは、生成AIを守るためのファイアウォール「Firewall for AI」の開発意向を発表しました。

生成AIの仕組みに起因する固有の脆弱性が存在する

Cloudflareは、従来のWebアプリケーションの脆弱性と生成AIを用いたアプリケーションには共通する脆弱性もある一方で、生成AIのモデルをジャックして不正なアクションを実行できるようにするような生成AIの仕組みに起因する固有の脆弱性も存在すると説明します。

生成AIは自然言語を用いたあいまいなプロンプトの操作に対して、たとえ同じプロンプトが入力されたとしても状況によって正確に予測することが困難であるような多様な答えや結果が示されるという点で、特定の操作に対して特定の動作が引き起こされる決定論的な従来のアプリケーションと振る舞いが大きく異なるとCloudflareは指摘します。

さらに、従来のアプリケーションではコードによるコントロール部分と、データベースによるデータ部分が分離されており、あらかじめコードにより定義された操作だけが行われることが分かっているため、コードの部分に対してチェックや操作の逸脱が怒らないような仕組みを集中させることで、データを保護することができました。

生成AIはこれとは異なり、データそのものが学習プロセスを通じてモデルの一部になるため、データがプロンプトによる操作に対してどのように提供されるのかを管理することは困難です。

ユーザーに近いところでファイアウォールを実行

Cloudflareが開発するFirewall for AIでは、すでにWAF（Web Application Firewall）の機能として提供しているレートの制限やセンシティブなデータの検出などの機能に加えて、こうした生成AI独自の仕組みに起因する脆弱性についても検出し、対応する機能を実装すると説明されています。

またFirewall for AIはCloudflareのネットワークを利用して可能な限りユーザーの近くで提供されることで、攻撃を早期に特定し、エンドユーザーとモデルの両方を悪用や攻撃から保護することができるとも説明されています。