Fastly、生成AIのAPIをインテリジェントにキャッシュ、高速レスポンスとコール回数削減を実現する「AI Accelerator」発表

Fastlyは、生成AIへのAPIコールをセマンティックに基づいてインテリジェントにキャッシュすることで、APIコールからの高速なレスポンスとAPIコール回数の低減によるコスト削減などを実現する「Fastly AI Accelerator」を発表しました。

インテリジェントなセマンティックキャッシング

通常のアプリケーションが提供するAPIは、引数と返値が文字列や数値などのデータ型によって決められています。そのため、APIキャッシュのアルゴリズムにおいて引数が一致しているかどうかを判断し、一致している場合にはキャッシュ済みの返値を高速に返す、といった処理はそれほど複雑なものではありません。

一方で、最近登場した生成AIにおいては、プロンプトが自然言語で記述されるため、ほとんど同じ内容であったとしてもさまざまな表記や表現が可能なため、プロンプトが過去のプロンプトと完全に一致することは期待できません。

今回発表されたFastly AI Acceleratorは、インテリジェントなセマンティックキャッシングによって、こうした生成AIに対するAPIコールでも有効性を発揮できるようにつくられた生成AI用のAPIキャッシュおよびゲートウェイです。

以前に質問されたことのある類似のプロンプトについて、セマンティックキャッシュによってキャッシュされたレスポンスを高速に返すことで、生成AIを用いたアプリケーションの性能向上と、APIコール数の低減によるコスト削減を実現します。

ChatGPTのテキストAPIから対応開始

Fastly AI Acceleratorは、OpenAIのChatGPTが提供するテキストAPIのAPIゲートウェイ機能をまず提供します。開発者は新しいAPIエンドポイントを使用するようにアプリを更新するだけで利用を開始できます。

Fastlyは今後、OpenAI以外の生成AIにも対応を広げていくとしています。