Cloudflare、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供開始

2024年7月11日

Cloudflareは、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供すると発表しました

生成AIは人間が作成したテキストや画像、動画などを大量に読み込んで学習を行う必要があります。生成AIを開発している組織は、より多くの学習データを取得しようとしており、そのためにインターネット上の多数のWebサイトをクロールするBotを稼働させているのです。

しかしWebサイトの運営元として自分たちのコンテンツがこうした生成AIの学習に使われることを望まないところもあるでしょう。

Cloudflareの新機能はこうしたWebサイトが簡単に生成AIのBotによるクローラーをブロックしてくれる機能を提供してくれます。

下記がCloudflareのダッシュボード画面で、すでに機能が利用可能になっていることが分かります(実際にPublickeyが導入しているCloudflareのダッシュボード画面です)。

生成AIのBotによるクローラーをブロック

大量の生成AIのBotが活動中

Cloudflareによると、すでに大量の生成AIのBotがクローリングを行っており、特にTikTokを所有する中国のByteDanceの「Bytespider」、OpenAIの「GPTBot」、Anthropicの「Claudebot」、Amazonの「Amazonbot」などの活動量が多いと分析しています。

下記はCloudflareによる過去1年各種の生成AIのBotによるクローリングの活動量を示したグラフです。

生成AIのBotによるクローリングの活動量

Cloudflareは、生成AIのBotがユーザーエージェントを偽装するなどで本物のWebブラウザに見せかけようとしているケースもあるとも説明しています。

そのため機械学習によってBotをスコアリングすることでそうした偽装を発見し、つねにブロックリストに反映させているとのことです。

あわせて読みたい

クラウド セキュリティ 機械学習・AI




タグクラウド

クラウド
AWS / Azure / Google Cloud
クラウドネイティブ / サーバレス
クラウドのシェア / クラウドの障害

コンテナ型仮想化

プログラミング言語
JavaScript / Java / .NET
WebAssembly / Web標準
開発ツール / テスト・品質

アジャイル開発 / スクラム / DevOps

データベース / 機械学習・AI
RDB / NoSQL

ネットワーク / セキュリティ
HTTP / QUIC

OS / Windows / Linux / 仮想化
サーバ / ストレージ / ハードウェア

ITエンジニアの給与・年収 / 働き方

殿堂入り / おもしろ / 編集後記

全てのタグを見る

Blogger in Chief

photo of jniino

Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed

最新記事10本