自律型AIソフトウェアエンジニア「Devin」登場。Readmeを読んで環境構築、Print文を使ってデバッグなど

AIスタートアップのCognitionは、自律型のAIソフトウェアエンジニア「Devin」を発表しました。

Devinは人間が課題を与えると、自律的に情報を参照し、コーディングやデバッグ、デプロイを行い、システム構築を実現するAIソフトウェアエンジニアだと説明されています。

Today we're excited to introduce Devin, the first AI software engineer.

Devin is the new state-of-the-art on the SWE-Bench coding benchmark, has successfully passed practical engineering interviews from leading AI companies, and has even completed real jobs on Upwork.

Devin is… pic.twitter.com/ladBicxEat

— Cognition (@cognition_labs) March 12, 2024

下記はCognition AI CEOのScott Wu氏。

以下はデモ動画からのキャプチャです。

Devinは人間のソフトウェアエンジニアと同様に、自身のコンソール画面（右上）、コードエディタ（右下）、Webブラウザ（左下）を持っています（左上は人間とチャットでやり取りする領域）。

人間がプロンプトで何らかの課題を与えると、まず課題解決のためのプランを生成します。

今回、Devinは必要とするAPIの情報をWebブラウザで参照し、情報を利用して開発を進めます。

作業の途中でエラーが出力されると、Devinは関連しそうなコードの場所にデバッグ用のPrint文を挿入し、出力された内容からエラーの原因を探ります。

Devinは出力されたPrint文によるログからエラーの原因を分析し、自律的にデバッグを行います。

最終的にDevinはビルドとデプロイを行い、課題に対応したWebサイトを生成しました（左下のグラフの画面）。

同社によると、実世界のソフトウェアの課題に関する大規模言語モデルを評価するためのベンチマークである「Real World Software Engineering Performace（SWE-bench）」で、Devinは他を圧倒する成績を示したとしています。

GitHubリポジトリのReadmeを読んで環境を構築

別のデモ動画では、Devinに大規模言語モデルを量子化により効率よくファインチューニングする「QLoRA」を使ってLlamaのファインチューニングを依頼。

DevinはQLoRaのGitHubリポジトリをクローンし、Redmeを読んでPythonのパッケージ管理システムであるPIPを使って環境を構築。

実行時にCUDA関連のエラーが起きると、NVIDIAの環境を再インストールするなどして問題を解決。問題なくファインチューニングを完了させる様子が示されています。

Devinを発表したブログ「Introducing Devin, the first AI software engineer」には、その他Devinによるライフゲームの機能拡張、テストコードの生成など、Devinによる自律的なシステム構築やプログラミングの様子が紹介されています。

デモ動画の通りであれば、少なくとも初級プログラマよりもずっと優れているように見えるのではないでしょうか。

現時点でDevinはアーリーアクセス版となっており、興味のある人はウェイトリストからの申し込みが必要です。

GitHub Copilot Workspaceより自律的に見える

AIによる自律的なプログラミングは、GitHubも「Copilot Workspace」を昨年（2023年）11月に発表し、デモを披露しています。Copilot WorkspaceもDevinも、課題が与えられると計画を立てるところは似ています。

しかし今回のDevinはデモを見る限り、Readmeを読んでその通りに環境を構築するなど、Copilot Workspaceのデモよりもさらに自律的になっているように見えます。

参考：GitHub、Copilotの将来像となる「Copilot Workspace」発表。人間がコードを書くことなく、Copilotが仕様作成からコード作成、デバッグまで実行。GitHub Universe 2023