画面に話しかけながら操作すると生成AIがRPAフローを自動生成する「Record with Copilot in Power Automate Desktop」がパブリックプレビュー

マイクロソフトは米ラスベガスで現地時間9月18日から20日まで開催したイベント「Power Platform Community Conference」でPower Automateの新機能として、ユーザーが画面に話しかけながら操作すると生成AIがRPAフローを自動生成する「Record with Copilot in Power Automate Desktop」のパブリックプレビューを開始すると発表しました。

この機能は、今年（2024年）5月に開催されたイベント「Microsoft Build 2024」で、Power Automateの新機能「AIレコーダー」として発表されていたものです。

参考：［速報］マイクロソフト、PCに話しかけながら画面を操作するだけで生成AIがRPAフローを自動生成してくれる、Power Automate「AIレコーダー」発表

まるで人間がマウスやキーボードで操作するのと同じように、コンピュータ自身がアプリケーションを操作することで処理の自動化を実現するRPA（Robotic Process Automation）では、一般に人間によるマウスやキーボードなどの操作を記録し、それをなぞることで基本的なRPAフローを作成します。

しかしこのRPAフローは一般に画面上の位置やDOMツリーの位置などを基準として自動操作を実行しているため、アプリケーションのアップデートなどでボタンの位置が変わったり画面レイアウトの変更があった場合にはボタンやフォームなどを見失ってすぐに破綻してしまい、そのたびに人間が修正するといった手間が発生することが課題でした。

画面変更があっても生成AIが適切に対応できる

今回パブリックプレビューとなった「Record with Copilot in Power Automate Desktop」は、まるで人間に言葉で説明しながら業務アプリケーションの操作を教えるように、マウスとキーボードを操作しつつ音声で説明することで、どのような意図で操作しているのかを詳しく生成AIに伝えます。

これにより生成AIは単に画面上の位置やDOMツリーではなく、操作するボタンや画面フォームの内容を理解しつつ操作することを学習できるようになります。

すると画面レイアウトが変更されたとしても、その変更に対応した適切な操作を柔軟に行えるため、人間による修正がほとんど不要となり、つねに正確な操作が期待できます。

下記は米マイクロソフトのPrincipal Program ManagerでPower Platformの開発に携わるよしだたいき氏が、5月に「AIレコーダー」が発表されたときにポストしたものです。

出たーーーーーーーーーーーーー！
Power Automate が声と画面操作するだけで自動でRPA作っちゃいますよ機能「AI レコーダー」爆誕！！
しかもUI変わっても自動修復までしてくれちゃう！

ちゃんと日本語動画作っておきましたよ↓#MSBuild #PowerAutomate pic.twitter.com/m5eSuVVdiq

— よしだたいき | 高卒で??GAFAMエンジニア (@TaikiYoshidaJP) May 21, 2024

パブリックプレビューは現時点では米国の業務アカウントもしくは教育アカウントを対象として提供されます。米国以外での提供時期などは明かされていません。