もう少し詳しく

コンピュータユースこんぴゅーたゆーす(Computer Use)とは、AIが人間の代わりにパソコンの画面を認識し、マウスのクリックやキーボードの入力といった操作を自ら行うことで、ソフトウェアやWebサイトを直接操作する技術のことです。従来のAIは文章での質問に文章で答えることが中心でしたが、コンピュータユースでは、AIが画面のスクリーンショットを見て「今どこに何が表示されているか」を認識し、目的を達成するために必要な操作を自分で組み立てて実行します。

どこで使われるか

コンピュータユースの技術は、ブラウザを自動操作してWeb上の作業を代行するAIエージェント機能や、パソコン上の定型作業を自動化するツールなどで使われています。人間が普段使っているソフトウェアの画面をそのまま使う形で動作するため、専用のAPI(ソフトウェア同士が連携するための仕組み)が用意されていないサービスに対しても、AIが操作できる点が特徴です。

身近な例

Webブラウザの拡張機能として提供されるAIが、フォームへの入力やボタンのクリックといった操作を自動で行う場合、その裏側ではコンピュータユースの技術が使われていることがあります。利用者が指示を出すと、AIが画面を認識しながら一連の操作を代わりに実行してくれる仕組みです。

注意点

コンピュータユースは、AIが実際に画面上の操作を行うという性質上、判断を誤った場合の影響が、文章生成AIよりも直接的に出やすい技術です。悪意のある指示がWebページに埋め込まれ、AIがそれに従って意図しない操作をしてしまう「プロンプトインジェクション」のリスクも指摘されており、重要な操作を任せる際には、事前確認の設定を活用するなど、利用者側の注意も欠かせません。