AI・生成AI Google、GeminiにMacを触らせる。クリックも入力も裏側で代行、日本はまだ順番待ち Googleは2026年11月19日、Geminiアプリ(Mac版)に「computer use」を提供開始したと発表した。利用者がやりたいことを文章で伝えると、Geminiがローカルファイル、デスクトップアプリ、Webにまたがる複数手順の作業を、クリック、入力、メニュー操作、フォーム入力まで含めて代行する。作業は分離されたバックグラウンドウィンドウの中で行われ、ライブプレビューで進み方を確認でき、対象アプリの選択、一時停止、重要な操作の事前承認といった制御が用意されている。提供は英語・米国から開始されている
まず初めに
ついにAIが、人のパソコンを触り始めた。しかも「裏側でやるから、表では好きにしていて」という気の利いた設計付きである。便利さの売り文句としては満点だ。ただし、自分のMacの中で誰かが勝手にクリックしている光景を「便利」の一言で飲み込めるかどうかは、また別の話である
※個人の感想です
発表の内容——「伝えるだけ」で複数手順を代行
Googleの発表によれば、Mac版Geminiアプリのcomputer useは、ローカルファイル、デスクトップアプリ、Webにまたがる複数手順の作業を片付けるための機能です。通常は数十回のクリックを要する繰り返し作業の時間を節約できるとし、利用者が必要なことを説明すると、Geminiがクリック、入力、メニュー、フォームの操作を代行するとしています。
動作の形も具体的に示されています。Geminiは分離されたバックグラウンドウィンドウの中で作業し、その様子はチャット内のライブプレビューで確認できます。利用者のメイン画面とカーソルは完全に自由なままなので、入力やデザイン作業、通話を続けながら並行して作業を任せられるとしています。
区分
Googleの公表内容
機能名
Geminiアプリ(Mac版)のcomputer use
できること
ローカルファイル、デスクトップアプリ、Webにまたがる複数手順の作業を代行。クリック、入力、メニュー操作、フォーム入力を含む
動作場所
分離されたバックグラウンドウィンドウ。チャット内にライブプレビューを表示
利用者の画面
メイン画面とカーソルは自由なまま使える
制御
アクセスできるアプリの選択、随時の視聴、一時停止、重要な操作の事前承認
提供開始
英語・米国で、Geminiアプリ(Mac版)から開始
Googleの公式発表をもとに、computer useの動作と提供開始範囲を整理した図解 編集部作成
使い道として挙げられた4つの例
同社は、今日から試せる方法として、次のような使い方を例示しています。いずれも同社が挙げた想定例であり、成功率や所要時間といった実測値は公表されていません。
例
内容
クリエイティブ作業の高速化
常用するデザインソフトでの写真の一括カラーグレーディング、複雑な3Dシーンのセットアップ
手入力の省略
ローカルのPDFから重量、寸法、住所を取り出し、複数欄からなる配送見積もりに入力する
ライブデータから資料作成
複数地域のライブダッシュボードから指標とスクリーンショットを集め、Google Slidesのプレゼンテーションを作る
出品作業の一括処理
ローカルフォルダの衣類写真を分析し、価格を調べ、商品情報を記録して、再販プラットフォームへの出品を準備する
例示の幅は、単一アプリ内の自動化ではなく、ファイル、アプリ、Webを横断する作業を狙っていることを示しています。アプリのダウンロード先として、同社はgemini.google/macを案内しています。
なお、対象プランや端末要件の細部は、公式ブログ本文には列挙されていません。TechCrunchは、提供が米国・英語から始まり、Google AI Plus、Pro、Ultraのいずれかの契約が条件だと伝えています。日本を含む他地域への展開時期は、今回の発表では示されていません。
任せる前に確認しておくこと
同社は、プライバシーと安全性が組み込まれているとして、利用者がGeminiのアクセス先アプリを選べること、すべての手順をライブで見られること、いつでも一時停止できること、重要な操作は実行前に承認できることを挙げています。裏を返せば、この機能は「見ていない間に終わっている」ことを売りにしていない、ということです。承認と監視の手間を引き受けることが、利用の前提になっています。
ファイルの削除や外部への送信のような、取り消しにくい操作を含む作業を任せる場合は、対象フォルダや対象アプリを絞り、承認の段階で内容を確認する運用が現実的です。今回の発表に、誤操作時の復旧方法や、失敗率の公表はありません。その留保を踏まえて、小さな繰り返し作業から試すのが順序だと考えられます。
試すなら、どの順序が安全か
同社の例示は、写真の一括処理から出品準備まで幅が広い一方、失敗したときの影響は作業ごとに大きく異なります。読み取りと下準備が中心の作業と、外部への送信や削除を含む作業は、分けて考える必要があります。
段階
作業の例
確認の置き方
小さく試す
ローカルPDFからの項目抽出、写真の一括カラーグレーディングの下準備
結果物を人が開いて確かめられる作業から始める
承認を厚くする
フォーム入力、資料の作成と共有
送信や共有の直前の承認で、宛先と内容を必ず確認する
慎重に扱う
ファイルの削除、外部サービスへの出品や送信
対象を絞り、取り消し方法を先に確認してから任せる
同社は、利用者がアクセス先アプリを選べることと、重要な操作の事前承認を安全策として挙げています。どの操作が「重要」として止まるのかは、実際に使う場面で確かめるほかありません。提供が始まった米国での利用報告が、今後の判断材料になります。日本での提供条件が示された時点で、本記事も更新します。
IT Postの見方
IT Postでは、本件は「チャットで答えるAI」から「画面を操作するAI」への移行が、大手の標準アプリに届いた転換点だと考えます。作業場所が分離された裏側のウィンドウで、表の画面とカーソルを奪わないという設計は、エージェントの常駐化に向けた現実的な妥協点です。人とAIが同じ画面を取り合う形では、日常の道具にはなりません。
一方で、承認の設計がそのまま信頼の上限になります。何を「重要な操作」とみなして止めるのか、その線引きの具体例は今回の発表にはありません。便利さの競争の次は、止め方の競争です。日本提供が始まるまでに、その線引きがどこまで具体化されるかが評価の分かれ目になります。
今後どうなりそうか
今後の確認点は、提供地域の拡大、対象プランと端末要件の公式な明記、対応アプリの広がりです。今回の提供開始は英語・米国に限られており、日本の利用者が同じ形で使える時期は示されていません。
新しい公式情報が確認できれば、本記事を更新して整理します。