人の作業を止めずにAIがアプリを操作する「agent-desktop」が話題。Vercel Labs公開、Mac・Windows・Linux対応
AIに
「AIに
— テンペ (@HimazinProducer) November 1, 2026PC操作させると、 マウスを 奪われて 人間が 作業できない 問題」が ついに 解決しました。
新しく登場した 『agent-desktop』が 控えめに 言って 革命的です。
一言でいうと 「agent-browserの PC全体版」。 ブラウザの 中だけでなく、 PCの OS丸ごと AIエージェントの 作業場に 変わります。
これまでのComputer Use （AIに よる PC操作）の 弱点を すべて 過去に する 4つの 特徴が こちら 👇
✅ 1. 作業を止めない 「完全バックグラウンド 動作」
従来のAI操作ツールは、 画面も マウスカーソルも AIに 乗っ取られる ため、 人間は 画面を 眺めて 待つしか あり ませんでした。
agent-desktopなら、あなたが 普段通りコーディングや 資料作成を している 「裏側」で、 AIが 勝手に 別ウィンドウや アプリを 操作してくれます。
✅ 2. 複数エージェントが「独自の カーソル」で 同時作業
1台のPCの 中に、 複数の AI専用の 仮想カーソルが 存在するような 状態です。
・エージェントA：スマホシミュレータやElectronアプリを 立ち上げて 画面ポチポチ検証
・エージェントB：Figmaのデスクトップアプリから 素材を 書き出し
・エージェントC：裏でブラウザと ツールを 行き来して エラー調査
これらが自分の 作業を 一切邪魔せず、 同時並行で 進みます。
✅ 3. あらゆるコーディングエージェントに 対応
特定のAIだけでなく、 Claude Code、 Cursor、 Windsurfなど、 普段 使っている コーディングエージェントに そのまま 「PC全体を 動かす目と 手」を 拡張できます。
✅ 4. macOS / Windows / Linux フル対応
特定の仮想環境だけでなく、 普段 使っている メインOS上で そのまま 動くのが デカすぎます。
💡 具体的に何が 起きるか？
これまでは「ターミナルで 完結する 作業」しか 完全 自動化でき ませんでしたが、 これからは 「コード修正 → アプリ起動 → AIが 自分で 画面を クリックして E2Eテスト → UI崩れや バグを 検知して 再修正」と いう ループが、 自分の 作業の 裏で 勝手に 完結する ようになります。
「人間がAIの 操作を 待つ」 時代から、 「人間が 仕事している 裏で、 複数の AIが 別々の アプリを 同時に 動かして 働く」時代への 転換点に なりそうです。
ところで、「どうやって 人間の マウスを 奪わずに 裏で 別々の カーソルを 動かしているのか？」と いう 技術的な タネ明かしと、 実際の 開発環境への 組み込み方気に なりませんか？
参照動画：
https://t.co/Oc2X2J9dBc
続きのディープな 仕組みは @grok に わかりやすく 解説して もらいます👇
@grok 『agent-desktop』のように、 OSの 物理マウスカーソルを 奪わずに バックグラウンドで 複数の AIエージェントが 独立して GUI操作できる 技術的な 仕組み （OSごとの 裏側の 挙動）と、 Claude Codeや Cursorと 組み合わせた 時に 開発者が 一番 時間を 削減できる 具体的な 活用シナリオを、 初心者にも わかりやすく 噛み砕いて 教えて！
https://t.co/SnPkgfKZ94
- AIがカーソルを
動かさず にアプリを 操作できる ツール - AIエージェントで
業務の に自動化を 試している 人 関係する - まず個人情報の
ない で、アプリ 読み取りから 試す
人の作業を止めずに、AIがデスクトップアプリを操作できるようになった
従来の
「アクセシビリティ機能」とは？
画面読み上げソフトなどの
投稿の内容を公式情報で確かめた
- 裏で
動く ：標準の操作では カーソルを 動かさず、 フォーカスも 奪いません。 ただしダブルクリックや ドラッグなど、 --headedの指定が 必要な 操作も あります - 複数エージェント：セッション
機能で、 エージェントごとに 記録を 分けられます。 カーソルの 表示機能も 用意されています - 対応OS：
3つの OSに 対応しますが、 Linuxは 一部の 機能に 制限が あります - 対応エージェント：公式は
特定の 製品に 限らず 「any agent」と 説明しています。 投稿に ある Figmaや スマホシミュレーターでの 動作は、 今回の 公式情報では 確認していません
導入と使い方
次の
npm install -g agent-desktop
agent-desktop permissions --guide読み取り、
agent-desktop snapshot --app Finder -i
agent-desktop click @s8f3k2p9:e8
agent-desktop snapshot --app Finder -i2行目の @s8f3k2p9:e8 は
npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop基本情報
開発元 | Vercel Labs |
話題に | 2026年11月1日 |
できる | デスクトップアプリの |
対応OS | macOS、Windows、Linux |
ライセンス | Apache-2.0 |
最新版の | v1.0.2 |
一次情報 |
業務でどう使える？どう変わる？
連携機能の
職種別の活用アイデア
- 開発者：修正後の
デスクトップアプリを 起動し、 画面の 動きを 確認させる - 経理：連携機能の
ない 業務アプリの 表示内容を 読み取り、 手元の 一覧と 照合させる - 営業事務：社内ツールの
入力前に、 項目の 一覧と 入力案を 作らせる - PM：社内アプリの
操作手順を 実際に たどらせ、 手順書の 下書きを 作らせる
- 読み取り結果や
スクリーンショットには画面上の 個人情報が 。含まれる ことがあります 公開の 場に 貼らないで ください - アプリを
実際に 操作します。 送信、 削除、 支払いなど取り消せない 操作は してください人が 確認 - 会社の
PCでは、 導入と 権限の 付与が 社内ルールで 認められているか先に 確かめてください - Vercel Labsの
プロダクトで、 v1.0の 公開から 日が 浅い ツールです。 重要な 業務の 前に 検証用の 環境で 試してください
よくある質問
- 無料で
使えますか？ Apache-2.0ライセンスで
公開されており、 公式FAQでは 個人でも 商用でも 使えると されています。 組み合わせる AIエージェントの 利用料は 別です。 - 操作中に
人の マウスは 動きませんか？ 標準の
動作では、 アプリの アクセシビリティ 機能を 通して 操作する ため、 カーソルを 動かさず、 フォーカスも 奪いません。 ダブルクリックや ドラッグなど 一部の 操作は、 実際の 入力を 許可する –headed の 指定が 必要に なることがあります。 - どの
アプリでも 操作できますか？ アプリが
OSの アクセシビリティ 機能に 部品の 情報を 公開している 必要が あります。 標準の 方法で 操作できない 場合は、 エラーを 返して 止まる 仕組みです。 実際に 使う アプリで 先に 試してください。 - 画面の
内容は 外部に 送られますか？ 公式FAQでは、
本体の コマンドラインツールに リモートの モデルサービスは 不要と されています。 ただし、 組み合わせる AIエージェントには 取得した 内容が 渡るので、 その サービスの データの 扱いも 確認して ください。
まとめ：まず読み取りだけ試し、操作は段階的に任せる
agent-desktopは、
今回話題の
「AIに
— テンペ (@HimazinProducer) November 1, 2026PC操作させると、 マウスを 奪われて 人間が 作業できない 問題」が ついに 解決しました。
新しく登場した 『agent-desktop』が 控えめに 言って 革命的です。
一言でいうと 「agent-browserの PC全体版」。 ブラウザの 中だけでなく、 PCの OS丸ごと AIエージェントの 作業場に 変わります。
これまでのComputer Use （AIに よる PC操作）の 弱点を すべて 過去に する 4つの 特徴が こちら 👇
✅ 1. 作業を止めない 「完全バックグラウンド 動作」
従来のAI操作ツールは、 画面も マウスカーソルも AIに 乗っ取られる ため、 人間は 画面を 眺めて 待つしか あり ませんでした。
agent-desktopなら、あなたが 普段通りコーディングや 資料作成を している 「裏側」で、 AIが 勝手に 別ウィンドウや アプリを 操作してくれます。
✅ 2. 複数エージェントが「独自の カーソル」で 同時作業
1台のPCの 中に、 複数の AI専用の 仮想カーソルが 存在するような 状態です。
・エージェントA：スマホシミュレータやElectronアプリを 立ち上げて 画面ポチポチ検証
・エージェントB：Figmaのデスクトップアプリから 素材を 書き出し
・エージェントC：裏でブラウザと ツールを 行き来して エラー調査
これらが自分の 作業を 一切邪魔せず、 同時並行で 進みます。
✅ 3. あらゆるコーディングエージェントに 対応
特定のAIだけでなく、 Claude Code、 Cursor、 Windsurfなど、 普段 使っている コーディングエージェントに そのまま 「PC全体を 動かす目と 手」を 拡張できます。
✅ 4. macOS / Windows / Linux フル対応
特定の仮想環境だけでなく、 普段 使っている メインOS上で そのまま 動くのが デカすぎます。
💡 具体的に何が 起きるか？
これまでは「ターミナルで 完結する 作業」しか 完全 自動化でき ませんでしたが、 これからは 「コード修正 → アプリ起動 → AIが 自分で 画面を クリックして E2Eテスト → UI崩れや バグを 検知して 再修正」と いう ループが、 自分の 作業の 裏で 勝手に 完結する ようになります。
「人間がAIの 操作を 待つ」 時代から、 「人間が 仕事している 裏で、 複数の AIが 別々の アプリを 同時に 動かして 働く」時代への 転換点に なりそうです。
ところで、「どうやって 人間の マウスを 奪わずに 裏で 別々の カーソルを 動かしているのか？」と いう 技術的な タネ明かしと、 実際の 開発環境への 組み込み方気に なりませんか？
参照動画：
https://t.co/Oc2X2J9dBc
続きのディープな 仕組みは @grok に わかりやすく 解説して もらいます👇
@grok 『agent-desktop』のように、 OSの 物理マウスカーソルを 奪わずに バックグラウンドで 複数の AIエージェントが 独立して GUI操作できる 技術的な 仕組み （OSごとの 裏側の 挙動）と、 Claude Codeや Cursorと 組み合わせた 時に 開発者が 一番 時間を 削減できる 具体的な 活用シナリオを、 初心者にも わかりやすく 噛み砕いて 教えて！
https://t.co/SnPkgfKZ94
「まず
株式会社デイトラでは、
