|
1 | | -# Computer Use — macOS / Windows / Linux 跨平台实施计划 |
| 1 | +# Computer Use 用户指南 |
2 | 2 |
|
3 | | -更新时间:2026-04-04 |
4 | | -参考项目:https://github.com/JrCx7scC/claude-code-source |
| 3 | +Computer Use 让 Claude 直接操控你的电脑——移动鼠标、点击、输入文字、截图,就像一个远程助手坐在你面前操作一样。 |
5 | 4 |
|
6 | | -## 1. 现状 |
| 5 | +## 支持平台 |
7 | 6 |
|
8 | | -参考项目的 Computer Use **仅支持 macOS**——从入口到底层全部写死 darwin。我们的项目在 Phase 1-3 中已经完成了: |
| 7 | +| 平台 | 状态 | 额外配置 | |
| 8 | +|------|------|---------| |
| 9 | +| macOS | 可用 | 需授予辅助功能 + 屏幕录制权限 | |
| 10 | +| Windows | 可用 | 无需额外配置 | |
| 11 | +| Linux | 不可用 | 后端待开发 | |
9 | 12 |
|
10 | | -- ✅ `@ant/computer-use-mcp` stub 替换为完整实现(12 文件) |
11 | | -- ✅ `@ant/computer-use-input` 拆为 dispatcher + backends(darwin + win32) |
12 | | -- ✅ `@ant/computer-use-swift` 拆为 dispatcher + backends(darwin + win32) |
13 | | -- ✅ `CHICAGO_MCP` 编译开关已开 |
14 | | -- ✅ `src/` 层 macOS 硬编码全部移除,已支持 darwin / win32 / linux 三平台 |
| 13 | +## 快速开始 |
15 | 14 |
|
16 | | -## 2. 用户使用方式 |
| 15 | +1. 启动 Claude Code: |
17 | 16 |
|
18 | | -Computer Use 由 `CHICAGO_MCP` feature flag 控制,无需额外 CLI 参数。 |
| 17 | + ```bash |
| 18 | + bun run dev |
| 19 | + ``` |
19 | 20 |
|
20 | | -> **订阅要求**:需要 Claude Pro、Max 或 Team 订阅,Computer Use 功能不向免费用户开放。 |
| 21 | + Computer Use 默认已开启,无需额外参数。 |
21 | 22 |
|
22 | | -### Dev 模式(默认已开启) |
| 23 | +2. 在对话中告诉 Claude 你想做什么,例如: |
| 24 | + - "帮我打开系统设置" |
| 25 | + - "截个屏看看当前桌面" |
| 26 | + - "在 Finder 里点击那个文件" |
23 | 27 |
|
24 | | -```bash |
25 | | -bun run dev |
26 | | -``` |
| 28 | +3. 首次操控某个应用时,会弹出权限对话框让你确认。 |
27 | 29 |
|
28 | | -`scripts/dev.ts` 的默认 feature 列表已包含 `CHICAGO_MCP`,启动后自动注册 Computer Use MCP 工具。 |
| 30 | +4. 操作过程中随时按 **Esc**(macOS)或 **Ctrl+C**(Windows)中止。 |
29 | 31 |
|
30 | | -### 构建产物 |
| 32 | +## 权限说明 |
31 | 33 |
|
32 | | -```bash |
33 | | -FEATURE_CHICAGO_MCP=1 node dist/cli.js |
34 | | -``` |
| 34 | +Computer Use 采用分级权限模型,保护你的安全: |
| 35 | + |
| 36 | +| 级别 | 能力 | 适用场景 | |
| 37 | +|------|------|---------| |
| 38 | +| **full** | 所有操作:鼠标点击(左/右/中键)、拖拽、键盘输入、组合键 | 系统设置、Finder 等系统应用 | |
| 39 | +| **click** | 仅左键点击和滚轮滚动 | IDE(VS Code、Cursor)、终端 | |
| 40 | +| 未授权 | 所有操作被拒绝 | 需要通过 `request_access` 申请 | |
| 41 | + |
| 42 | +IDE 类应用默认只有 click 权限,这是安全设计——防止 AI 在你的终端或编辑器中执行危险操作。如需完整控制,可以在权限对话框中手动提升。 |
| 43 | + |
| 44 | +## 可用操作 |
35 | 45 |
|
36 | | -### 使用流程 |
| 46 | +### 鼠标 |
37 | 47 |
|
38 | | -1. **启动 CLI** — `bun run dev`(或构建产物 + 环境变量) |
39 | | -2. **正常对话** — 在 REPL 中与 Claude 对话,当你让 Claude 操作电脑时(如"帮我打开浏览器并访问 xxx"),Claude 会调用 Computer Use 工具 |
40 | | -3. **首次审批** — Claude 首次尝试操控某个 App 时,会弹出权限对话框,你需要确认允许哪些 App 被操控(可勾选"本次会话不再询问") |
41 | | -4. **操作中** — 系统会发送通知"Claude is using your computer",macOS 按 Esc、其他平台按 Ctrl+C 可中止 |
42 | | -5. **操作结束** — Claude 完成操作后自动释放,被隐藏的窗口会自动恢复 |
| 48 | +| 操作 | 说明 | |
| 49 | +|------|------| |
| 50 | +| 移动鼠标 | 移动到指定坐标 | |
| 51 | +| 左键点击 | 单击、双击、三击 | |
| 52 | +| 右键点击 | 需要 full 权限 | |
| 53 | +| 中键点击 | 需要 full 权限 | |
| 54 | +| 拖拽 | 从 A 点拖到 B 点,需要 full 权限 | |
| 55 | +| 滚轮 | 向上或向下滚动 | |
43 | 56 |
|
44 | | -### 可用的操作 |
| 57 | +### 键盘 |
45 | 58 |
|
46 | | -- 截图(全屏 / 区域缩放) |
47 | | -- 鼠标移动、点击、拖拽、滚轮 |
48 | | -- 键盘输入、组合键、长按 |
49 | | -- 通过剪贴板粘贴多行文本 |
50 | | -- 应用管理(列出、打开、隐藏/恢复) |
51 | | -- 多显示器支持(自动选择或手动指定) |
| 59 | +| 操作 | 说明 | |
| 60 | +|------|------| |
| 61 | +| 按键 | 单个按键或组合键(如 Ctrl+C) | |
| 62 | +| 输入文字 | 逐字符输入文本,需要 full 权限 | |
| 63 | +| 长按 | 按住某个键一段时间,需要 full 权限 | |
52 | 64 |
|
53 | | -### Linux 依赖工具 |
| 65 | +### 屏幕 |
54 | 66 |
|
55 | | -| 工具 | 用途 | 安装命令(Ubuntu) | |
56 | | -|------|------|-------------------| |
57 | | -| `xdotool` | 键鼠模拟 + 窗口管理 | `sudo apt install xdotool` | |
58 | | -| `scrot` 或 `gnome-screenshot` | 截图 | `sudo apt install scrot` | |
59 | | -| `xrandr` | 显示器信息 | 通常已预装 | |
60 | | -| `xclip` | 剪贴板 | `sudo apt install xclip` | |
61 | | -| `wmctrl` | 窗口列表/切换 | `sudo apt install wmctrl` | |
| 67 | +| 操作 | 说明 | |
| 68 | +|------|------| |
| 69 | +| 截图 | 截取当前屏幕 | |
| 70 | +| 切换显示器 | 多显示器环境下切换目标屏幕 | |
| 71 | +| 缩放 | 放大屏幕某个区域 | |
62 | 72 |
|
63 | | -Wayland 环境需要替代工具:`ydotool`(替代 xdotool)、`grim`(替代 scrot)、`wl-clipboard`(替代 xclip)。初期只支持 X11,Wayland 标记为 todo。 |
| 73 | +### 其他 |
64 | 74 |
|
65 | | -### macOS 权限 |
| 75 | +| 操作 | 说明 | |
| 76 | +|------|------| |
| 77 | +| 获取鼠标位置 | 查询当前鼠标坐标 | |
| 78 | +| 批量操作 | 一次执行多个操作,减少等待 | |
| 79 | +| 等待 | 暂停指定秒数(最长 100 秒) | |
66 | 80 |
|
67 | | -macOS 首次使用需要授予「辅助功能」和「屏幕录制」权限(系统会提示)。 |
| 81 | +## macOS 权限配置 |
68 | 82 |
|
69 | | -### Windows |
| 83 | +首次使用前,需要授予两项系统权限。缺少任一项都会导致功能异常(见下方说明)。 |
70 | 84 |
|
71 | | -无需额外权限,开箱即用。 |
| 85 | +### 辅助功能(Accessibility) |
72 | 86 |
|
73 | | -## 3. 实施细节 |
| 87 | +允许 Claude 控制鼠标和键盘。 |
74 | 88 |
|
75 | | -### 3.1 功能开关(gates.ts) |
| 89 | +1. 打开 **系统设置 → 隐私与安全性 → 辅助功能** |
| 90 | +2. 点击左下角锁图标解锁(需要管理员密码) |
| 91 | +3. 将运行 Claude Code 的应用添加到允许列表: |
| 92 | + - Terminal → `Terminal.app` |
| 93 | + - iTerm → `iTerm.app` |
| 94 | + - Cursor → `Cursor.app` |
| 95 | + - VS Code 终端 → `Electron` 或 `Visual Studio Code.app` |
| 96 | +4. 确保应用旁边的开关已打开 |
76 | 97 |
|
77 | | -- `enabled` 默认为 `true`,无需订阅检查 |
78 | | -- `hasRequiredSubscription()` 直接返回 `true` |
79 | | -- 子开关(鼠标动画、隐藏窗口、剪贴板守卫等)均通过 GrowthBook 远程配置或使用默认值 |
| 98 | +**未授予时的现象**:鼠标移动、点击、键盘输入均无反应,工具执行成功但屏幕没有任何变化。 |
80 | 99 |
|
81 | | -### 3.2 平台分发 |
| 100 | +### 屏幕录制(Screen Recording) |
82 | 101 |
|
83 | | -所有平台相关逻辑已通过 `process.platform` 判断分发: |
| 102 | +允许 Claude 截取屏幕内容。 |
84 | 103 |
|
85 | | -| 文件 | 处理方式 | |
86 | | -|------|---------| |
87 | | -| `executor.ts` | 剪贴板:darwin→pbcopy/pbpaste,win32→PowerShell,linux→xclip;粘贴键:darwin→command+v,其他→ctrl+v | |
88 | | -| `drainRunLoop.ts` | 非 darwin 直接执行 fn(),不需要 CFRunLoop pump | |
89 | | -| `escHotkey.ts` | 非 darwin 返回 false(已有 Ctrl+C fallback) | |
90 | | -| `hostAdapter.ts` | 非 darwin 直接返回 `{ granted: true }`,macOS 检查 TCC 权限 | |
91 | | -| `common.ts` | 动态获取 platform 标识,截图过滤按平台选择 | |
92 | | -| `swiftLoader.ts` | 自动检测包导出类型,跨平台实例化 `ComputerUseAPI` | |
93 | | -| `main.tsx` | 仅检查 `feature('CHICAGO_MCP')` + 交互模式,无平台限制 | |
| 104 | +1. 打开 **系统设置 → 隐私与安全性 → 屏幕录制** |
| 105 | +2. 将同一个应用添加到允许列表并开启开关 |
| 106 | +3. **需要重启该应用**才能生效(系统会提示 "xxx 需要重新打开") |
94 | 107 |
|
95 | | -### 3.3 每个平台的能力依赖 |
| 108 | +**未授予时的现象**:截图工具执行成功但返回空白图片,Claude 无法看到你的屏幕,所有点击操作变成"盲点"。 |
96 | 109 |
|
97 | | -#### computer-use-input(键鼠) |
| 110 | +### 验证权限 |
| 111 | + |
| 112 | +授予两项权限后,重启 Claude Code,在对话中让 Claude 截一张图即可验证是否配置成功。如果截图内容正常显示,说明权限配置完成。 |
| 113 | + |
| 114 | +## Linux 依赖(暂不可用) |
| 115 | + |
| 116 | +Linux 后端尚未开发。完成后需要安装以下工具: |
| 117 | + |
| 118 | +```bash |
| 119 | +sudo apt install xdotool scrot xclip wmctrl |
| 120 | +``` |
98 | 121 |
|
99 | | -| 功能 | macOS | Windows | Linux | |
100 | | -|------|-------|---------|-------| |
101 | | -| 鼠标移动 | CGEvent JXA | SetCursorPos P/Invoke | xdotool mousemove | |
102 | | -| 鼠标点击 | CGEvent JXA | SendInput P/Invoke | xdotool click | |
103 | | -| 鼠标滚轮 | CGEvent JXA | SendInput MOUSEEVENTF_WHEEL | xdotool scroll | |
104 | | -| 键盘按键 | System Events osascript | keybd_event P/Invoke | xdotool key | |
105 | | -| 组合键 | System Events osascript | keybd_event 组合 | xdotool key combo | |
106 | | -| 文本输入 | System Events keystroke | SendKeys.SendWait | xdotool type | |
107 | | -| 前台应用 | System Events osascript | GetForegroundWindow P/Invoke | xdotool getactivewindow + /proc | |
108 | | -| 工具依赖 | osascript(内置) | powershell(内置) | xdotool(需安装) | |
| 122 | +仅支持 X11,Wayland 不支持。 |
109 | 123 |
|
110 | | -#### computer-use-swift(截图 + 应用管理) |
| 124 | +## 常见问题 |
111 | 125 |
|
112 | | -| 功能 | macOS | Windows | Linux | |
113 | | -|------|-------|---------|-------| |
114 | | -| 全屏截图 | screencapture | CopyFromScreen | gnome-screenshot / scrot / grim | |
115 | | -| 区域截图 | screencapture -R | CopyFromScreen(rect) | gnome-screenshot -a / scrot -a / grim -g | |
116 | | -| 显示器列表 | CGGetActiveDisplayList JXA | Screen.AllScreens | xrandr --query | |
117 | | -| 运行中应用 | System Events JXA | Get-Process | wmctrl -l / ps | |
118 | | -| 打开应用 | osascript activate | Start-Process | xdg-open / gtk-launch | |
119 | | -| 隐藏/显示 | System Events visibility | ShowWindow/SetForegroundWindow | wmctrl -c / xdotool | |
120 | | -| 工具依赖 | screencapture + osascript | powershell | xdotool + scrot/grim + wmctrl | |
| 126 | +### 截图成功但看不到图片 |
121 | 127 |
|
122 | | -#### executor 层 |
| 128 | +检查 **系统设置 → 隐私与安全性 → 屏幕录制** 是否已授权。未授权时截图工具会执行成功但返回空白内容。 |
123 | 129 |
|
124 | | -| 功能 | macOS | Windows | Linux | |
125 | | -|------|-------|---------|-------| |
126 | | -| drainRunLoop | CFRunLoop pump | 不需要 | 不需要 | |
127 | | -| ESC 热键 | CGEventTap | 跳过(Ctrl+C fallback) | 跳过(Ctrl+C fallback) | |
128 | | -| 剪贴板读 | pbpaste | `powershell Get-Clipboard` | xclip -o / wl-paste | |
129 | | -| 剪贴板写 | pbcopy | `powershell Set-Clipboard` | xclip / wl-copy | |
130 | | -| 粘贴快捷键 | command+v | ctrl+v | ctrl+v | |
131 | | -| 终端检测 | __CFBundleIdentifier | WT_SESSION / TERM_PROGRAM | TERM_PROGRAM | |
132 | | -| 系统权限 | TCC check | 直接 granted | 检查 xdotool 安装 | |
| 130 | +### IDE 中无法输入文字或右键 |
133 | 131 |
|
134 | | -## 4. 完成状态 |
| 132 | +这是正常行为。IDE 类应用只有 click 权限,无法执行键盘输入、右键、拖拽等操作。如需完整控制,请在系统应用(如 Finder)中操作。 |
135 | 133 |
|
136 | | -| Phase | 内容 | 状态 | |
137 | | -|-------|------|------| |
138 | | -| Phase 1 | MCP 实现 + Windows 后端 | ✅ 已完成 | |
139 | | -| Phase 2 | 移除 macOS 硬编码 | ✅ 已完成 | |
140 | | -| Phase 3 | Linux 后端(待新建 linux.ts) | ❌ 未完成 | |
| 134 | +### 操作中途想停止 |
141 | 135 |
|
142 | | -Phase 1-2 完成后 macOS + Windows 可用。Phase 3(Linux 后端)需要新建 `packages/@ant/computer-use-input/src/backends/linux.ts`(~150 行)和 `packages/@ant/computer-use-swift/src/backends/linux.ts`(~200 行),并在对应 dispatcher 中加 `case 'linux'`。 |
| 136 | +按 **Esc**(macOS)或 **Ctrl+C** 即可立即中止。 |
0 commit comments