Claude Code 新功能:AI 直接操控你的 Mac 屏幕,从终端写代码到点击测试一条龙

鏈新聞abmedia

Anthropic 为旗下 AI 代码代理工具 Claude Code 推出全新的「Computer Use」(电脑操控)功能,以研究预览(Research Preview)形式向 macOS 用户开放。该功能让 Claude 能直接控制使用者的电脑屏幕——打开应用程序、点击按钮、输入文字、截图,并在同一个对话中串联完成从写程式到 UI 测试的完整工作流程,无需离开终端机。

Claude 能直接帮你「点」什么?

根据官方技术文件,Computer Use 主要针对需要图形界面(GUI)才能完成的任务,也就是那些「你平常得放下终端机、自己动手做」的事:

建置并验证原生应用程序:叫 Claude 写一个 macOS 菜单栏 App,它会自己编译、启动、逐一点击所有控制项确认功能正常,你甚至还没打开过这个 App。

端到端 UI 测试:指着一个本地 Electron 应用说「测试新手引导流程」,Claude 会打开 App、点击注册步骤、对每个画面截图。不需要 Playwright 设置,不需要测试框架。

调试视觉与版面问题:告诉 Claude「这个 Modal 在小视窗上被截到了」,它会缩小视窗重现 bug、截图、修改 CSS、再次确认修复结果——它看得到你看到的画面。

操作只有 GUI 的工具:设计工具、硬体控制面板、iOS Simulator,或任何没有 CLI 或 API 的专有软件。

Claude 的工具选用优先顺序

Computer Use 是「最广泛也最慢」的工具,Claude 会依优先顺序选用最精确的方式:

有对应的 MCP Server → 用 MCP

是 Shell 指令 → 用 Bash

是浏览器操作且有设置 Claude in Chrome → 用 Chrome 扩充套件

以上都不适用 → 才启用 Computer Use

也就是说,屏幕控制是留给「其他方式都够不到」的场景:原生应用程序、模拟器、没有 API 的工具。

如何开启 Computer Use

Computer Use 以内建 MCP Server(名称:

computer-use

)的形式提供,默认关闭,需手动启用:

在交互式 Claude Code 工作阶段中执行 /mcp,从清单中找到 computer-use(显示为已停用)

选取后点击 Enable,设置会依专案持久保存,每个专案只需设置一次

第一次让 Claude 操控电脑时,macOS 会要求授予两项权限:辅助使用(Accessibility)和屏幕录制(Screen Recording)。授权后选「再试一次」,部分情况下需重新启动 Claude Code

每次工作阶段需逐一授权 App

启用

computer-use

并不代表 Claude 可以控制你电脑上的所有 App。每次工作阶段中,Claude 第一次需要操控某个 App 时,终端机会出现提示,显示:

Claude 想控制哪些 App

是否有额外的权限请求(如剪贴簿存取)

工作期间有多少其他 App 会被隐藏

选择「本次工作阶段允许」或「拒绝」,授权仅在当前工作阶段有效。对于具有广泛系统存取权的 App,系统还会额外显示警告:

Claude 如何在你的屏幕上工作

全机独占锁定:Computer Use 启动后会取得机器层级的排他锁,若另一個 Claude Code 工作阶段已在使用电脑,新的请求会失败并提示先结束另一个工作阶段。

其他 App 暂时隐藏:Claude 开始操控屏幕时,未授权的可见 App 会被隐藏,确保 Claude 只与授权的 App 互动。你的终端机视窗维持可见且不会被截图,你可以即时监看,Claude 也看不到自己的输出。Claude 完成后,隐藏的 App 会自动还原。

随时可中断:Claude 取得锁定后,macOS 会显示通知「Claude is using your computer · press Esc to stop」。随时按

Esc

或在终端机按 Ctrl+C 即可立即中断,Claude 会释放锁定、还原所有 App,并归还控制权。

安全机制与信任边界

官方文件特别强调,Computer Use 与沙箱化的 Bash 工具不同,它直接在你的桌面环境上执行,信任边界不同。内建的安全护栏包括:

逐 App 授权:Claude 只能控制你在当前工作阶段明确授权的 App

哨兵警告:授予 Shell、文件系统或系统设置存取权的 App,在授权前会特别标记

自动提示注入侦测:Claude 会检查屏幕上的内容,并标记潜在的提示注入攻击

使用条件与限制

需订阅 Pro 或 Max 方案(Team、Enterprise 方案不适用)

需 Claude Code v2.1.85 以上版本

目前仅支持 macOS(研究预览阶段)

需在交互式工作阶段中使用,不支持非交互模式( -p 旗标)

浏览器和交易平台等 App 仅限「检视模式」;终端机和 IDE 为「点击模式」;其他 App 为完整控制

MacRumors 指出,相比竞争对手,Claude 的 Computer Use 采取更严格的权限优先设计,且目前仅限 Mac,而其他方案已支持 macOS、Windows 和 Linux。

对开发者而言,这项功能最大的价值在于缩短「写程式→测试→修 bug」的迴圈——Claude 不只写 code,还能亲自看着你的画面验证结果。

风险提示 加密货币投资具有高度风险,其价格可能波动剧烈,您可能损失全部本金。请谨慎评估风险。

这篇文章 Claude Code 新功能:AI 直接操控你的 Mac 屏幕,从终端机写程式到点击测试一条龙 最早出现在 链新闻 ABMedia。

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明
评论
0/400
暂无评论