说实话,传统AI操作电脑桌面那套,真是让人又爱又恨。但agent-desktop绕开了视觉截图识别,利用无障碍接口“读”界面结构,反应快至200毫秒,还能多Agent并行干各自的事,不抢鼠标不互扰。这“借力打力”的思路,把AI操作桌面的效率体验拉满,就该这么干。
仓库地址:https://github.com/vercel-labs/agent-desktop
vercel‑labs/agent‑desktop 功能总结
项目定位:Rust编写、无内置大模型,面向AI Agent的跨平台桌面自动化工具,通过操作系统**无障碍树(Accessibility Tree)**实现桌面应用感知与操控,不依赖截图、像素匹配、硬编码坐标,Apache‑2.0协议开源。
核心原理
读取系统无障碍API(macOS AX API / Windows UI Automation / Linux AT‑SPI),抓取桌面UI结构,输出JSON结构化快照,每个可交互UI元素分配稳定ref引用ID;AI Agent基于ref执行点击、输入等操作,操作完成后重新获取快照校验执行结果,规避分辨率、UI改版导致传统像素自动化失效的问题。
重要:本身不含大模型与Agent决策循环,仅作为“硬件工具层”,决策逻辑由外部AI Agent完成。
主要功能
1. UI感知:无障碍快照能力
- 抓取当前桌面、窗口的完整UI元素树,输出JSON,包含元素角色、名称、位置、启用/可见状态、唯一ref标识。
- 支持普通快照、骨架快照(适合UI元素稠密场景,精简返回数据)。
- 可选截图辅助校验(不作为主要操作依据)。
- 支持多会话隔离,可支持多个Agent并行操作,拥有各自独立光标上下文。
2. 输入与鼠标操作
- 鼠标:点击、悬浮、拖拽、移动光标、滚轮滚动;支持按键按住/释放模式。
- 键盘:文本输入、按键按压、组合快捷键;可选择屏蔽真实物理输入,避免干扰人工操作。
- 剪贴板读写。
3. 窗口与应用管理
- 应用:启动、关闭应用、列举正在运行应用。
- 窗口:列举窗口、聚焦、移动、缩放、最小化、最大化、还原窗口。
- 显示器信息查询,系统弹窗/系统界面唤起。
4. 多种调用接入方式
- CLI命令行:shell直接调用,适合脚本、Agent工具调用,输出JSON。
- C语言库:提供C‑API,可嵌入程序内部通过FFI调用,用于原生程序集成。
- MCP协议服务:
agent‑desktop mcp,将全部能力以MCP工具对外暴露,兼容支持MCP的AI Agent框架。
支持平台
系统 版本要求 macOS macOS13+(Intel/Apple Silicon),需要授予无障碍权限 Windows Win10 1809+(x64/ARM64) Linux Ubuntu24.04+,X11/Wayland环境
典型使用流程(Agent侧)
- 启动会话;
- 获取桌面快照,拿到UI元素与ref;
- Agent选择目标元素ref,下发点击/输入指令;
- 再次快照,校验操作结果;
- 循环执行任务;ref仅在本次快照内有效,UI变动后需要重新快照获取新ref。
适用场景
- 开发AI计算机使用(computer‑use)Agent,操控本地桌面软件。
- 桌面应用AI自动化、自动化测试。
- 研究/原型开发,给大模型赋予真实主机桌面操作能力。
局限与注意事项
- 依赖应用对系统无障碍接口的实现质量;部分软件无障碍树残缺,会导致识别失败,此时建议搭配截图辅助判断。
- ref引用会过期,不能跨快照复用。
- macOS必须授予终端无障碍权限。
- 快照、剪贴板、截图会包含本机隐私,不能输出到公开日志。
- 不提供AI推理,必须搭配外部大模型/Agent使用。
和传统computer‑use方案对比
- 传统(Claude Computer Use等):依赖截图+视觉大模型识别,耗token,分辨率影响较小,但视觉推理有幻觉。
- agent‑desktop:语义级UI树读取,token开销低;但受限于目标软件无障碍实现质量。
如果你需要,我可以帮你整理一份极简入门示例命令。