CMSPRO社区

开源项目推荐:AI桌面自动化 agent‑desktop 回复

说实话,传统AI操作电脑桌面那套,真是让人又爱又恨。但agent-desktop绕开了视觉截图识别,利用无障碍接口“读”界面结构,反应快至200毫秒,还能多Agent并行干各自的事,不抢鼠标不互扰。这“借力打力”的思路,把AI操作桌面的效率体验拉满,就该这么干。

仓库地址:https://github.com/vercel-labs/agent-desktop

vercel‑labs/agent‑desktop 功能总结

项目定位:Rust编写、无内置大模型,面向AI Agent的跨平台桌面自动化工具,通过操作系统**无障碍树(Accessibility Tree)**实现桌面应用感知与操控,不依赖截图、像素匹配、硬编码坐标,Apache‑2.0协议开源。

核心原理

读取系统无障碍API(macOS AX API / Windows UI Automation / Linux AT‑SPI),抓取桌面UI结构,输出JSON结构化快照,每个可交互UI元素分配稳定ref引用ID;AI Agent基于ref执行点击、输入等操作,操作完成后重新获取快照校验执行结果,规避分辨率、UI改版导致传统像素自动化失效的问题。

重要:本身不含大模型与Agent决策循环,仅作为“硬件工具层”,决策逻辑由外部AI Agent完成。

主要功能

1. UI感知:无障碍快照能力

  1. 抓取当前桌面、窗口的完整UI元素树,输出JSON,包含元素角色、名称、位置、启用/可见状态、唯一ref标识。
  2. 支持普通快照、骨架快照(适合UI元素稠密场景,精简返回数据)。
  3. 可选截图辅助校验(不作为主要操作依据)。
  4. 支持多会话隔离,可支持多个Agent并行操作,拥有各自独立光标上下文。

2. 输入与鼠标操作

  • 鼠标:点击、悬浮、拖拽、移动光标、滚轮滚动;支持按键按住/释放模式。
  • 键盘:文本输入、按键按压、组合快捷键;可选择屏蔽真实物理输入,避免干扰人工操作。
  • 剪贴板读写。

3. 窗口与应用管理

  • 应用:启动、关闭应用、列举正在运行应用。
  • 窗口:列举窗口、聚焦、移动、缩放、最小化、最大化、还原窗口。
  • 显示器信息查询,系统弹窗/系统界面唤起。

4. 多种调用接入方式

  1. CLI命令行:shell直接调用,适合脚本、Agent工具调用,输出JSON。
  2. C语言库:提供C‑API,可嵌入程序内部通过FFI调用,用于原生程序集成。
  3. MCP协议服务:agent‑desktop mcp,将全部能力以MCP工具对外暴露,兼容支持MCP的AI Agent框架。

支持平台

系统 版本要求 macOS macOS13+(Intel/Apple Silicon),需要授予无障碍权限 Windows Win10 1809+(x64/ARM64) Linux Ubuntu24.04+,X11/Wayland环境

典型使用流程(Agent侧)

  1. 启动会话;
  2. 获取桌面快照,拿到UI元素与ref;
  3. Agent选择目标元素ref,下发点击/输入指令;
  4. 再次快照,校验操作结果;
  5. 循环执行任务;ref仅在本次快照内有效,UI变动后需要重新快照获取新ref。

适用场景

  1. 开发AI计算机使用(computer‑use)Agent,操控本地桌面软件。
  2. 桌面应用AI自动化、自动化测试。
  3. 研究/原型开发,给大模型赋予真实主机桌面操作能力。

局限与注意事项

  1. 依赖应用对系统无障碍接口的实现质量;部分软件无障碍树残缺,会导致识别失败,此时建议搭配截图辅助判断。
  2. ref引用会过期,不能跨快照复用。
  3. macOS必须授予终端无障碍权限。
  4. 快照、剪贴板、截图会包含本机隐私,不能输出到公开日志。
  5. 不提供AI推理,必须搭配外部大模型/Agent使用。

和传统computer‑use方案对比

  • 传统(Claude Computer Use等):依赖截图+视觉大模型识别,耗token,分辨率影响较小,但视觉推理有幻觉。
  • agent‑desktop:语义级UI树读取,token开销低;但受限于目标软件无障碍实现质量。

如果你需要,我可以帮你整理一份极简入门示例命令。

CMSPRO官方工作人员账号!

全部评论 0

暂无评论,快来发表第一条回复吧!
请先 登录 后再回复