UFO² — 微软推出的 Windows 桌面 Agent 操作系统

UFO²是什么

ufo² 是微软推出的针对 windows 桌面的多智能体操作系统（agentos），通过深度系统集成和自然语言交互实现复杂桌面任务的自动化。ufo² 利用中央 hostagent 分解任务并协调多个专用应用的 appagent 执行操作，结合 gui 交互和原生 api 调用，提升任务执行的效率和鲁棒性。ufo² 引入混合控制检测、持续知识整合和无干扰用户体验设计，支持在隔离的虚拟桌面中运行，避免干扰用户操作。ufo² 在多个真实 windows 应用中表现出色，显著提高了自动化任务的成功率和执行效率。

UFO²的主要功能

• 深度系统集成：UFO² 支持与 Windows 系统的深度集成，实现对桌面应用的精细控制。
• 无干扰用户体验：UFO² 可以在隔离的虚拟桌面中运行，确保用户和智能体同时操作时互不干扰。
• 多轮交互支持：支持多轮任务执行，用户可以在会话中逐步细化指令或干预智能体的操作。
• 安全保障机制：UFO² 能够检测潜在的危险操作，并在执行前提示用户确认，确保用户数据和系统安全。

UFO²的技术原理

• 多智能体架构：
  • HostAgent：作为中央控制平面，负责解析用户指令、分解任务、调度 AppAgent，并协调跨应用的执行。
  • AppAgent：针对特定应用的执行模块，具备应用专用的 API、知识库和 GUI/API 混合动作接口，能够高效执行任务。
• 混合控制检测：结合 Windows UI Automation（UIA）APIs 提供的结构化数据和基于视觉的检测模型，实现对标准和自定义 UI 元素的可靠识别。
• 统一 GUI/API 动作层：基于 Puppeteer 模块，UFO² 动态选择 GUI 操作或应用原生 API 调用，优化任务执行路径，减少 GUI 操作的脆弱性。
• 持续知识整合：基于检索增强型记忆（RAG）技术，将外部文档和历史执行记录整合到智能体的知识库中，支持智能体在运行时动态学习和改进。
• 推测性多动作执行：基于单次推理预测多个动作，在运行时验证这些动作的可行性，减少推理调用频率，提高执行效率。

UFO²的项目地址

• 项目官网：https://www.php.cn/link/a0a30f6aadee1dc47393d98b24138964
• GitHub仓库：https://www.php.cn/link/0e668474147b19cfdc7c8cbef7f9f2e3
• arXiv技术论文：https://www.php.cn/link/fb420d76222279c408e6ec8fbff53cb6

UFO²的应用场景

• 办公自动化：自动处理 Excel 数据、编辑 Word 文档、制作 PowerPoint 演示文稿等。
• 跨应用工作流：协调多个应用完成复杂任务，如从 Excel 导入数据到 Outlook。
• 企业任务自动化：减少人工干预，高效完成数据录入、文件处理等重复性工作。
• 智能客服：快速响应用户请求，基于自然语言交互解决问题。
• 教育与培训：辅助教学，自动演示操作或生成学习报告。