首页干货文章全球双榜SOTA！明略科技专有大模子 Mano开启GUI智能操作新时代

全球双榜SOTA！明略科技专有大模子 Mano开启GUI智能操作新时代

2025-09-28

明略科技的专有 GUI 大模子 Mano 在行业公认的 Mind2Web 和 OSWorld 两大挑战性基准测试中，，，，，，，，均取得了创纪录的 SOTA 效果。。。。。。。。通过在线强化学习和训练数据自动收罗两大焦点立异，，，，，，，，Mano 为整个 GUI 智能体领域提供了一套可扩展、可一连进化的新范式。。。。。。。。

40.1% 乐成率

一次即刷新 GUI 智能体新高度

我们正在把越来越多的时间交给屏幕。。。。。。。。有人算过，，，，，，，，人一生中耗在手机上的时间靠近 9 年；；；；；；若是你的事情离不开电脑，，，，，，，，这个数字只会更高。。。。。。。。时间碎片化，，，，，，，，注重力也被点击、勾选、复制粘贴这些噜苏操作蚕食。。。。。。。。

若是，，，，，，，，这些操作都能交给 Agent 呢？？？？？？点开网页、登录账号、抓取数据、填写表单、提交流程，，，，，，，，全程无人值守，，，，，，，，你尚有理由再手动点鼠标吗？？？？？？

这背后的市场热度，，，，，，，，早已扑面而来。。。。。。。。无论是刚落幕的 2025 外滩大会，，，，，，，，照旧财新亚洲愿景论坛，，，，，，，，Agent 都是全场最高频的热词，，，，，，，，不少看法以为：

真正有用的 Agent，，，，，，，，必需学会使用手机和电脑，，，，，，，，像人一样读懂并操作?GUI。。。。。。。。

事实，，，，，，，，你不可靠一句简短的指令就把所有消耗纪录从大厂数据库里提取出来。。。。。。。。

也不可仅凭简单指令完成登录支付宝、微信、淘宝下载账单，，，，，，，，并挪用 Excel 举行数据整理，，，，，，，，完成对已往一年消耗习惯剖析的操作。。。。。。。。

一个只能给出口头建议，，，，，，，，却不可替你登录、获取数据的助理，，，，，，，，价值注定「骨折」。。。。。。。。

在这场 GUI Agent 竞赛中，，，，，，，，中美巨头纷纷下�。。。。。。。。�，，，，，但乐成率低下成了绕不过去的硬伤：眼花缭乱的界面、多变的交互逻辑，，，，，，，，让浏览器自动化操作，，，，，，，，远比天生一段流通文字要难堪多。。。。。。。。

以是，，，，，，，，当明略科技带着拥有双榜 SOTA（目今最先进）效果的 Mano 进场时，，，，，，，，就显得格外吸睛。。。。。。。。这一效果不但让 Mano 成为通用 GUI 智能体的新范式，，，，，，，，也意味着自动化界线又被推远了一大步。。。。。。。。

全球双榜SOTA！明略科技专有大模子 Mano开启GUI智能操作新时代 — *OSWorld-Verified 榜单的 Foundation E2E GUI & Specialized Model 评测中取得 SOTA。。。。。。。。*

值得一提的是，，，，，，，，Mano 仅在一次运行中就取得了 OSWorld-Verified 榜单的 Foundation E2E GUI & Specialized Model 评测中 40.1% 的乐成率，，，，，，，，很是令人惊喜。。。。。。。。

Mano 登顶双榜

克日，，，，，，，，明略科技推出的基于多模态基础模子的网页 GUI 智能体 Mano，，，，，，，，依附其强盛的性能，，，，，，，，在行业内公认的两大挑战基准 ——Mind2Web 和 OSWorld 上同时刷新纪录，，，，，，，，取适目今最佳效果（SOTA）。。。。。。。。

首先，，，，，，，，在网页端的 Mind2Web 上，，，，，，，，Mano 展示出「看得准、做得成」的焦点优势。。。。。。。。

Mind2Web 笼罩 137 个网站、2350+ 真实使命，，，，，，，，从填写表格到订机票、再到在线购物，，，，，，，，应有尽有，，，，，，，，旨在考察智能体能否在重大多变的 DOM 结构里精准找到目的元素，，，，，，，，并完成整个操作链。。。。。。。。

手艺报告显示，，，，，，，，Mano 在三个要害指标上，，，，，，，，均体现不俗。。。。。。。。

在元素精度 (Ele.Acc）和办法乐成率（Step SR）上遥遥领先 —— 两项指标显著逾越了所有 SOTA 的要领。。。。。。。。这批注它在准确识别和定位界面元素，，，，，，，，以及乐成执行多步使命的能力上抵达了新高度。。。。。。。。

Mano 在操作 F1 (Op.F1) 指标上与此前顶尖模子持平甚至略高，，，，，，，，这批注它的焦点优势并非仅仅来自对操作类型的判断能力，，，，，，，，而是能够真正将重大使命转化为乐成的操作序列。。。。。。。。

更难的挑战来自桌面端。。。。。。。。OSWorld-Verified 涵盖了 369 个跨应用使命，，，，，，，，笼罩 10 类应用，，，，，，，，包括浏览器，，，，，，，，办公软件等多个类型，，，，，，，，每一个操作都和真实桌面场景无缝对接，，，，，，，，被以为是桌面智能体测评界的「珠峰」。。。。。。。。

手艺报告显示，，，，，，，，在 OSWorld-Verified 榜单的 Foundation E2E GUI & Specialized Model 评测中，，，，，，，，Mano 直接把乐成率拉到 41.6±0.7%，，，，，，，，凌驾同表所列的 qwen、GUI-Owl、opencua 等模子。。。。。。。。

在 Max Steps=100 的设置下（Mano Runs=2），，，，，，，，其均值抵达 41.6，，，，，，，，标准差仅 ±0.7；；；；；；而 UI-TARS-7B 为 27.4±2.2，，，，，，，，opencua-32b 在 3 次 Runs 下为 34.8±0.8。。。。。。。。

Mano 在均值上提升约 7 个百分点，，，，，，，，整体使命通过率有显著提升。。。。。。。。

秘笈之一：

首提在线强化学习，，，，，，，，引领质变

Mano 在 GUI 交互领域首次提出了在线强化学习的训练范式，，，，，，，，并推出训练数据自动收罗的「探索器」，，，，，，，，这两大焦点立异为着实现亘古未有的图形界面交互性能，，，，，，，，涤讪了坚实基础。。。。。。。。

我们先来唠唠 Mano 制霸的决胜因素之一 ——?领域首创的在线强化学习。。。。。。。。

自 DeepSeek 横空出生以来，，，，，，，，GRPO 已经成为了强化学习黄金范式。。。。。。。。这不但限于大语言模子的规模内，，，，，，，，在多种使命领域的智能体模子的训练中都已经有了普遍的应用。。。。。。。。

现有的模子训练大多局限在离线强化学习的领域，，，，，，，，在这种模式下，，，，，，，，模子深度依赖于事先网络好的数据集举行训练。。。。。。。。通过离线强化学习，，，，，，，，我们能够充分使用大宗历史数据来训练智能体，，，，，，，，从而提高模子的推理决议能力，，，，，，，，这也是 DeepSeek 验证乐成的手艺模式。。。。。。。。

回到 Mano 的手艺框架，，，，，，，，其优化流程是一个渐进式的漫衍战略：

第一阶段，，，，，，，，监视微调（SFT），，，，，，，，使用来自真实数据和跨多个网站与操作系统的模拟情形的细腻处置惩罚交互数据，，，，，，，，对模子举行全参数的 SFT，，，，，，，，获得初始模子 Mano-SFT。。。。。。。。

第二阶段，，，，，，，，与 DeepSeek 等大模子接纳的训练模式类似，，，，，，，，Mano 接纳离线强化学习，，，，，，，，团结 GRPO 要领举行微调，，，，，，，，获得中心模子 Mano-Off。。。。。。。。

以上两个阶段已经能够实现一个具有强盛推理决议能力，，，，，，，，具备高效交互能力的高质量模子了。。。。。。。。

但在 GUI 交互智能体领域，，，，，，，，使命特征决议了模子任何形式的操作都需要与真实的系统交互情形细密团结，，，，，，，，最终都要应用在现实操作系统的真真相形里。。。。。。。。

手艺团队在现实验证历程中以为，，，，，，，，仅通过以上两个阶段的训练，，，，，，，，仍然缺乏以抵达具备足够无邪性和顺应性的要求。。。。。。。。

为此，，，，，，，，他们分享道，，，，，，，，Mano 模子需要「真正的接入操作系统的真真相形里，，，，，，，，需要通过一直地与情形交互，，，，，，，，在交互历程中采样到更富厚的真实轨迹来填补离线训练样本的简单性和希罕性」。。。。。。。。

因此，，，，，，，，在两阶段训练的模子基础上，，，，，，，，他们在 GUI 领域里开创性的提出了在线强化学习的战略，，，，，，，，构建了 GUI 领域强化学习的新范式。。。。。。。。

简朴来说，，，，，，，，在线强化学习是强化学习的一种形式。。。。。。。。智能体凭证目今的状态选择一个行动，，，，，，，，然后从情形中获得响应的奖励以及新的状态。。。。。。。。这些反响会被用来更新智能体的战略。。。。。。。。

在线学习的一个显著特点是：智能体需要在每个时刻都依赖最新数据举行学习，，，，，，，，同时一直在探索（实验新的行动以获守信息）和使用（基于已有知识接纳最优行动）之间寻找平衡。。。。。。。。

各人是否还记适昔时 OpenAI 开发的用来玩 Dota 2 的 AI 系统 OpenAI Five ？？？？？？

这个系统的训练模式就是在真实游戏情形中接纳自我对战的模式举行在线学习，，，，，，，，智能体一直与自己或多个实例对战，，，，，，，，爆发新的游戏数据。。。。。。。。每场对战都会天生大宗的履历，，，，，，，，最终战胜职业游戏选手。。。。。。。。

这种训练逻辑与 GUI 交互智能体的训练逻辑有异曲同工之妙，，，，，，，，Mano 也需要在真实的交互情形中举行一直强化以提高顺应性和无邪性。。。。。。。。

为此，，，，，，，，手艺团队建设了一个模拟情形池，，，，，，，，让模子能够与真真相形交互，，，，，，，，包括浏览器情形（BUA）和桌面情形（CUA）。。。。。。。。通过模拟情形，，，，，，，，模子能够在「真实交互」中收罗更多样化的情形数据，，，，，，，，填补离线轨迹漫衍希罕的问题。。。。。。。。

手艺团队自建模拟情形中安排的在线强化学习，，，，，，，，同样基于 GRPO，，，，，，，，但使用了更注重实时顺应性和动态探索的奖励机制。。。。。。。。

在此历程中，，，，，，，，智能体通过在线试验网络新的交互数据，，，，，，，，这些数据会被循环回流到离线训练阶段举行进一步优化，，，，，，，，实现一连刷新和迭代更新。。。。。。。。

最终获得的 Mano 模子在多样化的 Web GUI 场景中展现出更强的鲁棒性。。。。。。。。

众所周知，，，，，，，，在线强化学习保存交互时间本钱过高和缺乏无邪采样的缺陷。。。。。。。。为了降低本钱，，，，，，，，明略科技的手艺团队并没有接纳在线交互 + 即时更新的方法，，，，，，，，而是接纳在线采样 + 离线过滤的方法：

先网络轨迹，，，，，，，，再过滤噪声数据，，，，，，，，可以动态调理使命难度漫衍，，，，，，，，阻止过多失败轨迹导致的学习效率低下问题。。。。。。。。

在完整的在线强化学习流程中，，，，，，，，Mano 模子与多个并行的 Playwright 实例交互，，，，，，，，每个实例对应一个自力的 GUI 情形。。。。。。。。

每一步中，，，，，，，，模子会获取情形状态与截图，，，，，，，，举行推理天生「思索」与「行动」，，，，，，，，并在对应情形中执行该行动。。。。。。。。该循环会一连，，，，，，，，直到使命完成。。。。。。。。

同时，，，，，，，，系统会纪录影象轨迹，，，，，，，，并将完整的交互轨迹导出，，，，，，，，用于后续的训练与剖析。。。。。。。。

消融实验效果显示，，，，，，，，增添了在线强化学习的办法后，，，，，，，，模子在 OSWorld-Verified 数据集上的平均分数爆发了一个显著的奔腾，，，，，，，，相比离线强化学习的模子效果提升了 7.9，，，，，，，，抵达 41.6。。。。。。。。

同时，，，，，，，，由 SFT 到离线强化学习，，，，，，，，再到在线强化学习的三个阶段可以迭代循环，，，，，，，，直到在验证集上的性能提升趋于饱和。。。。。。。。于是获得 Mano 最终模子。。。。。。。。

秘笈之二：

智能探索，，，，，，，，收罗真真相形轨迹

要实现高质量的在线强化学习训练，，，，，，，，不但要求模子具备在真真相形中举行探索和交互的能力，，，，，，，，还需要海量的交互轨迹数据作为支持。。。。。。。。Mano 第二大立异正是聚焦于模子数据获取和轨迹收罗。。。。。。。。

大模子虽然能明确笼统的指令，，，，，，，，但在需要重大、多办法操作的目的驱动型使命中，，，，，，，，它往往无法自力地将大目的剖析为详细的执行办法：

你说：「帮我买一瓶矿泉水。。。。。。。。」他反而会问：「我需要先翻开哪个网站？？？？？？然后要搜索什么？？？？？？点击哪个按钮？？？？？？」

这时，，，，，，，，开发者必需像教小孩一样，，，，，，，，手把手地告诉模子每一步该怎么做，，，，，，，，极大地增添了开发事情量。。。。。。。。

因此，，，，，，，，研发职员迫切需要为交互使命构建专用的模子和智能体。。。。。。。。而在这一历程中，，，，，，，，海量的高质量交互轨迹数据是不可或缺的。。。。。。。。已往，，，，，，，，这类数据往往需要通过人工构建或标注，，，，，，，，本钱高、耗时长。。。。。。。。明略的手艺团队则设计了训练数据自动收罗的要领，，，，，，，，从基础上提升了数据网络的效率和准确性。。。。。。。。

首先，，，，，，，，手艺团队搭建了一个可扩展的虚拟情形集群，，，，，，，，用于模拟多种交互场景。。。。。。。。针对每个目的应用，，，，，，，，无论是网页 URL 照旧桌面软件�？？？？？？椋�，，，，，团队通过大语言模子自动天生目的清单，，，，，，，，并对目的举行优先级排序，，，，，，，，过滤掉使用频率极低的功效，，，，，，，，为后续探索提供明确的上下文指导。。。。。。。。

在元素提取方面，，，，，，，，团队为网页情形定制了 Chrome 插件「Mano-C」，，，，，，，，该插件能够周全提取网页中的交互元素，，，，，，，，捕获其空间坐标与语义属性。。。。。。。。

通过系统化的 DOM 树遍历，，，，，，，，识别出网页中的可交互元素，，，，，，，，并设计了多层级过滤机制，，，，，，，，扫除视窗外的元素，，，，，，，，检查 CSS 属性，，，，，，，，剔除不可见元素，，，，，，，，并过滤掉极小尺寸的隐形追踪元素。。。。。。。。

关于桌面情形，，，，，，，，则接纳 A11y Tree 剖析与 OmniParseV2 协同过滤的要领，，，，，，，，确保笼罩更多交互元素，，，，，，，，尤其是那些简单要领可能遗漏的元素。。。。。。。。

在数据标注方面，，，，，，，，手艺团队使用大语言模子为每个提取的元素天生语义标签、功效形貌及交互种别，，，，，，，，形成结构化的语义对齐数据，，，，，，，，为后续的训练提供了有用的监视信号。。。。。。。。

为了让数据收罗更具智能性，，，，，，，，他们设计了基于 Prompt 的探索�？？？？？？椋�，，，，，用于智能选择交互元素，，，，，，，，并引入显式约束，，，，，，，，阻止路径循环和冗余分支。。。。。。。。

探索历程中，，，，，，，，接纳深度优先搜索（DFS）战略，，，，，，，，最大深度设为 10 层，，，，，，，，从而在探索笼罩率和盘算效率之间找到平衡。。。。。。。。

每个探索状态下，，，，，，，，系统会截取截图并生涯带注释的交互数据。。。。。。。。

完成探索后，，，，，，，，团队又设计了一套轨迹评估机制，，，，，，，，以筛选出高质量的交互序列。。。。。。。。

简而言之，，，，，，，，这个自动化的事情流程犹如一次网页探索。。。。。。。。

系统首先会翻开差别的网址，，，，，，，，识别可点击或输入的元素，，，，，，，，并通过插件抓取网页中的交互元素，，，，，，，，同时网络该元素的形貌及 DOM 信息，，，，，，，，并使用大语言模子天生语义对齐数据。。。。。。。。

接下来，，，，，，，，系统会从这些候选元素中挑选目的，，，，，，，，最先逐步探索。。。。。。。。整个历程会一直循环，，，，，，，，每一步都会检查是否已抵达最大探索深度，，，，，，，，若未抵达，，，，，，，，则继续举行探索。。。。。。。。

通过这两个焦点立异，，，，，，，，团队实现了数据采集的循环更新。。。。。。。。

SOTA 背后，，，，，，，，厚积薄发

随着 2025 年 AI Agent 需求的爆发，，，，，，，，明略科技依托自研的大模子和独吞数据资产，，，，，，，，推出商业数据剖析智能体?DeepMiner。。。。。。。。

其焦点亮点在于能够获取更完整、实时的数据，，，，，，，，为数据剖析报告和深度研究提供更有力支持。。。。。。。。而这一焦点优势背后，，，，，，，，正是 Mano 的手艺支持。。。。。。。。

现在市面上大大都 AI Agent（如 Manus、GenSpark）获取数据的方法较为古板，，，，，，，，通常依赖平台开发 API 或通过 MCP 协议直接抓取数据，，，，，，，，因此，，，，，，，，数据泉源缺乏奇异性和壁垒。。。。。。。。

真正的竞争壁垒来自于那些既没有开放 API，，，，，，，，又没有 MCP 协议的专业网站。。。。。。。。一样平常来说，，，，，，，，这些数据只能通过用户手动登录账户，，，，，，，，设置条件后才华获取。。。。。。。。

例如，，，，，，，，在亚马逊后台，，，，，，，，用户需要手动选择最近 30 天的数据、输入要害词、凭证流量趋势举行排序，，，，，，，，才华筛选出所需数据。。。。。。。。

为了能够会见这些其他同类 Agent 无法触及的数据源，，，，，，，，Mano 应运而生，，，，，，，，成为差别化竞争中的要害角色。。。。。。。。

而这一通用 GUI 智能体的 SOTA 体现，，，，，，，，源于明略科技多年来在多模态大模子和数据智能领域的积淀。。。。。。。。

几年前，，，，，，，，明略科技便最先构建知识图谱，，，，，，，，将「事务」、「时间」、「空间」等要素融入其中，，，，，，，，为多模态信息的深度关联和逻辑推理打下了基础。。。。。。。。

接着，，，，，，，，通过自然语言处置惩罚和机械学习，，，，，，，，明略科技将企业数据转化为可操作的商业洞察，，，，，，，，涵盖从营销到运营治理等多个应用场景，，，，，，，，推下手艺与商业的深度融合。。。。。。。。

2024 年，，，，，，，，明略科技的超图多模态大语言模子（HMLLM）和 Video-SME 数据集荣获 ACM MM 2024 最佳论文提名，，，，，，，，并在脑电图、眼动等非标模态数据处置惩罚领域取得显著突破。。。。。。。。2025 年推出的 PRE-MAP 模子进一步推动了高区分率个性化视觉展望。。。。。。。。这些学术突破也为 Mano 在 GUI 智能体领域的精彩体现，，，，，，，，提供了坚实的手艺支持。。。。。。。。

作为平台的自动化引擎，，，，，，，，Mano 通过拟人化交互精准完成种种重大网页操作。。。。。。。。其焦点手艺突破在于，，，，，，，，通过一连强化学习，，，，，，，，Mano 能够自主顺应和探索全新的平台与营业流程。。。。。。。。这种高度顺应性使其能够高效、智能地执行网页操作与数据收罗使命，，，，，，，，大幅降低古板自动化计划在应对营业变换时的适配与维护本钱。。。。。。。。

未来，，，，，，，，明略科技将继续在数据收罗、训练推理整合、验证码处置惩罚等领域探索，，，，，，，，推动 Mano 在真实应用和端侧安排中的进一步优化，，，，，，，，为企业的智能化转型提供强有力的支持。。。。。。。。

本文泉源于「机械之心」