直播回首 | 不再“纸上谈兵”，，，，，，，，大模子能力怎样转化为现实营业价值-明略科技

首页干货文章直播回首 | 不再“纸上谈兵”，，，，，，，，大模子能力怎样转化为现实营业价值

直播回首 | 不再“纸上谈兵”，，，，，，，，大模子能力怎样转化为现实营业价值

2025-05-22

随着手艺的快速生长，，，，，，，，大模子在各行业的应用潜力日益凸显，，，，，，，，但怎样将大模子能力高效转化为现实营业价值，，，，，，，，仍是企业面临的焦点挑战。。。。。。。。

克日 InfoQ《极客有约》X AICon 直播栏目特殊约请了 华为云 AI 应用首席架构师郑岩 担当主持人，，，，，，，，和 蚂蚁集团高级手艺专家杨浩、明略科技高级手艺总监吴昊宇 一起，，，，，，，，在 AICon全球人工智能开发与应用大会2025 上海站 即将召开之际，，，，，，，，配合探讨大模子怎样驱动营业提效。。。。。。。。

部分精彩看法如下：

选择模子时，，，，，，，，应重点思量推理照旧天生、上下文长度、响应性能三个偏向。。。。。。。。

做 AI 应用就像做工厂，，，，，，，，虽然做的事情看似高峻上，，，，，，，，但在现实操作中，，，，，，，，照旧要在“车间”里与客户一起，，，，，，，，逐步解决一个又一个问题。。。。。。。。

理想中的 AI 智能体应该类似于生命体，，，，，，，，它具备感知、认知和行动能力，，，，，，，，并能够在实践中一直迭代和反响。。。。。。。。

在 5 月 23-24 日将于上海举行的 AICon 全球人工智能开发与应用大会上，，，，，，，，InfoQ 特殊设置了【大模子助力营业提效实践】专题。。。。。。。。该专题将围绕模子选型与优化、应用场景落地及效果评估等要害环节，，，，，，，，分享行业领先企业的实战履历。。。。。。。。

届时，，，，，，，，明略科技高级手艺总监吴昊宇将带来《多模态大模子驱动的天生式营销落地实践》主题分享，，，，，，，，接待现场加入~

审查大会日程解锁更多精彩内容：https://aicon.infoq.cn/2025/shanghai/schedule

以下内容基于直播速记整理，，，，，，，，经 InfoQ 删减。。。。。。。。

01 场景探索

郑岩：在探索大模子应用场景时，，，，，，，，企业常�；；；；；；；嵊龅健翱雌鹄春苊赖涞啬选钡男枨螅�，，，，，，，列位在现实项目中是怎样判断一个场景是否值得投入的？？？？？？？

吴昊宇： 企业应用 AI 时，，，，，，，，需要关注三个要害点：首先是识别最主要且值得解决的问题；；；；；；；；其次是确保有高质量的相关数据支持 AI 应用；；；；；；；；第三，，，，，，，，当效率低或解决效果差时，，，，，，，，AI 可以作为辅助工具提升效率。。。。。。。。

企业选择 AI 应用场景时，，，，，，，，应遵照高频和有价值两个原则。。。。。。。。通过识别最有价值和最频仍的问题，，，，，，，，可以明确解决规模并合理投入资源，，，，，，，，确保短期内看到效果。。。。。。。。

杨浩： 财务领域 AI 应用可以分为三大类型：一是提升基础作业效率，，，，，，，，已往在工程化阶段很难通过逐行代码写清晰审核规则，，，，，，，，而 AI 应用后，，，，，，，，审核场景的效果显著提升。。。。。。。。二是危害防控，，，，，，，，我们会凭证差别指标建设模子，，，，，，，，使用大模子剖析并形成 SOP。。。。。。。。三是创立增量价值，，，，，，，，财务领域的司库投资场景可以通过大模子优化投资决议。。。。。。。。

在落地详细场景时，，，，，，，，我们关注 ROI，，，，，，，，评估项目需求、职员和卡的投入，，，，，，，，最终判断效果是否能笼罩投资本钱。。。。。。。。

郑岩：ROI 若是仅仅思量人力和卡的本钱，，，，，，，，现实上投入很是大，，，，，，，，这样是否会限制btt博天堂场景选择呢？？？？？？？

杨浩： 确实会有影响。。。。。。。。举个例子，，，，，，，，若是我们投入两小我私家和两张 L20 推理卡，，，，，，，，能够节约五个财务职员的事情量，，，，，，，，那么我们以为投入产出是正向的。。。。。。。。

虽然 AI 应用还不完全成熟，，，，，，，，初期手艺本钱往往高于古板手艺，，，，，，，，但在财务领域，，，，，，，，我们会凭证三个分类优先评估那些高优先级的场景。。。。。。。。

郑岩：AI 大模子带来的价值和恒久生长趋势确实让我们无法忽视，，，，，，，，但若是我们周全投入，，，，，，，，实验用 AI 大模子重做所有场景，，，，，，，，本钱又会很是高。。。。。。。。因此，，，，，，，，要害在于找到一个平衡点。。。。。。。。

我们内部有总结一个 AI 场景识别的 checklist，，，，，，，，称之为“AI 场景 12 问”，，，，，，，，简朴说，，，，，，，，就是通常�；；；；；；；岽尤鑫壤纯剂浚旱谝桓鑫仁怯导壑担�，，，，，，，也就是商业价值。。。。。。。。我们虽然不会精准的权衡 ROI 来看这场要不要做，，，，，，，，可是这会是一个主要的排序因素。。。。。。。。接下来是成熟度，，，，，，，，正如吴先生提到的营业、数据和手艺的准备情形。。。。。。。。

最后，，，，，，，，我们还加入了一个维度：是否有一连运营的能力。。。。。。。。由于我们通常以为 AI 应用上线后，，，，，，，，许多时间无法抵达通俗员工的作业效果，，，，，，，，还需要一连投入精神去优化和迭代。。。。。。。。

吴昊宇： 以前在营销事情中，，，，，，，，我们需要大宗的数据支持，，，，，，，，主要是写报告和查数据。。。。。。。。已往，，，，，，，，我们常用小模子，，，，，，，，虽然本钱低，，，，，，，，但无邪性差。。。。。。。。�；；；；；；；桓鲂滦幸悼词菔保�，，，，，，，发明之前用的实体无法顺应新需求，，，，，，，，这时我们通常�；；；；；；；嵋览等肆ν度耄�，，，，，，，举行大宗人工标注。。。。。。。。

然而，，，，，，，，使用大模子后，，，，，，，，情形就变得简朴了。。。。。。。。营业职员只需要界说新领域的实体词，，，，，，，，大模子就能自动识别。。。。。。。。这样，，，，，，，，社交媒体洞察报告可以凭证行业定制，，，，，，，，客户需求越详尽，，，，，，，，报告就越详细。。。。。。。。报告的速率和质量也获得了显著提升。。。。。。。。

郑岩：在立项初期，，，，，，，，怎样向决议层证实大模子投入的性价比？？？？？？？列位有哪些量化的“价值锚点”可以分享？？？？？？？

杨浩： 在财务领域，，，，，，，，许多问题都可以通过 ROI 来权衡。。。。。。。。关于效率提升的场景，，，，，，，，我们会凭证单量来权衡。。。。。。。。例如，，，，，，，，若通过辅助工具或无人值守模式提升了效率，，，，，，，，我们会盘算这种模式能节约几多人工工时。。。。。。。。

财务高层最体贴的往往是危害控制，，，，，，，，而非纯粹的效率提升。。。。。。。。在这种情形下，，，，，，，，我们首先权衡场景的危害敞口，，，，，，，，并评估引入大模子后能够笼罩的危害防控比例。。。。。。。。

关于增量价值的创立部分，，，，，，，，好比智能资金挑唆、结构性存款和量化投资等，，，，，，，，这些可以直接为公司带来现实的资金增值，，，，，，，，能够明确盘算出为公司赚了几多钱。。。。。。。。

别的，，，，，，，，像税务妄想等场景，，，，，，，，也能通过大模子网络数据，，，，，，，，支持相关决议。。。。。。。。这些场景的收益可以明确权衡，，，，，，，，无论是镌汰危害敞口照旧提升人效，，，，，，，，投入的本钱都能获得起源估算。。。。。。。。若是 ROI 不为负，，，，，，，，通常老板会愿意举行投资。。。。。。。。

郑岩： 危害是怎么估算的？？？？？？？

杨浩： 通常通过扫描危害敞口，，，，，，，，来确定能够管控的危害比例。。。。。。。。好比审核流程中，，，，，，，，财务有时会盲目审核一些采购单或报账单，，，，，，，，这些票据可能保存重大的危害敞口，，，，，，，，特殊是单笔金额上亿的情形下。。。。。。。。使用大模子审核时，，，，，，，，我们会逐个审核这些环节，，，，，，，，并通过模子管控响应的危害比例。。。。。。。。

郑岩： 最终照旧需要人工核查吧？？？？？？？

杨浩： 当大模子的准确率足够高并且稳固时，，，，，，，，某些场景我们已经能够实现无人值守。。。。。。。。

吴昊宇： 在我们做营销时，，，，，，，，许多时间并不是纯粹关注钱的问题。。。。。。。。我们对接了许多跨国公司，，，，，，，，在这些公司里，，，，，，，，中国区越发注重立异，，，，，，，，若是实现了一个好的 AI 应用，，，，，，，，它可能成为总部认可的时机，，，，，，，，从而在总部获得更大的支持。。。。。。。。

我们与一家医药客户相助，，，，，，，，资助他们的内部咨询部分关注一线职员的知足度。。。。。。。。这个医药公司有大宗的营业代表需要与医生接触，，，，，，，，但由于医学专业性强，，，，，，，，一线代表往往不敢直接提问，，，，，，，，特殊是担心问得多了会被视为不专业。。。。。。。。

因此，，，，，，，，我们资助他们建设了一个基于知识库的应用，，，，，，，，除了盘问功效外，，，，，，，，还包括内部培训和考试。。。。。。。。经由这一套培训和训练后，，，，，，，，他们的一线代表最先变得越发自信，，，，，，，，敢于与医生相同，，，，，，，，晤面的频率也有所增添，，，，，，，，这对他们的销售事情资助重大。。。。。。。。

02 手艺落地

郑岩：在选择大模子手艺蹊径时，，，，，，，，差别营业场景对模子能力的着重点可能完全差别，，，，，，，，能否团结列位的实践，，，，，，，，分享一下手艺选型时的优先级考量？？？？？？？在刷新古板系统时，，，，，，，，列位是选择“倾覆重构”照旧“渐进升级”？？？？？？？

杨浩： 差别版本的模子适用于差别的需求。。。。。。。。选择模子时，，，，，，，，我们主要思量三个因素：首先，，，，，，，，场景的重点是着重推理照旧天生；；；；；；；；其次，，，，，，，，上下文的长度，，，，，，，，一些场景需要处置惩罚长上下文，，，，，，，，而其他场景可能只需要短上下文；；；；；；；；最后，，，，，，，，响应性能。。。。。。。。在某些场景中，，，，，，，，高性能响应是必需的，，，，，，，，特殊是深度思索的模子经常响应缓慢，，，，，，，，可能需要几秒到几分钟才最先返回效果，，，，，，，，这在某些应用中是不可接受的。。。。。。。。

另外，，，，，，，，关于选择倾覆重构照旧渐进升级，，，，，，，，也需凭证详细场景剖析。。。。。。。。AI 应用有三种范式：AI Embedding、AI Copilot 和 AI Agent。。。。。。。。其中，，，，，，，，前两者偏向渐进升级，，，，，，，，AI Agent 则偏向倾覆重构。。。。。。。。

尤其是在财务领域，，，，，，，，第三种模式（AI Agent）占有了大部分比重，，，，，，，，可能凌驾 50%。。。。。。。。从 2023 年下半年最先，，，，，，，，我们先举行了一些 AI 嵌入的事情，，，，，，，，将 AI 能力融入现有财务系统中。。。。。。。。

用户并未感知到这是 AI 应用，，，，，，，，只是看到了自动化的流程。。。。。。。。好比在界面的右下角弹出一个机械人，，，，，，，，用户可以与其交互举行智能剖析、审核等使命。。。。。。。。关于 AI Agent，，，，，，，，我们正在界说数字员工，，，，，，，，现实上是在重新构建整个财务系统的入口，，，，，，，，这属于倾覆重构的方法。。。。。。。。

郑岩：?财务系统相对其他营业领域，，，，，，，，数字化成熟度是较量高的。。。。。。。。怎样在云云成熟的数字化系统中，，，，，，，，深度接纳 AI 且以凌驾 50% 的比例举行重构，，，，，，，，怎样确保营业能够顺应这些转变？？？？？？？

杨浩： 财务领域确实有许多子领域，，，，，，，，每个子领域基本上都有后台治理系统。。。。。。。。在新的 AI Agent 模式下，，，，，，，，我们设计了一个 AI Native 的财务系统，，，，，，，，提供统一的入口，，，，，，，，后端毗连各个子系统，，，，，，，，并且这些差别领域的 Agent 通过协议举行通讯。。。。。。。。

从营业角度来看，，，，，，，，用户不再关注各个系统的功效，，，，，，，，而是关注自己的营业需求。。。。。。。。我们内部提出的口号是“从做功效到做效劳”，，，，，，，，举例来说，，，，，，，，报销和报账是每个公司都会涉及的内容。。。。。。。。

古板的系统需要用户手动处置惩罚提单、审核结算等重大流程，，，，，，，，而现在btt博天堂系统只需要用户精练地输入一句话，，，，，，，，好比“我要报一个账”，，，，，，，，并上传发票，，，，，，，，后续的提单和审核等流程系统会自动完成，，，，，，，，这是对用户体验的一次主要厘革。。。。。。。。

吴昊宇：关于营销类客户，，，，，，，，他们越发关注模子是否能够从多样化的质料中挖掘出相关信息。。。。。。。。例如，，，，，，，，若客户盘问草莓相关内容，，，，，，，，但历史报告只包括蓝莓数据，，，，，，，，严酷扫除蓝莓内容可能导致无法提供有用信息。。。。。。。。因此，，，，，，，，模子需要具备一定的无邪性。。。。。。。。

而关于医疗客户，，，，，，，，他们瞄准确性、引用的准确性以及可诠释性要求很是高。。。。。。。。在这种情形下，，，，，，，，模子必需严酷凭证原文回覆，，，，，，，，不可自行天生或引用其他知识。。。。。。。。

在推理模子的应用中，，，，，，，，处置惩罚报告和问答时，，，，，，，，我们首先举行发散性推理，，，，，，，，探索用户可能的需求和相关问题，，，，，，，，但在回覆时，，，，，，，，必需确保模子的高准确性，，，，，，，，阻止过多的推理。。。。。。。。这些差别决议了模子选择时需要凭证客户需求举行权衡。。。。。。。。

在古板系统的刷新历程中，，，，，，，，我们逐步升级。。。。。。。。例如，，，，，，，，在页面上添加类似 Copilot 的插件，，，，，，，，用户可以通过该插件直接举行问答或操作。。。。。。。。同时，，，，，，，，我们将一些古板的判断逻辑转交给大模子处置惩罚，，，，，，，，特殊是在涉及要害节点的场景。。。。。。。。

已往，，，，，，，，这些节点依赖代码规则或小模子判断，，，，，，，，而现在，，，，，，，，大模子可以更好地使用事情流上下文，，，，，，，，从而提供更准确的结论。。。。。。。。虽然界面转变不大，，，，，，，，但系统架构已爆发显著转变。。。。。。。。

郑岩：?我们在现实选型和接纳种种模子时，，，，，，，，还会思量到一个问题：我们不希望模子的种类过于发散。。。。。。。。手艺团队若要熟悉多种差别模子的能力、气概、架构和安排要领，，，，，，，，本钱会相当高。。。。。。。。

因此，，，，，，，，在举行 POC（看法验证）或原型验证时，，，，，，，，我们可以适度发散，，，，，，，，但在生产情形中，，，，，，，，我们更倾向于收敛。。。。。。。。

郑岩：从 OpenAI 提供 Agent 架构之后，，，，，，，，各人都在 Agent 都有立异，，，，，，，，在各人各自的领域，，，，，，，，Agent 架构有哪些立异？？？？？？？或者实践？？？？？？？

杨浩： 我们自己界说了一套 Agent 系统，，，，，，，，并将其分为四个主要部分：感知、决议、执行和反响。。。。。。。。

感知分为自动感知和被动感知。。。。。。。。被动感知较量简朴，，，，，，，，就是用户通过对话给btt博天堂信息。。。。。。。。自动感知则是我们在企业内部应用中，，，，，，，，通过感知用户的角色、岗位、权限和使命等，，，，，，，，来为用户打标签并举行画像。。。。。。。。

系统会凭证这些信息推荐相关的使命和操作。。。。。。。。决议部分涉及到存储和种种决议模子，，，，，，，，决议模子资助 Agent 决议要做什么以及怎样做。。。。。。。。执行部分则涉及种种工具的挪用，，，，，，，，好比 API、SQL 等，，，，，，，，Agent 通过调理这些工具来完成使命。。。。。。。。

我们在反响链路方面举行了立异。。。。。。。。例如，，，，，，，，用户遇到问题并以为大模子的回覆有误，，，，，，，，但若是不做调解，，，，，，，，下次用户再问相同问题时，，，，，，，，大模子可能仍无法给出准确谜底。。。。。。。。

为相识决这一问题，，，，，，，，我们构建了一个反响链路，，，，，，，，让用户可以名堂化地反响问题，，，，，，，，指出模子在某些场景中的缺乏之处。。。。。。。。

我们将这些反响信息整理成学习知识库，，，，，，，，并通过动态调解来优化模子性能。。。。。。。。通过这一动态反响机制，，，，，，，，Agent 能够一直学习，，，，，，，，逐步提升模子的能力。。。。。。。。

郑岩： 可以举一些动态反响的例子吗？？？？？？？

杨浩： 在智能审核场景中，，，，，，，，我们关注每个审核点，，，，，，，，如核对税率是否与条约一致。。。。。。。。若从条约提取的税率过失，，，，，，，，用户可结构化反响�。。。。。。。�，，，，，，，系统自动天生反响内容。。。。。。。。

收到反响后，，，，，，，，我们会人工确认其质量，，，，，，，，确保数据准确无误，，，，，，，，再将其加入知识库并按期更新。。。。。。。。更新后的模子用于评测历史数据，，，，，，，，若准确率提升，，，，，，，，经由灰度测试后正式投入使用。。。。。。。。最终，，，，，，，，模子能像人一样明确并响应反响�。。。。。。。�，，，，，，，抵达智能优化的效果。。。。。。。。

郑岩： 不但让大模子能“听懂人话”，，，，，，，，还能让用户加入到大模子的一连演进历程中，，，，，，，，形成一个很是有价值的循环。。。。。。。。

杨浩： 要害在于让营业方真正成为大模子应用的“先生”。。。。。。。。

郑岩： 这真的就酿成了“AI 训练师”——用户在一直地资助 AI 举行训练。。。。。。。。

吴昊宇： 在btt博天堂内容营销系统中，，，，，，，，我们倾向于将整个系统看作一个 AI Agent，，，，，，，，最终目的是实现内容生产的全自动化。。。。。。。。我们将内容营销 Agent 分为三个部分：感知、认知和行动。。。。。。。。

感知系统方面，，，，，，，，我们需要相识市场上爆发了什么，，，，，，，，阻止盲目做内容。。。。。。。。在做营销之前要“五看”：看趋势、看行业、看目的人群、看竞品和本品。。。。。。。。这些信息都依赖于btt博天堂“魔方 Pro”系统来网络，，，，，，，，它能从市场中提取相关信息，，，，，，，，作为内容创作的基础�。。。。。。。�，，，，，，，决议创作偏向。。。。。。。。

认知系统方面，，，，，，，，我们基于明敬超图多模态大模子创立了一个通过模拟人的主观感受来评估内容的系统。。。。。。。。这个系统能够从差别年岁层或性别的人群角度出发，，，，，，，，通过模子模拟他们的反应。。。。。。。。通过这种方法，，，，，，，，我们可以提前预判广告的受众反应，，，，，，，，阻止不须要的内容测试，，，，，，，，镌汰本钱，，，，，，，，提高 ROI。。。。。。。。

行动系统则关注广告内容的自动化生产，，，，，，，，以及怎样与人工相助举行内容创作。。。。。。。。广告投放后，，，，，，，，需要通过网络数据举行迭代反响�。。。。。。。�，，，，，，，确保广告的 ROI 一连提升。。。。。。。。若是某个广告效果好，，，，，，，，我们可以加大投入，，，，，，，，举行加热推送，，，，，，，，让其体现更佳。。。。。。。。

整体来说，，，，，，，，btt博天堂反响和行动系统焦点在于内容的迭代和反响�。。。。。。。�，，，，，，，通过这个历程使营销运动实现自动化。。。。。。。。btt博天堂最终目的是将整个营销历程——从感知、认知到行动——整合为一个连贯的系统。。。。。。。。在不需要太多人力干预的情形下，，，，，，，，广告商能把内容交给 AI Agent，，，，，，，，定心地期待回报。。。。。。。。

郑岩：MCP 很是�；；；；；；；鹑龋�，，，，，，，差别的手艺栈应用怎样快速支持，，，，，，，，以及是反对议支持？？？？？？？

吴昊宇：MCP 在开发全新 AI 应用时很是有用，，，，，，，，但关于一些相对成熟、流程牢靠的产品，，，，，，，，MCP 的优势不如古板手艺显着，，，，，，，，甚至在某些情形下还不敷成熟。。。。。。。。

以是，，，，，，，，关于旧产品，，，，，，，，我们凭证现有情形举行测试和选择；；；；；；；；而关于新产品，，，，，，，，我们更多地举行适配。。。。。。。。之前，，，，，，，，我们挪用内部工具时通常使用函数挪用的方法，，，，，，，，将所有内容写成一个很是长的 prompt，，，，，，，，交给大模子来调理。。。。。。。。现在，，，，，，，，我们搭建了 MCP Server，，，，，，，，各团队接入时操作变得越发轻盈。。。。。。。。

只管云云，，，，，，，，在新的 AI 应用中，，，，，，，，我们也发明 MCP 的变换很是大。。。。。。。。因此，，，，，，，，现在我们照旧在有限制地使用 MCP，，，，，，，，并且希望 MCP 协议能够尽快成熟，，，，，，，，以便我们可以越发定心地使用它。。。。。。。。

杨浩： 蚂蚁内部 MCP 的应用较量激进。。。。。。。。举个例子，，，，，，，，像支付宝的支付 API，，，，，，，，现在可以通过 MCP 的方法团结，，，，，，，，直接在 Agent 中完成支付操作，，，，，，，，这在支付领域的应用很是前卫。。。。。。。。我们在 AI 应用历程中，，，，，，，，作为客户端去挪用蚂蚁内部的种种效劳，，，，，，，，这部分使用较多。。。。。。。。

另外，，，，，，，，针对一些财务领域的老旧系统，，，，，，，，许多是基于 Java 架构的，，，，，，，，我们在这些小众场景中实验将 MCP 应用举行试点。。。。。。。。为了支持 MCP，，，，，，，，我们会在一些小众场景中，，，，，，，，通过 Server list 等模�？？？？？？槔粗С� MCP 的应用。。。。。。。。以是，，，，，，，，作为消耗者，，，，，，，，我们更多的是挪用蚂蚁内部的 MCP 效劳器。。。。。。。。

前两年各人专注于模子的研发和提升，，，，，，，，而最近，，，，，，，，MCP 最先引起关注。。。。。。。。�？？？？？？梢钥闯觯�，，，，，，，各人已经从纯粹的卷模子转向卷应用。。。。。。。。MCP 作为一个标准化的通讯协议，，，，，，，，解决了通讯协议这一层的工程化问题，，，，，，，，它不是模子层的立异。。。。。。。。

郑岩：从实验室效果到生产情形稳固体现，，，，，，，，列位是怎样实现的？？？？？？？能否揭秘要害评测环节的设计思索？？？？？？？

吴昊宇：POC 阶段各人以为一切顺遂，，，，，，，，但只有真正进入生产并面向客户时，，，，，，，，才发明现实上事情才刚刚最先。。。。。。。。面临不确定性系统，，，，，，，，最主要的就是多测试。。。。。。。。测试不但是笼罩多个场景、领域和行业，，，，，，，，还要重复举行，，，，，，，，而不是一次性测试完就竣事。。。。。。。。

举个例子，，，，，，，，在与客户一起上线知识库系统时，，，，，，，，需要一直测试其质料，，，，，，，，客户提了意见后，，，，，，，，我们要去验证解决计划。。。。。。。。有时甚至需要人工与客户一起整理资料，，，，，，，，由于客户提供的资料质量可能很差，，，，，，，，我们需要与客户相助，，，，，，，，提升资料质量，，，，，，，，从而提高最终的问答质量。。。。。。。。

虽然，，，，，，，，客户会有基本的预期，，，，，，，，期望在经由一定的测试和优化后，，，，，，，，抵达预定效果。。。。。。。。你不可能一直修改下去，，，，，，，，因此要设定好标准，，，，，，，，并与客户一直磨合。。。。。。。。做 AI 应用就像做工厂，，，，，，，，虽然做的事情看似高峻上，，，，，，，，但在现实操作中，，，，，，，，照旧要在“车间”里与客户一起，，，，，，，，逐步解决一个又一个问题。。。。。。。。

郑岩： 在交付给客户时，，，，，，，，您是否会和客户约定一个准确率的允许指标，，，，，，，，或者其他类似的标准？？？？？？？

吴昊宇： 准确率的允许指标通常建设在数据集基础上。。。。。。。。�？？？？？？突Щ崽峁┧且谎匠Ｎ蚀鹬谐＜奈侍夂臀侍饫嘈停�，，，，，，，我们会凭证这些问题，，，，，，，，举行优化，，，，，，，，力争解决 90% 的一样平常问题。。。。。。。。抵达了这个目的后，，，，，，，，就可以交付了。。。。。。。。

郑岩： 像 AI 大模子这种手艺我们无法做到“零 BUG”，，，，，，，，这意味着可靠性评估最终照旧要依赖评测集。。。。。。。。但设计评测集的方法会影响指标的体现，，，，，，，，以是，，，，，，，，业界的种种评测集也在一直迭代和优化。。。。。。。。

吴昊宇： 客户关注的不是你给出的评测指标，，，，，，，，而是从他们一样平常应用或者营业价值出发。。。。。。。。因此，，，，，，，，每个客户的评测集都可能差别，，，，，，，，包括文档规模、内容，，，，，，，，甚至他们想问的问题类型都有差别。。。。。。。。以是，，，，，，，，评测集的设计和应用确实是因客户而异的。。。。。。。。

杨浩： 在做模子时，，，，，，，，各人常听到“数据决议效果”，，，，，，，，这条规则仍然适用于确保应用的稳固性。。。。。。。。在 POC 阶段，，，，，，，，效果可能很好，，，，，，，，但在线上面临更多不可控因素时，，，，，，，，问题就袒露出来了，，，，，，，，实质上是由于数据集不敷周全。。。。。。。。

那么，，，，，，，，怎样解决？？？？？？？在实践中，，，，，，，，首先，，，，，，，，我们会凭证场景设置详细的指标系统。。。。。。。。例如，，，，，，，，在审核场景中，，，，，，，，我们会针对差别的审核要素、审核点和审核票据等维度，，，，，，，，设计准确度、召回率、准确率等指标。。。。。。。。

第二，，，，，，，，在上线历程中，，，，，，，，我们接纳了两种模式。。。。。。。。最初，，，，，，，，我们并没有完全用 AI 替换人工，，，，，，，，而是将其作为辅助审核，，，，，，，，最终决议依赖人工。。。。。。。。在这个阶段，，，，，，，，我们与营业方亲近相助，，，，，，，，每周剖析所有过失案例，，，，，，，，一连优化模子。。。。。。。。

上线初期，，，，，，，，审核场景的准确率仅为 20%，，，，，，，，险些无法使用。。。。。。。。经由三个月的调优，，，，，，，，准确率提高到 90% 以上，，，，，，，，在审核要点维度上抵达了四个 9 的准确率。。。。。。。。

财务领域瞄准确性要求极高，，，，，，，，因此，，，，，，，，我们首先接纳辅助审核模式，，，，，，，，一直对齐和调解，，，，，，，，确保准确性。。。。。。。。当某个场景的准确率足够高时，，，，，，，，好比简单类目下审核的准确率在三个月内一连坚持 100%，，，，，，，，我们才会将该场景转为无人值守，，，，，，，，AI 自动替换人工审核。。。。。。。。但这并不料味着人完全不加入。。。。。。。。

我们设有后续检查流程，，，，，，，，按期抽检 AI 审核的票据。。。。。。。。若是 AI 审核过失，，，，，，，，系统会回退到辅助模式。。。。。。。。这种流程提供了容错空间，，，，，，，，也允许我们逐步过渡到完全无人值守的模式。。。。。。。。

郑岩： 从 20% 到 90% 准确率的提升历程中，，，，，，，，最有用的步伐是什么？？？？？？？

杨浩： 首先，，，，，，，，我们设计了很是详细的指标系统，，，，，，，，通过这些指标，，，，，，，，我们可以反推每个案例的问题所在。。。。。。。。针对这些问题，，，，，，，，我们与营业方一起逐一对齐。。。。。。。。我们将人工履历注入到模子应用中，，，，，，，，这是一个很是重大的历程。。。。。。。。

郑岩： 您是通过 Prompt 工程照旧通过训练将人工履历对齐到模子中？？？？？？？

杨浩： 我们先通过工程化的方法将场景做到一定水平，，，，，，，，然后再使用高质量的数据集举行训练，，，，，，，，最终将这些履历融入到模子中。。。。。。。。

观众：怎么看待 A to A?

杨浩：MCP 解决的是人与手艺之间的问题，，，，，，，，而 A to A 则是解决人与人之间的问题。。。。。。。。在财务领域会涉及一些场景，，，，，，，，好比在接入新的营业时，，，，，，，，需要评估怎样举行核算、税率是几多、是否为关联生意等，，，，，，，，这些场景通常需要差别领域的 Agent 之间举行相同和重复协作，，，，，，，，但现在我们还没有通过 A To A 实现 Agent 间的直接相同，，，，，，，，更多的照旧在使用 MCP。。。。。。。。

吴昊宇：A to A 着实是多 Agent 之间相相互同的方法，，，，，，，，这种方法会带来更多的不确定性。。。。。。。。不过，，，，，，，，我信托当 Agent 系统足够富厚或重大时，，，，，，，，Agent 之间怎样互动将会是行业未来的研究重点。。。。。。。。

但现在，，，，，，，，btt博天堂主要使命是先确保简单 Agent 的功效完善，，，，，，，，确保它能够充分验展自己的手艺，，，，，，，，再思量怎样实现 A to A 的交互。。。。。。。。

观众：幻觉问题怎样解决？？？？？？？

吴昊宇： 在做知识库的历程中，，，，，，，，我们发明幻觉问题许多时间是由于大模子在自由施展。。。。。。。。解决这个问题的要领就是一直调解 Prompt，，，，，，，，确保大模子按划定执行。。。。。。。。好比，，，，，，，，若是你发明它经常举一些不保存的例子，，，，，，，，就需要在 Prompt 中明确榨取它举例，，，，，，，，只允许引用原文。。。。。。。。另一个常见问题是某些模子喜欢合并同类项，，，，，，，，有时合并过失。。。。。。。。在这种情形下，，，，，，，，你需要提醒模子不要合并同类项，，，，，，，，而是直接按原文回覆。。。。。。。。

郑岩： 企业内部的许多“黑话”和术语，，，，，，，，是导致幻觉问题的一个常见缘故原由。。。。。。。。好比说“胶片”，，，，，，，，许多人都不明确这个是什么意思，，，，，，，，而大模子更明确不了，，，，，，，，着实是指 PPT。。。。。。。。

我们所处的行业手艺性较强，，，，，，，，缩写使用频仍，，，，，，，，许多时间我们需要资助大模子明确这些缩写和术语，，，，，，，，来消解它们的歧义。。。。。。。。整体来说，，，，，，，，随着手艺的前进，，，，，，，，大模子的幻觉问题从指标上来看已经越来越少了。。。。。。。。

观众：提醒词和模子微调是否能抵达四个 9 的准确率？？？？？？？

杨浩： 提醒词与提醒词之间有很大的差别，，，，，，，，编写一个好的提醒词并不简朴。。。。。。。。我们针对特定使命流程编写了一套很是严酷的专家框架，，，，，，，，类似于 SOP。。。。。。。。

在执行使命时，，，，，，，，模子需要凭证btt博天堂要求一步步执行，，，，，，，，并且每一步之间可能还保存依赖关系。。。。。。。。因此，，，，，，，，准确率的评估需要凭证差别的场景来举行，，，，，，，，不可一概而论。。。。。。。。

未来展望

郑岩：现在优异的 AI 大模子层出不穷，，，，，，，，企业 AI 应用怎样应对？？？？？？？当各人都在谈 AI Native 时，，，，，，，，列位心中理想的“智能体”应该具备哪些特质？？？？？？？目今距离这个目的尚有多远？？？？？？？

吴昊宇： 理想中的 AI 智能体应该类似于生命体，，，，，，，，它具备感知、认知和行动能力，，，，，，，，并能够在实践中一直迭代和反响。。。。。。。。

别的，，，，，，，，智能体应该具备学习能力。。。。。。。。现在btt博天堂模子进化依赖大宗算力举行训练，，，，，，，，但生命体的学习速率远快于此。。。。。。。。未来理想的智能体应该能够通过少量样本或某种学习方法快速进化，，，，，，，，而不是像现在这样从零最先重新训练。。。。。。。。

杨浩： 企业应对大模子生长的方法可从模子和应用两个视角探讨。。。。。。。。底层大模子训练方面，，，，，，，，企业需快速掌握模子架构、训练要领和优化算法，，，，，，，，特殊是奖励函数设计，，，，，，，，关注手艺深度。。。。。。。。

应用层面，，，，，，，，焦点是快速接入、评估、安排新模子，，，，，，，，并使用其特征。。。。。。。。替换底层模子时，，，，，，，，必需确保新模子准确率优于现有模子，，，，，，，，不然会影响营业。。。。。。。。

虽然理想的智能体可自我演化，，，，，，，，但现实中模子的智能是有限的。。。。。。。。评估智能体时，，，，，，，，应关注设计、数据、领域知识和动态性。。。。。。。。AI Native 应用设计差别于古板 GOI，，，，，，，，需设计合适的卡片、事情流程和图谱，，，，，，，，重大使命执行图与古板设计有很大差别。。。。。。。。

企业要深入相识和掌握内部数据，，，，，，，，确保模子能够明确和处置惩罚数据。。。。。。。。领域知识对专家系统至关主要，，，，，，，，尤其是在财务领域，，，，，，，，相识会计、税法等知识。。。。。。。。模子应具备动态性，，，，，，，，凭证人类反响自我学习。。。。。。。。

郑岩： 大模子生长确实很是很是�？？？？？？欤�，，，，，，，配得上“日新月异”，，，，，，，，因此在转变背后，，，，，，，，我们就更需要捉住大模子的生长历程哪些是稳固的。。。。。。。。我之前简朴总结过，，，，，，，，称为“五更”，，，，，，，，划分是：更强、更自制、更快、更长（的上下文）和更多模态，，，，，，，，这些趋势基本上在最近三年一直坚持着。。。。。。。。

从 AI 工程和应用的角度来看，，，，，，，，我们要尽可能避开这些大模子的主航道，，，，，，，，不要在大模子快速生长的历程中“绣花”。。。。。。。。事实，，，，，，，，升级一个版本后，，，，，，，，可能会发明你费全心力刷新的几个百分点，，，，，，，，随着更强的基模子宣布，，，，，，，，直接就可以带来几十个点的增益，，，，，，，，之前的投入就白搭了。。。。。。。。

另外，，，，，，，，我以为有一个问题许多偕行没有被重视，，，，，，，，就是评测。。。。。。。。许多人以为评测很基础、初级，，，，，，，，以为做大宗的评测用例似乎没什么意义。。。。。。。。但现实上，，，，，，，，评测是 AI 能够一连落地的要害。。。。。。。。

若是测试集足够好，，，，，，，，它就能够足够好地还原营业实质。。。。。。。。若是评测工程做的足够好，，，，，，，，就能够以更快的速率迭代 AI 应用。。。。。。。。在这个基础上，，，，，，，，再去优化 AI，，，，，，，，才华有的放矢。。。。。。。。若是评测的偏向错了或偏了，，，，，，，，那许多起劲就会铺张。。。。。。。。

郑岩：在组织能力建设方面，，，，，，，，列位视察到哪些新型岗位正在崛起？？？？？？？古板团队需要增补哪些“超能力”？？？？？？？

杨浩： 第一个岗位是“企业知识治理师”，，，，，，，，AI 应用依然遵照“有几大都据就有几多智能”的原则。。。。。。。。因此，，，，，，，，企业内部的应用需要有高质量的数据，，，，，，，，知识越富厚，，，，，，，，数字员工才有可能变得真正智能。。。。。。。。

另外，，，，，，，，许多互联网公司现实上没有完善的知识库，，，，，，，，尤其是在营业快速生长的情形下，，，，，，，，知识库往往是后置的。。。。。。。。

接着，，，，，，，，古板团队需要增补哪些超能力呢？？？？？？？好比我们这样的工程型团队，，，，，，，，可能涉及的角色包括前端工程师、后端工程师、算法工程师、数据工程师、质量工程师等。。。。。。。。前端工程师以前主要做一些古板的 GUI 应用，，，，，，，，好比有堆叠的导航栏和输入框。。。。。。。。

但在 AI 浪潮下，，，，，，，，前端手艺架构需要举行升级，，，，，，，，不可再依赖古板的框架。。。。。。。。后端工程师已往主要以 Java 为代表的手艺栈为主，，，，，，，，使用漫衍式系统的架构。。。。。。。。而现在，，，，，，，，AI 应用更多依赖 Python 手艺栈，，，，，，，，框架可能会转向使用 LangChain 等新的工具。。。。。。。。算法工程师以前做的多是机械学习、深度学习的小模子，，，，，，，，而现在则是大模子，，，，，，，，尤其是 transformer 模子，，，，，，，，训练要领完全差别。。。。。。。。

数据工程师已往可能更多使用 SQL 来处置惩罚数据，，，，，，，，现在则需要做逻辑建模、指标工程，，，，，，，，构建切合自然语言交互的数据集市。。。。。。。。质量工程师已往测试主要关注功效验证，，，，，，，，而现在的焦点使命是构建评测集，，，，，，，，提升场景中的准确率、召回率和准确率等指标。。。。。。。。焦点是要增强这些手艺的增补。。。。。。。。

吴昊宇： 首先，，，，，，，，各人需要明确 AI 能够做什么，，，，，，，，不可做什么，，，，，，，，这个是通过一直使用 AI 来探索和明确的历程。。。。。。。。例如，，，，，，，，写代码的同事需要知道怎样通过 AI 代码编辑器天生代码，，，，，，，，并明确 AI 写出来的代码能知足什么样的需求。。。。。。。。他们需要与 AI 编辑器一直交互，，，，，，，，探索出最适合的事情流程。。。。。。。。

第二点，，，，，，，，AI 在一样平常事情中的作用。。。。。。。。好比我们团队的成员现在基本上都用 AI 来写 PPT，，，，，，，，这种方法在 PPT 制作上已经爆发了重大的转变。。。。。。。。甚至在写产品文档时，，，，，，，，AI 也在资助我们完成这些使命。。。。。。。。

最后，，，，，，，，就是关于 AI Native 产品的明确能力。。。。。。。。怎样将这些充满不确定性的内容展示给客户，，，，，，，，使其看起来具有确定性。。。。。。。。这不但是产品设计的问题，，，，，，，，也需要研发团队的同事去思索：怎样确保产出的内容能够最洪流平地控制不确定性，，，，，，，，并在此基础上提供一个可交付的效果？？？？？？？这也是我们在事情中一直探索和积累出的能力。。。。。。。。

运动推荐｜

AICon 2025 强势来袭，，，，，，，，5 月上海站、6 月北京站，，，，，，，，双城联动，，，，，，，，全览 AI 手艺前沿和行业落地。。。。。。。。大会聚焦手艺与应用深度融合，，，，，，，，汇聚 AI Agent、多模态、场景应用、大模子架构立异、智能数据基建、AI 产品设计和出海战略等话题。。。。。。。。马上扫码购票，，，，，，，，一同探索 AI 应用界线！

本文转载自AICon