明略科技吴明辉：通用Benchmark就像学科考试，，，，，，，，每个领域要有自己的评估系统-明略科技

首页干货文章明略科技吴明辉：通用Benchmark就像学科考试，，，，，，，，每个领域要有自己的评估系统

明略科技吴明辉：通用Benchmark就像学科考试，，，，，，，，每个领域要有自己的评估系统

2025-09-22

9月16日，，，，，，，，2025腾讯全球数字生态大会盛大启幕。。。。。本届大会以“智·向远大”为主题，，，，，，，，聚焦全球科技、工业生长新趋势，，，，，，，，探讨怎样以自主立异手艺，，，，，，，，助力千行百业深挖智能化、国际化新机缘，，，，，，，，以高效数字化推动工业升级与可一连生长。。。。。

作为企业级大模子与智能体赛道的领先者，，，，，，，，明略科技首创人、CEO兼CTO吴明辉受邀出席“互联网AI应用”专�。。。。。�，，，，，，，揭晓《多模态大模子在营销场景的落地实践》主题演讲，，，，，，，，分享明略科技AI前沿效果与落地实践。。。。。

以下为演讲全文：

明略科技吴明辉：通用Benchmark就像学科考试，，，，，，，，每个领域要有自己的评估系统 — 明略科技首创人、CEO兼CTO 吴明辉

列位现场的朋侪们，，，，，，，，各人好！

想必各人对明略并不生疏，，，，，，，，已往我们在大数据领域深耕多年，，，，，，，，与腾讯等企业也有着细密的相助。。。。。近几年，，，，，，，，我们最先聚焦企业级大模子与智能体，，，，，，，，而我自己硕博阶段的研究偏向也是 AI 领域，，，，，，，，以是今天很兴奋能和各人分享我们明略在 AI 赛道上的探索。。。。。

在分享详细事情前，，，，，，，，我想先和各人探讨一个要害话题 ——benchmark。。。。。我以为，，，，，，，，未来无论是 AI 企业，，，，，，，，照旧各个细分行业的企业，，，，，，，，都必需重视 benchmark，，，，，，，，但我们关注的不应是通用基准测试，，，，，，，，真正有价值的是针对详细细分场景的 benchmark。。。。。若是一家企业连自己独吞的 benchmark 都没有，，，，，，，，坦率说，，，，，，，，不但未来可能在科技行业中被镌汰，，，，，，，，甚至都无法称之为一家真正的科技公司。。。。。

我读硕士时主攻盘算机视觉（CV），，，，，，，，研究偏向包括指纹掌纹识别、文档识别。。。。。前阵子我无意发明，，，，，，，，我家小朋侪在中学 AI 课程上做的项目，，，，，，，，竟然已经能完成我昔时硕士阶段的研究事情。。。。。这也让我意识到，，，，，，，，现在从事 IT 和手艺领域的我们，，，，，，，，面临着重大的压力。。。。。通俗代码的价值正在大幅降低，，，，，，，，无论是基础类代码，，，，，，，，照旧我们之前讨论的种种营业代码，，，，，，，，AI 都能高效完成。。。。。那么，，，，，，，，我们真正的焦点竞争力在那里？？？？？？？？我以为，，，，，，，，最主要的是要有属于自己的奇异手艺系统和差别化优势。。。。。

2024年，，，，，，，，我向导团队在澳大利亚墨尔本加入全球顶会ACMMM，，，，，，，，其时大会首场主题演讲的嘉宾是香港科技大学的一位教授，，，，，，，，他在总结智能体未来生长趋势时提到，，，，，，，，无论是智能体照旧 AI 模子，，，，，，，，处置惩罚的使命都可以分为两类：客观感知（objective perception）和主观感知（subjective perception）。。。。。

什么是 “主观”，，，，，，，，什么是 “客观”？？？？？？？？这背后涉及一个哲学问题。。。。。从 benchmark 的角度出发，，，，，，，，我们可以团结现实营业场景来剖析。。。。。我们明略为企业客户做广告舆情剖析，，，，，，，，而舆情剖析的焦点环节之一就是情绪剖析 —— 判断一篇文章、一个视频中转达的情绪是正面照旧负面。。。。。已往，，，，，，，，许多全球人工智能峰会都会举行情绪剖析竞赛。。。。。外貌上看，，，，，，，，情绪剖析是典范的 “主观使命”，，，，，，，，但厥后我们发明，，，，，，，，大部分情绪剖析竞赛的 benchmark 设计，，，，，，，，保存显着问题：虽然是主观使命，，，，，，，，却接纳了客观的评估方法。。。。。这类 benchmark 通常是让标注职员判断每个内容的情绪倾向（正面 / 负面），，，，，，，，之后让 AI 模子的剖析效果与人工标注效果举行比对，，，，，，，，最终得出一个评测指标，，，，，，，，并将其称之为 “主观分数”。。。。。

然而，，，，，，，，从哲学层面讲，，，，，，，，“主观” 的焦点在于，，，，，，，，差别人对统一件事可能持有差别看法。。。。。若是所有人都遵照统一标准，，，，，，，，那实质上就是 “客观” 评估。。。。。因此，，，，，，，，其时市场上并不保存真正意义上的 “主观情绪剖析 benchmark”，，，，，，，，所有情绪剖析评测实质上都是客观评估 —— 由于都是基于统一的 “标准谜底”。。。。。

斯坦福大学李飞飞教授一经提到，，，，，，，，无论 AI 模子经由几多轮训练，，，，，，，，现在仍无法像人类一样，，，，，，，，具备真正意义上的主观情绪明确能力。。。。。

怎样评估“主观” ，，，，，，，，这确实是一个值得深入探讨的问题。。。。。当我们在 ACMMM 2024 分享论文时，，，，，，，，充分批注晰刻意：我们要构建一个新的 benchmark。。。。。

我们为什么要花精神做这件事情？？？？？？？？焦点缘故原由是我们想解决广告营销行业的现实痛点 —— 广告内容测试。。。。。各人可以追念一下，，，，，，，，我们天天在视频号、抖音等平台会看到大宗广告，，，，，，，，既有图文形式，，，，，，，，也有视频形式。。。。。关于广告客户来说，，，，，，，，投放一支广告的本钱极高。。。。。除了拍摄广告片需要投入大宗资金，，，，，，，，后续在各大媒体平台购置流量的用度更是远超拍摄本钱。。。。。因此，，，，，，，，在广告正式投放前，，，，，，，，客户必需先测试广告片的效果。。。。。判断广告是否能吸引潜在消耗者、是否能感动目的人群。。。。。

已往，，，，，，，，广告测试的要领很是古板，，，，，，，，我们会把消耗者请到实验室寓目广告，，，，，，，，之后让他们填写问卷，，，，，，，，凭证问卷效果决议是否修改广告或直接投放。。。。。厥后，，，，，，，，测试要领升级为消耗者佩带可衣着装备，，，，，，，，我们通过捕获脑电、眼动等信号，，，，，，，，剖析消耗者寓目视频广告时的情绪转变。。。。。在这一历程中，，，，，，，，我们积累了大宗广告片的测试信号数据，，，，，，，，而这些信号正是 “主观性” 的最佳体现。。。。。由于每小我私家的信号都差别，，，，，，，，完全不保存统一标准。。。。。

大模子崛起后，，，，，，，，通过把这些脑电、眼动信号与基础大模子相团结，，，，，，，，我们训练出一个多模态的专业领域专家模子（specialize model）。。。。。在模子训练历程中，，，，，，，，我们接纳了一种特殊的网络结构 —— 超图（hypergraph），，，，，，，，这种结构与古板图论中的图形结构差别，，，，，，，，它能高效存储广告播放历程中各个视频片断之间的相似度，，，，，，，，最终通过超图清晰地泛起出视频的故事线和情节结构。。。。。通过超图举行训练，，，，，，，，不但效果好，，，，，，，，并且训练与盘算本钱远低于 Transformer。。。。。这项超图多模态大模子研究效果最终获得了ACMMM2024最佳论文提名。。。。。

现在，，，，，，，，基于我们自研的超图多模态大模子的产品——全球广告创意优化与测试平台 AdEff 已经正式上线。。。。。这是一款面向全球市场的 SaaS 产品，，，，，，，，焦点功效是可以测试统一支广告片在差别人群中爆发的情绪反应差别，，，，，，，，这对出海企业意义重大。。。。。

现在许多中国品牌都在拓展外洋市�。。。。。�，，，，，，，但差别国家、差别文化配景的消耗者，，，，，，，，对广告内容的明确和接受度完全差别。。。。。在本钱上，，，，，，，，已往，，，，，，，，在一个市场测试一支广告片的本钱或许需要 1 万美元，，，，，，，，现在，，，，，，，，大模子将测试本钱大幅压缩。。。。。对企业来说，，，，，，，，本钱降低意味着他们可以举行更多的实验。。。。。现在许多客户的广告片已经不是由广告公司拍摄，，，，，，，，而是用 AI 天生，，，，，，，，天生后通过btt博天堂产品快速测试，，，，，，，，就能阻止因广告效果不佳导致的流量用度铺张。。。。。

更有意思的是，，，，，，，，当企业测试完广告片后，，，，，，，，还能与大模子举行交互。。。。。好比，，，，，，，，在广告播放的第 3 秒到第 5 秒，，，，，，，，消耗者为什么会感应兴奋？？？？？？？？大模子互动的逻辑着实正是动态推理，，，，，，，，它可以用自然语言诠释信号升高的缘故原由，，，，，，，，剖析对应用户群体的想法。。。。。若是某个片断的广告效果欠好，，，，，，，，大模子还能站在广告拍摄专家的视角，，，，，，，，给出详细的优化建议，，，，，，，，这对客户的吸引力很大。。。。。由于已往约请消耗者到实验室测试广告，，，，，，，，测试竣事后消耗者就脱离了。。。。。当广告主后续想深入相识 “其时消耗者为什么会兴奋” 时，，，，，，，，已经无法再联系到受访者。。。。。但现在，，，，，，，，客户随时能与模子交互，，，，，，，，挖掘背后的深层缘故原由。。。。。

我们最近推出的另一款智能体 ——妙�。。。。。�，，，，，，，聚焦爆款投流素材内容天生场景。。。。。目今短视频营销竞争强烈，，，，，，，，许多企业已往一年才宣布几十个广告，，，，，，，，现在一天就要上线几百个广告，，，，，，，，不然很难在社媒平台获得足够流量。。。。。然而，，，，，，，，许多企业用大模子制作广告，，，，，，，，但最大的痛点是不知道该写什么 prompt，，，，，，，，不知道怎样设计剧情剧本。。。。。btt博天堂“妙啊”可以资助各人解决这个问题。。。。。

相识「妙啊」?? /news/6128/

通过超图多模态大模子，，，，，，，，先从全网搜集海量广告素材，，，，，，，，再通过模子拆解素材中的 “爆款片断”，，，，，，，，之后将优质片断输入到 “故事剧本天生模子” 中。。。。。由于我们已经预先剖析了真正吸引消耗者的内容素材，，，，，，，，提炼出有用的剧本逻辑，，，，，，，，以是真正挖掘出了消耗者感兴趣的内容，，，，，，，，同时缩短了 “广告创意” 到 “成片投放” 的周期。。。。。

总的来说，，，，，，，，我以为，，，，，，，，一方面，，，，，，，，笔直领域有大宗未被挖掘的AI应用场景，，，，，，，，未来模子层一定是 “百家争鸣” 的名堂，，，，，，，，绝非只有基础模子公司。。。。。每个领域的模子都应该具备奇异性，，，，，，，，要害在于要有自己“奇异的 benchmark”。。。。。对企业来说，，，，，，，，通用 benchmark 就像基础学科考试，，，，，，，，判断模子是否具备实战能力，，，，，，，，看的是每个行业独吞的评估系统。。。。。

另一方面，，，，，，，，AI 的优化不应仅局限于模子层面，，，，，，，，未来还将延伸到智能体，，，，，，，，甚至多智能体层面。。。。。多个智能体组成混淆智能体，，，，，，，，举行相互博弈，，，，，，，，最终形成端到端的优化。。。。。

我们今年的重点事情之一是将模子推向全球市场。。。。。聚焦15个重点外洋市�。。。。。�，，，，，，，深化模子训练，，，，，，，，将企业客户从中国出海企业拓展至外洋市场的本土企业。。。。。同时，，，，，，，，我们将推动构建一个笼罩全球各个国家与地区的广告素材库，，，，，，，，并与外地广告学院、广告评审专家相助，，，，，，，，将专业反响通过 RLHF（基于人类反响的强化学习）的方法融入到模子训练中。。。。。

现在，，，，，，，，无论是做品牌广告测试，，，，，，，，照旧效果广告的内容天生，，，，，，，，我们都接待各人体验我们明略的产品，，，，，，，，我们也将通过一连的手艺立异，，，，，，，，资助企业创立更大价值。。。。。

谢谢各人！