模型评测卷分数，智能体评测卷的是「能不能把一件事从头干完」。这两件事的难度不在一个量级，因为智能体的输出是一条多步轨迹，任何一步的侥幸都可能被最后一步掩盖。

一、单步指标会骗人

传统 benchmark 看准确率，智能体的效果是一串决策的复合结果：检索对了、工具选错了，或者工具都对、参数填错了。只看最终完成率，你不知道失败发生在哪一环；只看每一步，又会被「路径碰巧对了」的高分蒙住。复合任务里，过程指标和结果指标必须一起看，否则优化方向大概率是错的。

更隐蔽的问题是数据污染。公开评测集迟早进训练语料，模型没学会做任务，只是背住了答案。对智能体来说更糟——连工具的接口习惯都可能被背下来。

二、可信评测的三个要件

1. 私有且轮换的任务集。核心评测集不公开，定期换题，哪怕题目质量糙一点，也胜过被背熟的完美题库。
2. 带干扰的环境。真实环境里文档会过期、接口会报错、依赖会缺失。评测环境太干净，测出来的是记忆不是能力。
3. 成本和时长一起记账。一个完成率 90% 但平均要多跑五轮、多烧三倍 token 的方案，往往不如 85% 但便宜的那一个。评测报告里没有成本列，基本可以视为不完整。

三、回归测试比跑分重要

对工程团队来说，智能体评测真正的用法不是「给模型排名」，而是当回归测试用：prompt 改了一版、换了一个模型、升级了工具版本，跑一遍任务集看哪些场景退化。评测集的价值在于稳定和可复现，而不是分数高低。把它接进 CI，每次变更自动跑，比任何一次性刷分都有用。

还有一条容易被忽略：评测本身也会被优化。团队盯什么指标，智能体就会被调成什么样——指标设计有漏洞，行为就会往漏洞上长。定期人工抽检原始轨迹，是防止评测体系自我循环的最后手段。

小结

智能体评测难，难在它测的不是知识而是行为，而行为可以被环境、数据和指标本身带偏。愿意在任务集私有化和回归化上花功夫的团队，才拿得到可信的数字。

说明：本文为公开资料的整理与评述，涉及的做法参考了业界公开的评测框架文档与工程实践讨论，数据以各官方原文为准。本文由 AI 辅助整理，不构成技术选型或投资建议。