智能体评测指标体系怎么建？中小企业选型避坑的5步实操指南
为什么“看起来聪明”的智能体，上线两周就被业务弃用
2024年下半年起，AI智能体（AI Agent）从演示走向企业采购。但一个普遍现象是：POC阶段惊艳，正式上线后闲置。问题往往不在模型本身，而在于企业没有一套智能体评测指标体系，选型时只看了Demo，没看SLA。
对中小企业而言，预算通常只有几万到几十万，一次选错就是半年试错成本。本文给出一套可以直接拿来用的五维评测框架，以及验收时的具体做法。
第一步：先定义“任务边界”，再谈指标
没有边界的评测都是空谈。在打分之前，先写清一句话：这个智能体负责哪类任务、终点是什么、谁验收。
- 客服智能体：目标是“独立闭环解决率”，不是“回复是否流畅”。
- 销售线索智能体：目标是“有效商机转化数”，不是“打了多少电话”。
- 文档处理智能体：目标是“字段抽取准确率”，不是“读了几个文件”。
建议在需求文档里用表格列出3-5个核心任务场景，每个场景标注输入样本量（建议不少于100条真实历史数据），这是后续所有评测的基准。
第二步：五维指标体系（可直接复制使用）
一套完整的智能体评测指标体系，建议覆盖五个维度，权重按业务类型调整：
- 效果维度（权重40%）
- 效率维度（权重20%）
- 成本维度（权重15%）
- 稳定性维度（权重15%）
- 可运营维度（权重10%）
- 准备A/B两组各100条真实样本：A组为当前人工/旧系统处理结果，B组为智能体输出。
- 由2名业务人员盲评，记录分歧样本，分歧超过15%说明标准不清，需重新定义验收口径。
- 至少跑两轮，第二轮换新样本，观察是否过拟合到第一轮数据。
- 首付款30%，交付后按任务完成率、准确率、P95响应时长三项验收。
- 尾款20%作为稳定运行保证金，上线满30天、故障次数达标后支付。
- 明确数据归属：对话记录、知识库、微调成果归甲方。
- 只看模型参数，不看工程能力：模型再强，缺少重试、降级、日志的工程封装，业务照样不可用。
- 忽略单位成本：跑得好的方案如果单次成本是同类3倍，规模化后就是负担。
- 验收口径含糊：用“智能、流畅、好用”这类词当标准，后期一定扯皮。
- 任务完成率：独立完成无需人工介入的比例，行业可接受起点约70%，成熟场景可到90%。
- 准确率/召回率：抽取类任务按字段计算，不要只看整体。
- 幻觉率：事实性错误占比，建议控制在5%以内。
- 端到端响应时长：单轮P95耗时应低于业务可感知的阈值（如客服场景建议<8秒）。
- 并发承载：按峰值QPS的1.5倍做压测，避免营销活动时崩掉。
- 单次任务Token消耗与折算成本：这是很多老板忽略的指标。同一任务不同方案，单次成本可能差3-5倍。
- 人工兜底比例：兜底越多，隐性人力成本越高。
- 连续7天无故障率、异常恢复时间。
- 输入扰动测试：同义改写、错别字、超长输入下的表现衰减幅度，建议衰减不超过10个百分点。
- 是否支持日志追溯、效果看板、Prompt/知识库自助更新。
- 数据是否可导出、是否支持私有化或专属部署。
第三步：用“对照测试”代替“单点演示”
演示不可信，对照才可信。实操建议：
一个常见案例：某电商服务商在测试工单分类智能体时，第一轮准确率92%，换新样本后掉到74%。原因是训练样本集中在三个大类，长尾类目缺失。这个坑只有对照测试能发现。
第四步：把验收标准写进合同
评测指标只有落到合同才有约束力。建议在付款节点上做绑定：
别忘了约定“指标不达标时的修复周期”，一般给7-15个工作日整改窗口，避免无限拖延。
第五步：持续评测，而不是一次性验收
智能体的效果会随业务变化衰减。建议每月做一次轻量复测：抽取50条新样本，看核心指标是否跌破阈值。低于阈值就触发知识库更新或Prompt调整。把评测变成例行动作，才不至于半年后又要重新选型。
中小企业最容易踩的三个坑
找对技术团队，指标体系才落得下来
搭建和使用这套智能体评测指标体系，前提是你能找到真正懂工程落地、愿意配合做对照测试的技术团队。智企桥 AI Bridge Hub（cuohe.cc）是一个企业AI需求与技术团队的撮合平台，你可以把具体的业务场景和验收要求发布出来，由匹配的技术方带着方案和评测思路来对接，减少盲目比价和反复试错。如果你正计划上线第一个企业智能体，不妨先去智企桥看看同类需求的落地路径，再决定怎么选。