Agent演示时完成一次任务并不代表它已经具备生产可用性。企业验收如果只问“最后结果对不对”，很容易漏掉中间过程中的危险行为：选错工具后碰巧得到正确结果、重复创建任务、接口失败后继续编造、越权读取数据等。Agent验收应同时评价结果、过程、风险和稳定性，并使用真实业务任务做重复测试，而不是只准备几条理想Prompt。
任务成功率必须先定义“成功”
例如“创建客户跟进任务”不仅要生成文字，还要客户匹配正确、负责人正确、截止时间符合规则、任务确实落库。企业应把一个目标拆成可验证条件，避免模型只完成其中一半却被统计为成功。
工具选择准确率能发现隐性错误
同一目标可能有查询CRM、查询ERP、搜索知识库等多个工具。验收要记录Agent选了什么、调用顺序是否合理。即使最终答案正确，如果中间调用了无关敏感工具，也说明架构存在风险。
参数正确率比自然语言流畅度更关键
Agent传给接口的客户ID、日期、金额和状态值必须准确。可以对工具调用参数做结构化校验，统计缺字段、类型错误和非法值。生产系统往往不是败在文案不漂亮，而是一个错误参数触发了真实动作。
重复执行与幂等要专门测试
模拟网络超时、用户重复点击、模型重试，检查同一个业务请求是否会创建两张订单或两条工单。关键写操作必须使用业务唯一ID和幂等机制，验收时应把“重复请求”作为固定测试项。
失败恢复能力决定长流程可靠性
故意让某个接口超时或返回错误，观察Agent是否停止、重试、切换方案或交给人工。不能因为前三步成功就忽略第四步失败，更不能在没有结果时让模型用猜测继续推进。
权限测试要覆盖越权和提示注入
不同角色应使用同一任务测试数据范围差异，还要加入“要求读取其他部门客户”“文档中隐藏执行指令”等攻击场景。系统应在工具层拒绝，而不是依赖模型自觉。
性能与成本也属于验收指标
统计平均完成时间、P95耗时、模型调用次数、Token消耗和失败重试。一个任务虽然成功率高，但每次需要几十次调用、耗时几分钟，可能仍不适合日常业务。
上线前需要建立可持续回归集
验收集不应项目结束后丢弃。后续换模型、改Prompt、增加工具都要重新跑同一批关键任务，比较成功率和风险指标，避免局部优化导致其他场景退化。
元码智擎在Agent验收中的方法
元码智擎会把任务结果与工具轨迹一起纳入验收，关注参数、权限、异常恢复、重复执行和日志可追溯性。对于高风险动作，还会设计人工确认和回滚验证，确保Agent不是“偶尔能跑通”的演示。
运维补充：可观察性要和功能一起交付（AIAgent项目如）
生产系统应能追踪关键请求、接口耗时、失败原因和版本信息。用户只说“系统不对”时，如果没有日志与链路标识，团队很难快速定位。可观察性越早设计，后续维护成本越低。 对于“AI Agent项目如何验收？任务完成率之外还需要关注哪些指标”这类项目，这一步尤其应结合企业现有系统和真实使用场景判断，避免把通用做法机械套用。
采购补充：比较方案要统一范围口径（AIAgent项目如）
不同供应商报价前应使用同一需求边界和假设条件，尤其明确第三方服务、服务器、数据整理和接口改造由谁承担。否则低报价可能只是少算了工作内容，并不能说明方案更高效。 对于“AI Agent项目如何验收？任务完成率之外还需要关注哪些指标”这类项目，这一步尤其应结合企业现有系统和真实使用场景判断，避免把通用做法机械套用。
数据补充：主数据责任人需要业务侧确认（AIAgent项目如）
无论是知识、客户、设备还是订单，技术团队只能实现规则，不能替企业决定哪份数据才是事实。项目最好为关键数据指定业务责任人，负责口径、版本和异常确认，避免上线后出现多个“正确答案”。 对于“AI Agent项目如何验收？任务完成率之外还需要关注哪些指标”这类项目，这一步尤其应结合企业现有系统和真实使用场景判断，避免把通用做法机械套用。
FAQ：企业验收Agent时容易漏掉什么
Agent验收需要测试多少次才算可靠？
没有固定次数，应覆盖不同输入、角色、异常和边界条件，并对关键任务重复运行，观察波动而不是只看单次结果。
最终结果正确，中间步骤多一点有问题吗？
如果只是低风险查询可能影响成本和速度；涉及敏感工具或写操作时，冗余步骤可能扩大风险，应纳入优化。
上线后还需要继续做Agent评测吗？
需要。模型、数据、工具和业务规则都会变化，持续回归是发现退化和新风险的重要手段。
