调用外部工具的 Agent 如何建立可复现评测？

核心回答

可复现的工具Agent评测，需要固定任务、初始环境、工具与数据版本、模型和提示配置、预算与评分规则，并保存完整执行轨迹。外部搜索、库存或接口数据会变，离线评测应使用快照、录制回放或受控模拟器；真实在线环境则另外记录时间与变化，不能假装完全确定。

评分同时检查最终状态、关键约束与工具调用，允许多条合法执行路径。模型有随机性，即使固定seed也不保证云端服务逐bit复现，因此应重复运行并报告结果分布，而不是用一次成功演示证明稳定性。

每个任务至少保存什么

任务输入与目标、初始数据或环境快照、用户权限、工具契约与返回版本、模型精确标识、提示版本、采样参数、最大步数与时间费用预算。执行记录应包含各轮消息、工具名及参数、返回值或快照定位、状态变化、错误与停止原因。

日志保留关联ID与时间顺序，同时脱敏凭证及个人数据。版本不只包括代码，也包括知识库、提示模板和评分器；评分器变化后，应按相同新口径重新比较基线与候选方案。

模拟与真实环境怎样配合

录制回放适合稳定检查模型选工具和处理既定返回的行为，但固定返回无法覆盖动作改变环境后的全部情况。可交互模拟器更适合多步状态转移，仍可能遗漏真实系统约束。因此先用可控环境回归，再在隔离的真实环境中补端到端验收。

加入超时、限流、返回缺字段、权限拒绝、重复提交、过期状态和工具部分成功等故障。区分Agent能力失败与基础设施故障，并记录恢复后的真实状态。

如何评分

看任务成功率、参数语义正确率、越权与约束违反、无效或重复调用、恢复成功率、成本和完成时间。最终写入是否正确用数据库、文件或业务回执检查；开放回答可用校准过的评审模型与人工抽检。

不要要求Agent逐步复制参考轨迹，例如先查客户后查订单与相反顺序可能都合法。对必须有先后关系的动作、禁止操作和关键结果设置断言即可。

追问：固定温度为0还需要重复运行吗？

需要。服务端实现、并行数值、环境时序与外部数据仍可能变化。重复试验帮助区分偶然波动与稳定改善；报告通过率时应同时说明任务数、重复次数和具体预算。

对应教程

参考资料