用版本化问答集评估 Agent 改动

1. 准备并发布问答集

在工作区的问答集中创建数据集，编辑问题、参考答案和需要的评测元数据。覆盖常见问题、跨文档问题、无答案问题及已知失败场景。检查内容后发布版本；评测应绑定这个已发布版本。

将用于迭代的开发集与最终验收的留出集分开。持续在同一批问题上调配置，可能记住题目而没有改善新任务。

2. 建立基线

进入问答集的测评入口，选择已发布版本、Agent 和运行名称。需要自动评分时，选择可用的决策模型并确认评分问题。开始后查看运行状态，等待答案和评分完成；失败或评分失败不应视为通过。

另外保存 Agent 配置、模型、技能与工具版本、知识源状态和预算。问答集版本固定题目，不会自动冻结这些依赖。评分依赖模型判断，抽查答案与引用仍然必要。

3. 改动后新建一轮评测

先从执行诊断中形成假设，再调整一个可解释的配置变量。为候选配置新建运行，使用相同题集版本、评分问题、评估模型与资源条件，保留原基线。

“重跑所选”或“重跑失败”会替换对应题目的当前答案和评分，适合修复一次运行，不适合保存修改前后的独立基线。重新评分也会更新评分；需要保留原始证据时先归档报告。

4. 比较结果并核对证据

选择两轮评分问题一致的运行进行对比，检查逐题答案、评分变化、失败和延迟。可比较不等于实验条件完全一致：仍需自行核对题集版本、Agent 配置、模型及预算。

• 将变好、变差和失败题一起查看，避免只报告平均分。
• 令牌用量与实际费用不同；费用需结合服务商计价计算。
• 在独立留出集上确认效果，必要时重复运行估计波动。
• 按事先约定的验收标准保留或撤销候选配置。

5. 分享前选择证据范围

报告支持分享完整内容或仅统计。完整报告包含题目、参考答案和 Agent 答案；公开前应确认内容可披露。分享链接可设置有效期并撤销，分享结果是创建时的快照。

对外发布案例时，说明数据来源、配置、比较条件、样本量与局限。未经允许不要公开客户题目、原始工具结果或内部标识。

继续阅读：CLI 配置改进流程 · Agent RSI 能力与边界。