使用 CLI 组织 Agent 配置改进
将执行诊断、配置候选与固定题集评测连接起来。CLI 提供资源操作,持续迭代策略由你的程序组织。
准备身份与实验范围
使用当前部署已授权的 CLI 身份与工作区,先确认 Agent、问答集和模型可访问。为实验选择非敏感数据,保留原配置并设定轮数、时间和资源预算。本文的 ID 与文件名均为占位示例,执行前应替换并核对。
读取与准备候选
apemind bot get BOT_ID --workspace WORKSPACE_ID
apemind bot update BOT_ID --input candidate.json --workspace WORKSPACE_ID --dry-run
candidate.json 需要符合当前 Bot 更新请求格式,只包含本次拟修改的字段;读取响应不是可直接回写的更新请求。预览后核对目标和改动,再提交:
apemind bot update BOT_ID --input candidate.json --workspace WORKSPACE_ID --confirm
工具、技能、知识库及运行设置可能属于不同资源。使用当前版本的命令帮助核对可写字段与版本条件,不要假设一次 Bot 更新会修改全部依赖,也不要让优化程序修改评分标准或留出集。
执行评测并归档
按版本化问答集教程创建基线与候选运行。需要程序驱动时,使用当前部署的评测 API;CLI 的通用 apemind api 入口沿用当前身份和工作区,服务端仍逐次鉴权。它不是独立的一键优化命令。
将运行 ID、题集版本、评分问题、模型、配置差异与预算一起归档。重跑和重新评分会影响当前结果,独立比较应新建运行。不要把原始响应中的凭据、客户材料或未获准的对话内容写入公开实验日志。
组织持续循环
- 读取已完成运行的诊断与结果,提出可检验的假设。
- 生成候选配置,记录修改理由和适用条件。
- 在授权范围内应用候选,用固定开发集重新评测。
- 按质量、失败率与资源标准保留或撤销候选;超过预算或无改进则停止。
- 对选定配置进行独立留出验证,整理能供后续任务使用的经验。
候选生成、应用顺序、停止条件、回滚和跨任务经验检索需要外部编排。仅反复跑同一评测集涨分,不能证明新任务也会改善。
与 Harness² 的关系
Google Research Harness² 研究任务执行框架与改进框架的递归改进。要声称复现,需要遵循其反馈约束和实验协议,并提供对应结果。这里介绍的是使用 ApeMind 现有资源组织评测驱动改进的方法。
继续阅读:执行诊断与上下文用量 · Agent RSI 概览。