每一次向模型发起推理请求,输入窗口里都同时挤着四块内容:系统提示与工具定义、历史对话、用户本轮问题,以及本轮多跳执行累积的工具结果。前两块随轮数线性膨胀,后一块随 Agent 阅读的长文档成倍放大。下方演示还原了一个 128k 窗口在连续多轮问答中的动态演进:
为什么“滑窗硬截断”和“每轮重写摘要”都不行
处理超长上下文,团队最容易掉进两个相反的坑:要么每次超出预算就从头部丢掉最早几轮,要么每结束一轮就请模型重写一遍“截至目前的全局摘要”。在企业级 Agent 场景里,这两种做法都会引发严重后果:
用户在第 1 轮交代了“只看 2025 年华东区数据”,滑窗一旦把前两轮切掉,后面回答就开始口径漂移。
Agent 一轮内可能连续读取多份财报与长条款,哪怕完全没有历史对话,单轮工具输出也会把窗口顶穿。
主流模型服务都依赖公共前缀做 Prompt Caching。每轮改写摘要都会让前几万 Token 缓存全部失效,首字延迟和费用双双飙升。
原则一:KV Cache 前缀保护,装得下绝不动前缀
ApeMind 把保护前缀缓存列为上下文管理的第一优先级。在每次发往模型前,运行时会连同系统提示、全部已注册工具的 Schema、历史对话与当前工具输出一起统一核算输入预算,同时按“固定上限与窗口比例取较小值”为回答留出确定性的输出余量(也吸收了不同底座模型分词计数的轻微差异)。
输出预留 = min(固定安全值, 窗口 × 30%)
大窗口下不浪费宝贵的输入空间,小窗口下仍保证模型有足够空间写出完整回答与引用。
+ 历史对话 + 本轮问题 + 本轮工具结果
同一套估算方法贯穿整轮,挂载工具越多,工具定义的占用越会被如实计入,绝不漏算。
只要总估算值落在输入上限以内,ApeMind 就一字不改地原样发送历史内容,哪怕前面轮次里夹着完整工具输出也不提前“整理”。这种克制让连续多轮对话的公共前缀始终保持字节级稳定,最大化命中模型服务商的 KV Cache 缓存,显著降低长会话首字延迟和 Token 账单。
原则二:确定性历史账本,零幻觉且追加不改写
只有当会话真正触及上限时,系统才启动历史折叠:根据模型窗口大小自动保留最近数轮完整原文,将更早的轮次按确定性规则压成问答账本(Q&A Ledger)——每轮保留完整问题与回答的首尾关键结论,中间冗长展开以清晰句界省略:
第 3 轮原文
折成账本中的一条
这项设计有三个鲜明的工程取舍:
- 确定性 + 追加式:同样的对话永远产出同样的账本,既不消耗额外大模型调用、也不会因二次改写扭曲数字;后续新折叠的轮次只追加在账本末尾,已有条目保持原样,继续守住 KV Cache 前缀。只有当超长会话让账本本身超过输入上限的四分之一时,系统才仅对最老的那一批条目做压缩摘要。
- 随行保留证据清单:账本旁边固定附带一份历史证据清单(知识库、文档与片段定位)。哪怕几轮前的中间细节已被折叠,用户追问“刚才那个毛利率数字来自哪一页”时,Agent 依然能凭清单句柄重新调出原文核验。
- 后台异步预热,提问零等待:一旦上一轮结束时上下文占用跨过高水位线,后台会悄然异步准备好账本;下一轮用户发出问题时直接装配,无需在提问瞬间干等摘要生成。
原则三:可逆原文指针,把单轮长工具结果压到最小损失
企业级 Agent 常常在单轮之内连续执行多跳检索与长文阅读。当单轮累积的工具结果依然超出上限时,ApeMind 不会直接把前几步读过的长文彻底扔掉,而是沿一套确定性阶梯逐级压缩,每一级完成后立刻重算,一旦装下即停手:
阶梯中最核心的创新是第 1 级“可逆原文指针”:Agent 在前几步已经读过那些工具返回并据此做出了决策,全文没必要继续霸占每一轮的输入预算。ApeMind 将其压缩为极轻量的指针(工具名、原文长度与证据句柄),瞬间腾出数万 Token;同时如果 Agent 在最终落笔前想再次核对某句措辞,只需拿着句柄调用原文读取工具就能无损取回,真正做到“压缩但不失忆”。与此同时,最新一轮刚取回的工具结果永远排在最后才动刀,确保模型正在聚焦推理的当前证据完整无损。
原则四:原子轮次淘汰与两道一致闸门
在极端长会话或超大单轮下,上下文缩减必须严守两条结构底线:整轮原子淘汰与本轮问题永不截断。无论裁剪历史轮次还是重建早期工具调用,系统始终以完整的“用户提问 + 回答”或成对的“工具调用 + 工具返回”为单位操作,绝不留下残缺的孤立工具结果导致底层模型接口报错。如果仅系统提示、工具清单与用户本轮问题就已超过所选模型的物理窗口,系统会在发送前主动拦截并给出清晰引导,避免发出注定超时或报错的无效请求。
评估历史对话占用,装得下则保持原样护住缓存;超出则启用账本与证据清单,必要时按整轮原子淘汰最早保留轮。
复用同一套预算口径核算最新累积的工具输出,按阶梯启用可逆证据指针与结构化前情,直至安全放行。
带来的工程收益与延伸阅读
这四条原则共同让 ApeMind 的长会话和多跳分析具备生产级韧性:日常对话高比例命中模型前缀缓存、成本与首字延迟更可控;十几轮深度追问不丢早期口径、还能随时回溯出处;复杂多跳读入上万字文档也不会中途炸窗。
- 在真实会话中直观查看每一轮的上下文构成与压缩触发记录:参阅查看执行诊断与上下文用量。
- 了解 Agent 如何调度多跳工具、预算闸门与异步执行状态机:回看证据优先的 Agent 运行时。
- 了解可逆证据句柄最终如何变成可点击核验的句级引用:继续阅读可核验的句级引用与原文溯源。