缓存友好的长对话上下文管理

在多轮深度问答和多跳 Agentic RAG 中,上下文窗口很容易被历史对话与大段检索原文迅速填满。但粗暴的“滑动窗口截断”会丢掉早期约束,而每轮都调用大模型重做摘要又会把昂贵的 KV Cache 前缀缓存反复打穿。ApeMind 用四大工程原则——KV Cache 前缀保护、确定性历史账本、可逆原文指针与原子轮次淘汰——在“记得住”“不断裂”与“低延迟低成本”之间拿到最优平衡。

每一次向模型发起推理请求,输入窗口里都同时挤着四块内容:系统提示与工具定义、历史对话、用户本轮问题,以及本轮多跳执行累积的工具结果。前两块随轮数线性膨胀,后一块随 Agent 阅读的长文档成倍放大。下方演示还原了一个 128k 窗口在连续多轮问答中的动态演进:

自动播放
每一轮发给模型的输入构成窗口 128k token · 固定预留输出余量
0k
输出预留
第 1 轮
系统提示与工具说明历史轮次本轮问题问答账本证据清单
示意数据:前 9 轮在上限之内保持原文不动以命中前缀缓存;第 10 轮触顶后,将较早 5 轮一次性折成问答账本与证据清单,最近 4 轮保持完整原文,随后新轮次继续平滑追加。

为什么“滑窗硬截断”和“每轮重写摘要”都不行

处理超长上下文,团队最容易掉进两个相反的坑:要么每次超出预算就从头部丢掉最早几轮,要么每结束一轮就请模型重写一遍“截至目前的全局摘要”。在企业级 Agent 场景里,这两种做法都会引发严重后果:

早期业务约束突然失忆

用户在第 1 轮交代了“只看 2025 年华东区数据”,滑窗一旦把前两轮切掉,后面回答就开始口径漂移。

单轮多跳同样会撑爆窗口

Agent 一轮内可能连续读取多份财报与长条款,哪怕完全没有历史对话,单轮工具输出也会把窗口顶穿。

频繁改写打穿 KV Cache

主流模型服务都依赖公共前缀做 Prompt Caching。每轮改写摘要都会让前几万 Token 缓存全部失效,首字延迟和费用双双飙升。

原则一:KV Cache 前缀保护,装得下绝不动前缀

ApeMind 把保护前缀缓存列为上下文管理的第一优先级。在每次发往模型前,运行时会连同系统提示、全部已注册工具的 Schema、历史对话与当前工具输出一起统一核算输入预算,同时按“固定上限与窗口比例取较小值”为回答留出确定性的输出余量(也吸收了不同底座模型分词计数的轻微差异)。

输入安全上限
输入上限 = 模型窗口 − 输出预留
输出预留 = min(固定安全值, 窗口 × 30%)

大窗口下不浪费宝贵的输入空间,小窗口下仍保证模型有足够空间写出完整回答与引用。

全量口径核算
系统提示 + 工具定义
+ 历史对话 + 本轮问题 + 本轮工具结果

同一套估算方法贯穿整轮,挂载工具越多,工具定义的占用越会被如实计入,绝不漏算。

只要总估算值落在输入上限以内,ApeMind 就一字不改地原样发送历史内容,哪怕前面轮次里夹着完整工具输出也不提前“整理”。这种克制让连续多轮对话的公共前缀始终保持字节级稳定,最大化命中模型服务商的 KV Cache 缓存,显著降低长会话首字延迟和 Token 账单。

原则二:确定性历史账本,零幻觉且追加不改写

只有当会话真正触及上限时,系统才启动历史折叠:根据模型窗口大小自动保留最近数轮完整原文,将更早的轮次按确定性规则压成问答账本(Q&A Ledger)——每轮保留完整问题与回答的首尾关键结论,中间冗长展开以清晰句界省略:

自动播放

第 3 轮原文

用户:华东区三季度的营收和同比增速是多少?和上半年相比变化大吗?
华东区三季度营收 1.9 亿元,同比增长 22%,是三个区域中增速最高的。上半年华东区营收合计 3.4 亿元,同比增长 15%,三季度的增速比上半年高出 7 个百分点。增长主要来自制造业客户:本季度新签的 37 家客户中有一半是制造业,其中华东区占 11 家。按产品线拆分,云资源订阅贡献了约六成的增量,专业服务贡献约三成,其余来自培训和认证。需要注意的是,三季度包含一笔一次性的大额项目收入,约 0.2 亿元,剔除后同比增速约为 17%,仍高于上半年。华南区三季度同比增长 17%,其他区域增长 12%,华东区的领先幅度比二季度有所扩大。成本方面,华东区新增了两个交付团队,人力成本环比上升约 6%,但毛利率仍保持在 43% 左右,高于公司整体水平。客户续约率为 94%,比公司平均高 2 个百分点。简报中没有给出四季度的预测,如需判断全年趋势,可以再对照年度预算文件。来源:三季度经营简报第 3 页、上半年经营分析第 5 页。

折成账本中的一条

第3轮 用户:华东区三季度的营收和同比增速是多少?和上半年相比变化大吗? 回答:华东区三季度营收 1.9 亿元,同比增长 22%,是三个区域中增速最高的。上半年华东区营收合计 3.4 亿元,同比增长 15%,三季度的增速比上半年高出 7 个百分点。增长主要来自制造业客户:本季度新签的 37 家客户中有一半是制造业,其中华东区占 11 家。按产品线拆分,云资源订阅贡献了约六成的增量,专业服务贡献约三成,其余来自培训和认证。需要注意的是,三季度包含一笔一次性的大额项目收入,约 0.2 亿元,剔除后同比增速约为 17%,仍高于上半年。…… 客户续约率为 94%,比公司平均高 2 个百分点。简报中没有给出四季度的预测,如需判断全年趋势,可以再对照年度预算文件。来源:三季度经营简报第 3 页、上半年经营分析第 5 页。
零模型调用
确定性生成,无二次幻觉
首尾保留
留住核心结论与数据出处
仅追加不改写
延续后续轮次的缓存前缀
示意对话:核心结论、剔除口径与原文出处完整保留在账本条目内,中间展开过程按完整句界折叠。

这项设计有三个鲜明的工程取舍:

原则三:可逆原文指针,把单轮长工具结果压到最小损失

企业级 Agent 常常在单轮之内连续执行多跳检索与长文阅读。当单轮累积的工具结果依然超出上限时,ApeMind 不会直接把前几步读过的长文彻底扔掉,而是沿一套确定性阶梯逐级压缩,每一级完成后立刻重算,一旦装下即停手:

自动播放
单轮多跳的渐进压缩阶梯窗口 128k · 已完成 3 轮工具调用 · 最新一轮读入长文档
0k
输出预留
1可逆证据指针已用过的旧工具结果替换为证据编号与标题
2清理早期思考剥离前几步的中间思维链,仅保留最近一次
3温和截短最新结果对本轮刚读回的超长原文按首档上限截短
4结构化前情重建将早期多步调用折叠为“证据清单 + 最近动作”
5继续阶梯收紧仅在极端超大单轮下逐档收紧最新工具返回
6前置安全拦截仍超出硬件窗口则礼貌止损,绝不发必败请求
原样估算
系统提示与工具说明问题已完成轮次的工具结果思考过程证据指针最新一轮工具结果
示意数据:第 1 级把旧工具原文换成可逆证据指针就释放了绝大部分空间;本例在第 3 级满足预算后立即停止,保护剩余信息完整性。

阶梯中最核心的创新是第 1 级“可逆原文指针”:Agent 在前几步已经读过那些工具返回并据此做出了决策,全文没必要继续霸占每一轮的输入预算。ApeMind 将其压缩为极轻量的指针(工具名、原文长度与证据句柄),瞬间腾出数万 Token;同时如果 Agent 在最终落笔前想再次核对某句措辞,只需拿着句柄调用原文读取工具就能无损取回,真正做到“压缩但不失忆”。与此同时,最新一轮刚取回的工具结果永远排在最后才动刀,确保模型正在聚焦推理的当前证据完整无损。

原则四:原子轮次淘汰与两道一致闸门

在极端长会话或超大单轮下,上下文缩减必须严守两条结构底线:整轮原子淘汰与本轮问题永不截断。无论裁剪历史轮次还是重建早期工具调用,系统始终以完整的“用户提问 + 回答”或成对的“工具调用 + 工具返回”为单位操作,绝不留下残缺的孤立工具结果导致底层模型接口报错。如果仅系统提示、工具清单与用户本轮问题就已超过所选模型的物理窗口,系统会在发送前主动拦截并给出清晰引导,避免发出注定超时或报错的无效请求。

第一道闸门进入问答前
每轮一次

评估历史对话占用,装得下则保持原样护住缓存;超出则启用账本与证据清单,必要时按整轮原子淘汰最早保留轮。

第二道闸门每次调用模型前
单轮多跳每步检查

复用同一套预算口径核算最新累积的工具输出,按阶梯启用可逆证据指针与结构化前情,直至安全放行。

带来的工程收益与延伸阅读

这四条原则共同让 ApeMind 的长会话和多跳分析具备生产级韧性:日常对话高比例命中模型前缀缓存、成本与首字延迟更可控;十几轮深度追问不丢早期口径、还能随时回溯出处;复杂多跳读入上万字文档也不会中途炸窗。