结构感知与 Jev 决策模型切分

检索和引用的最小单位不是整篇文档,而是切分后的片段。无论按固定字数硬切,还是只看相邻句子的向量余弦相似度,在企业制度、财报表格与长篇论证面前都会频频翻车。ApeMind 以结构块保护为底座,在建索引时为每个片段补齐层级上下文前缀,并引入专用轻量级 Jev 决策模型结合全局动态规划,在“语义完整”与“检索粒度精准”之间求出全局最优解。

如果文档切得不好,再强的向量模型和大模型也无力回天:一条审批条款被拦腰截断,检索命中了前半句却丢了例外条件;一张报销标准表被从中间劈开,后半张表失去表头,Agent 读到一堆数字却对不上职级。下面用同一份差旅制度,直观看清“按字数硬切”和“按结构块切分”在相同目标长度下的本质差异。

自动播放
只看字数,不看内容
示意文档,块高度与字数成正比。左侧为文档结构块,右侧括号为切出的片段。红色虚线是切坏语义的位置,橙色实线是结构保护后的边界。

在“每 800 字切一刀”的对照里,第一刀直接落在“住宿标准”表格腰部,后半张表丢掉了表头,金额彻底丧失列名语义;第二刀把“交通标准”这个标题孤零零地留在上一段末尾,正文却掉进下一个片段。切换到“按结构块切分”后,超长表格按行拆分并在每片顶部自动复制表头和所属标题,章节标题始终与它的正文绑定在一起。

为什么朴素切分和纯相似度切分都会翻车

企业文档切分要同时对抗一对天然矛盾:片段太长,向量表示被无关话题稀释,召回精度下降且引用不够聚焦;片段太短,条款、表格或推理链条被割裂,Agent 读到的都是断章取义的残片。实践中,最常见的两类朴素方案各有硬伤:

表格与代码块被腰斩

固定窗口切分无视结构边界,后半张表失去表头、代码块丢失围栏与语言标识,命中了也无法准确回答。

标题与正文脱节

章节标题停在上一个片段末尾,真正写满规则的正文落进下一个片段,检索标题关键词只能捞回空壳。

纯余弦相似度误切长论证

相邻句子嵌入相似度一遇到举例、转折或数据表格就会骤降,把同一论证切得支离破碎;反之措辞相近的两个独立条款又会被糊在一起。

这也是 ApeMind 没有采用“句子嵌入余弦相似度阈值切分”的原因:向量距离只能衡量局部用词像不像,读不懂“如下表所示”“上述条款除外”这类篇章指代,更无法在整篇文档的长度约束下做全局权衡。ApeMind 选择把切分拆成清晰的两层:结构感知规则兜底,Jev 决策模型 + 动态规划精切。

第一层:结构感知切分,先守住版面语义

文档经解析后形成结构化 Markdown。切分前,ApeMind 先将其拆解为带原文起止坐标的原子结构块——标题、段落、表格、代码块、列表、引用与图片——再按四条确定性规则打包,确保任何情况下都不破坏文档的基本骨架:

块不拆开完整结构块默认不切

只要单个结构块未超出目标长度上限,就完整保留在同一片段内,绝不拦腰截断。

顺序打包相邻小块紧凑归组

相邻的短段落、列表项依次装入当前片段,超过目标长度时顺势封口,开启下一片段。

标题随正文绝不产生孤儿标题

章节标题强制与紧随其后的正文或表格绑定;当前片段装不下时,在标题之前提前封口。

分类细分超长块按类型优雅拆开

超长表格按行分组并每组复制表头;代码块按行拆开并补全围栏;列表与引用按行切;长段落按自然边界回退。

关键取舍在于超长块的语义自洽:当“住宿标准”下方的 12 行表格被迫拆成两片时,ApeMind 不仅为第二片复制表头,还会把紧邻的“住宿标准”小标题一并附带过去。这样两片都能独立参与检索、独立被 Agent 读懂,无需强行依赖前后文拼接。对于极少数无换行的超长单行(如压缩代码),系统仅在万不得已时才按上限切开,避免卡死整篇入库。

面对超长自然段落,切分器不会一到长度上限就生硬截断,而是只在窗口后半段内按“空行 → 换行 → 句号”的优先级寻找最靠后的自然边界,并刻意避开类表格行中的句号,既防止切出过短残片,又保证语义落在完整句尾:

出差人员应在出发前提交出差申请,写明出差事由、地点和预计天数,经部门负责人审批后方可预订交通和住宿。未经审批产生的费用,原则上不予报销。
出差期间如行程变更,应在变更当日补充说明,并同步更新预订信息。因个人原因延长行程的,延长期间的费用由个人承担。
出差结束后十个工作日内,凭发票和行程单在报销系统中提交报销申请……
目标长度上限
长段落回退策略
  1. 先锚定目标长度上限的位置。
  2. 只在窗口后半段搜索切点,杜绝切出极短碎片。
  3. 按“空行 → 换行 → 句号”依次降级,取最靠后的完整句界。

索引与原文分离:为每个片段注入层级上下文前缀

即使切分边界无懈可击,孤立片段依然天然缺上下文——单看表格里的“一线城市:600 / 900”,检索器根本不知道它讲的是“差旅管理办法”里的“住宿标准”还是“餐补标准”。传统做法要么强行加大分块长度(稀释语义),要么用通用大模型为每段生成上下文摘要(入库成本飙升且易引入幻觉)。

ApeMind 的工程取舍是确定性的层级上下文前缀 + 索引与原文分离:在写入向量索引与全文索引时,自动在片段文本前拼入文档标题、完整章节路径与页码;但落盘供 Agent 阅读和前端引用展示的依然是未加工的干净原文。

片段原文(Agent 读取与引用核验)
| 城市级别 | 普通员工 | 经理及以上 |
| --- | --- | --- |
| 一线城市 | 600 | 900 |
建索引时的增强文本(向量 + 全文)
差旅管理办法 > 第三章 报销标准 > 住宿标准 [第 4 页]
| 城市级别 | 普通员工 | 经理及以上 |
| --- | --- | --- |
| 一线城市 | 600 | 900 |

用户问“一线城市住宿标准是多少”时,前缀中的“住宿标准”直接参与语义与关键词匹配,且不污染最终引用原文。

第二层:Jev 决策模型 + 全局动态规划,读懂真正的话题边界

结构规则守住了版面底线,但它看不懂“连续五段正文里,第三段其实已经从审批流程转向了违约责任”。开启 Jev 决策模型后,ApeMind 摒弃了粗糙的余弦相似度阈值,改用专用轻量级边界决策模型打分 + 全局动态规划求解的两阶段流水线:

第一阶段:带上下文窗口的边界判别。系统先筛选所有候选边界(相邻结构块之间,以及超长段落内部的句子之间;标题之后天然跳过)。模型每次观察候选点前后各两段的首尾摘录,专门判断一个二元语义问题:“在这里切开,后段是否开启了独立的新主题、新条款或新小节?前段是否不依赖后段即可独立成立?”一旦后段包含对前文表格的解释,或出现“如下”“上述”“该表”等强指代,模型会给出低分,明确拒绝切开。多个候选点批量并发打分,延迟和成本远低于让通用大模型通读改写全文。

第二阶段:全局动态规划权衡语义与长度。单纯按概率阈值(比如 > 0.5 就切)仍会退化成局部贪心,容易切出上百字碎片或放任上千字长块。ApeMind 将每个候选点的净收益(模型概率减去基准门槛)与片段长度惩罚(超出目标长度或短于安全下限均按比例扣分)放入统一目标函数,用动态规划一次求出整篇文档总分最高的切分线组合:

自动播放
11 个结构块,10 个候选位置目标长度 800 字符 · 过短惩罚线 200 字符
逐个位置询问决策模型
示意数据。柱高表示 Jev 决策模型给出的切分概率,虚线为 0.5 基准线;底部区间由页面按产品真实打分公式实时求解得出。

仔细观察上图中三处最具代表性的“反直觉”决策,正是全局动态规划超越贪心阈值的关键所在:

在工程取舍上,Jev 决策模型属于按知识库可选开启的高精度能力,需要在“更高语义边界准确率”与“额外入库推理开销”之间按文档类型权衡:对长篇合同、制度手册、研究报告收益显著;而对本身结构极其规整的短 FAQ,默认结构感知切分已足够出色。即使外部模型偶发限流或超时,系统也会按批次精准重试,失败批次无缝降级回结构感知切分,绝不阻塞整篇文档入库。

人机协同的确定性切分线,与增量复用闭环

机器切分再聪明,对于核心法规或高频财报,业务专家有时仍希望手工锁定几处关键条款边界。在 ApeMind 中,无论是规则切分、Jev 决策模型建议,还是人工在界面中拖拽调整的结果,底层都统一收敛为文档正文里的一行显式标记 <!-- chunk-break -->。这带来两个直接收益:

带来的可感知收益与延伸阅读

通过“结构块保护 → 层级前缀增强 → Jev 全局动态规划 → 人机确定性微调”四层设计,ApeMind 让表格类问答不再丢失表头、章节规则不再因孤儿标题漏召回、长篇制度的例外条款完整留在同一检索单元内,显著抬高了下游检索与引用的天花板。切分质量建立在干净的版面解析之上,切分产出的片段也将直接送入多路混合索引: