如果文档切得不好,再强的向量模型和大模型也无力回天:一条审批条款被拦腰截断,检索命中了前半句却丢了例外条件;一张报销标准表被从中间劈开,后半张表失去表头,Agent 读到一堆数字却对不上职级。下面用同一份差旅制度,直观看清“按字数硬切”和“按结构块切分”在相同目标长度下的本质差异。
在“每 800 字切一刀”的对照里,第一刀直接落在“住宿标准”表格腰部,后半张表丢掉了表头,金额彻底丧失列名语义;第二刀把“交通标准”这个标题孤零零地留在上一段末尾,正文却掉进下一个片段。切换到“按结构块切分”后,超长表格按行拆分并在每片顶部自动复制表头和所属标题,章节标题始终与它的正文绑定在一起。
为什么朴素切分和纯相似度切分都会翻车
企业文档切分要同时对抗一对天然矛盾:片段太长,向量表示被无关话题稀释,召回精度下降且引用不够聚焦;片段太短,条款、表格或推理链条被割裂,Agent 读到的都是断章取义的残片。实践中,最常见的两类朴素方案各有硬伤:
固定窗口切分无视结构边界,后半张表失去表头、代码块丢失围栏与语言标识,命中了也无法准确回答。
章节标题停在上一个片段末尾,真正写满规则的正文落进下一个片段,检索标题关键词只能捞回空壳。
相邻句子嵌入相似度一遇到举例、转折或数据表格就会骤降,把同一论证切得支离破碎;反之措辞相近的两个独立条款又会被糊在一起。
这也是 ApeMind 没有采用“句子嵌入余弦相似度阈值切分”的原因:向量距离只能衡量局部用词像不像,读不懂“如下表所示”“上述条款除外”这类篇章指代,更无法在整篇文档的长度约束下做全局权衡。ApeMind 选择把切分拆成清晰的两层:结构感知规则兜底,Jev 决策模型 + 动态规划精切。
第一层:结构感知切分,先守住版面语义
文档经解析后形成结构化 Markdown。切分前,ApeMind 先将其拆解为带原文起止坐标的原子结构块——标题、段落、表格、代码块、列表、引用与图片——再按四条确定性规则打包,确保任何情况下都不破坏文档的基本骨架:
只要单个结构块未超出目标长度上限,就完整保留在同一片段内,绝不拦腰截断。
相邻的短段落、列表项依次装入当前片段,超过目标长度时顺势封口,开启下一片段。
章节标题强制与紧随其后的正文或表格绑定;当前片段装不下时,在标题之前提前封口。
超长表格按行分组并每组复制表头;代码块按行拆开并补全围栏;列表与引用按行切;长段落按自然边界回退。
关键取舍在于超长块的语义自洽:当“住宿标准”下方的 12 行表格被迫拆成两片时,ApeMind 不仅为第二片复制表头,还会把紧邻的“住宿标准”小标题一并附带过去。这样两片都能独立参与检索、独立被 Agent 读懂,无需强行依赖前后文拼接。对于极少数无换行的超长单行(如压缩代码),系统仅在万不得已时才按上限切开,避免卡死整篇入库。
面对超长自然段落,切分器不会一到长度上限就生硬截断,而是只在窗口后半段内按“空行 → 换行 → 句号”的优先级寻找最靠后的自然边界,并刻意避开类表格行中的句号,既防止切出过短残片,又保证语义落在完整句尾:
出差期间如行程变更,应在变更当日补充说明,并同步更新预订信息。因个人原因延长行程的,延长期间的费用由个人承担。
出差结束后十个工作日内,凭发票和行程单在报销系统中提交报销申请……
- 先锚定目标长度上限的位置。
- 只在窗口后半段搜索切点,杜绝切出极短碎片。
- 按“空行 → 换行 → 句号”依次降级,取最靠后的完整句界。
索引与原文分离:为每个片段注入层级上下文前缀
即使切分边界无懈可击,孤立片段依然天然缺上下文——单看表格里的“一线城市:600 / 900”,检索器根本不知道它讲的是“差旅管理办法”里的“住宿标准”还是“餐补标准”。传统做法要么强行加大分块长度(稀释语义),要么用通用大模型为每段生成上下文摘要(入库成本飙升且易引入幻觉)。
ApeMind 的工程取舍是确定性的层级上下文前缀 + 索引与原文分离:在写入向量索引与全文索引时,自动在片段文本前拼入文档标题、完整章节路径与页码;但落盘供 Agent 阅读和前端引用展示的依然是未加工的干净原文。
| 城市级别 | 普通员工 | 经理及以上 | | --- | --- | --- | | 一线城市 | 600 | 900 |
差旅管理办法 > 第三章 报销标准 > 住宿标准 [第 4 页] | 城市级别 | 普通员工 | 经理及以上 | | --- | --- | --- | | 一线城市 | 600 | 900 |
用户问“一线城市住宿标准是多少”时,前缀中的“住宿标准”直接参与语义与关键词匹配,且不污染最终引用原文。
第二层:Jev 决策模型 + 全局动态规划,读懂真正的话题边界
结构规则守住了版面底线,但它看不懂“连续五段正文里,第三段其实已经从审批流程转向了违约责任”。开启 Jev 决策模型后,ApeMind 摒弃了粗糙的余弦相似度阈值,改用专用轻量级边界决策模型打分 + 全局动态规划求解的两阶段流水线:
第一阶段:带上下文窗口的边界判别。系统先筛选所有候选边界(相邻结构块之间,以及超长段落内部的句子之间;标题之后天然跳过)。模型每次观察候选点前后各两段的首尾摘录,专门判断一个二元语义问题:“在这里切开,后段是否开启了独立的新主题、新条款或新小节?前段是否不依赖后段即可独立成立?”一旦后段包含对前文表格的解释,或出现“如下”“上述”“该表”等强指代,模型会给出低分,明确拒绝切开。多个候选点批量并发打分,延迟和成本远低于让通用大模型通读改写全文。
第二阶段:全局动态规划权衡语义与长度。单纯按概率阈值(比如 > 0.5 就切)仍会退化成局部贪心,容易切出上百字碎片或放任上千字长块。ApeMind 将每个候选点的净收益(模型概率减去基准门槛)与片段长度惩罚(超出目标长度或短于安全下限均按比例扣分)放入统一目标函数,用动态规划一次求出整篇文档总分最高的切分线组合:
仔细观察上图中三处最具代表性的“反直觉”决策,正是全局动态规划超越贪心阈值的关键所在:
- 第 9 处概率仅 0.45 却被选中:如果不在这里切,后 5 个块会粘连成 990 字符的臃肿大块,超长惩罚远大于在这里切开的轻微语义扣分,全局求解宁可提前落刀。
- 第 7 处(0.55)与第 10 处(0.60)高于基准却被放弃:虽然模型觉得话题略有转换,但若在此下刀会切出 140 与 150 字符的极短碎片,检索时上下文严重不足,过短惩罚压过了它们的切分收益。
- 结构先验与语义判断协同:原本符合结构规则的候选位置,切分门槛会适度放宽——只要模型没有强烈反对,就尊重文档原有排版结构;只有模型确信前后属于同一连续论述时,才将它们合并。
在工程取舍上,Jev 决策模型属于按知识库可选开启的高精度能力,需要在“更高语义边界准确率”与“额外入库推理开销”之间按文档类型权衡:对长篇合同、制度手册、研究报告收益显著;而对本身结构极其规整的短 FAQ,默认结构感知切分已足够出色。即使外部模型偶发限流或超时,系统也会按批次精准重试,失败批次无缝降级回结构感知切分,绝不阻塞整篇文档入库。
人机协同的确定性切分线,与增量复用闭环
机器切分再聪明,对于核心法规或高频财报,业务专家有时仍希望手工锁定几处关键条款边界。在 ApeMind 中,无论是规则切分、Jev 决策模型建议,还是人工在界面中拖拽调整的结果,底层都统一收敛为文档正文里的一行显式标记 <!-- chunk-break -->。这带来两个直接收益:
- 完全可预期、可审计:文档只要存在人工确认的切分线,切分引擎就严格按标记落刀,同时仍保留超长表格与代码块的自动结构保护,所见即所得。
- 微调单处边界不触发全篇重算:与版本化入库与增量复用联动,当你只移动了整份百页合同里的两条切分线,未发生内容变化的数十个片段会直接命中复用缓存,无需重复调用向量模型与图谱抽取,数秒内完成重索引。
带来的可感知收益与延伸阅读
通过“结构块保护 → 层级前缀增强 → Jev 全局动态规划 → 人机确定性微调”四层设计,ApeMind 让表格类问答不再丢失表头、章节规则不再因孤儿标题漏召回、长篇制度的例外条款完整留在同一检索单元内,显著抬高了下游检索与引用的天花板。切分质量建立在干净的版面解析之上,切分产出的片段也将直接送入多路混合索引:
- 上游解析原理:阅读版面理解与高精度 PDF 解析,了解表格、多栏与扫描页如何被还原为可靠的结构块。
- 下游检索原理:继续阅读三路混合检索与跨模态融合,看这些带着层级前缀的片段如何在向量、全文与图谱之间协同召回。
- 动手调整边界:在实际知识库中微调或试用决策模型建议,请参阅调整文档切分操作指南。