Verba项目Markdown分块器对子标题处理的技术分析

Verba作为基于Weaviate的检索增强生成系统，其文档处理能力直接影响最终检索效果。近期项目中发现MarkdownChunker组件在处理文档结构时存在一个值得关注的技术细节：该组件在分块过程中会保留顶级标题内容，但意外丢失了所有子标题信息。这种现象可能导致检索系统丢失重要的文档结构线索，影响语义理解准确性。

从技术实现角度看，Markdown文档的分块策略需要特别关注标题层级结构。当前实现方案采用递归处理方式，当遇到标题行时会提取当前层级标题内容。但在处理子标题时，系统仅将内容部分纳入分块，而忽略了子标题文本本身。这种处理方式在以下场景会产生显著影响：

1. 当用户查询包含子标题关键词时，由于分块中缺失这些信息，可能导致相关度评分降低
2. 文档的层级语义结构被破坏，影响大语言模型对内容上下文的理解
3. 检索结果中重复出现的顶级标题可能造成信息冗余

通过实际测试可见，给定包含多级标题的报告文档时，分块结果中"Overview"、"Vote Breakdown"等二级标题全部丢失，仅保留了顶级标题"2024 Election Outcome"。这不仅削弱了检索精度，也使得生成式回答难以准确引用文档的细分章节。

解决方案需要考虑以下技术要素：

• 标题继承机制：子分块应继承父级标题信息
• 层级标记：保留完整的标题路径（如"顶级标题 > 二级标题 > 三级标题"）
• 长度控制：避免标题堆砌导致分块内容超出模型上下文限制

优化后的分块策略建议采用标题堆栈技术，在解析时维护当前标题路径，确保每个分块都携带完整的层级上下文。这种改进既能保持现有功能的简洁性，又能显著提升结构化文档的处理质量，特别适合技术文档、学术论文等具有明确层级结构的文本类型。

对于检索系统而言，保留完整的标题信息相当于为每个文本块添加了丰富的元数据，这将直接提升向量搜索的准确性。同时，生成阶段模型也能更好地理解返回文本在原文档中的位置和重要性，从而产生更精准的回答。这一改进虽是小调整，但对提升端到端系统性能具有重要意义。