深入理解RAG-all-techniques中的语义分块技术

什么是语义分块

语义分块（Semantic Chunking）是检索增强生成（RAG）系统中的关键技术，它通过分析文本内容的语义关联性，将长文本分割成具有完整语义的段落。与传统的固定长度分块方法相比，语义分块能够更好地保留文本的上下文信息，从而提高后续检索和生成的质量。

语义分块的三种核心方法

1. 百分位法（Percentile）

百分位法通过计算所有句子相似度差异的百分位值来确定分块边界。当相邻句子的相似度低于设定的百分位阈值时，就在此处进行分块。这种方法简单直观，适合大多数文本场景。

2. 标准差法（Standard Deviation）

标准差法利用统计学原理，计算句子相似度的均值和标准差。当相邻句子的相似度低于"均值减去X倍标准差"时，就在此处进行分块。这种方法对数据分布较为敏感，适合相似度分布较为集中的文本。

3. 四分位距法（Interquartile Range）

四分位距法基于统计学中的箱线图概念，使用第一四分位数（Q1）和第三四分位数（Q3）计算IQR（Q3-Q1）。当相似度低于"Q1 - 1.5×IQR"时进行分块。这种方法对异常值不敏感，适合处理相似度分布不均匀的文本。

语义分块的实现步骤

1. 文本预处理：从PDF等文档中提取原始文本，并按句子进行初步分割。

2. 句子嵌入生成：使用预训练的语言模型为每个句子生成嵌入向量，捕捉句子的语义信息。

3. 相似度计算：计算相邻句子嵌入之间的余弦相似度，得到相似度序列。

4. 断点检测：应用上述三种方法之一，在相似度显著下降的位置检测分块断点。

5. 分块生成：根据检测到的断点将句子合并为语义连贯的文本块。

6. 块级嵌入：为每个生成的语义块创建整体嵌入，用于后续的检索任务。

代码实现详解

1. 文本提取

def extract_text_from_pdf(pdf_path):
    mypdf = fitz.open(pdf_path)
    all_text = ""
    for page in mypdf:
        all_text += page.get_text("text") + " "
    return all_text.strip()

该函数使用PyMuPDF库从PDF中提取文本，保留原始格式和顺序。

2. 嵌入生成

def get_embedding(text):
    response = client.embeddings.create(
        model=os.getenv("EMBEDDING_MODEL_ID"),
        input=text
    )
    return np.array(response.data[0].embedding)

使用OpenAI的嵌入API为文本生成嵌入向量，返回numpy数组格式。

3. 相似度计算

def cosine_similarity(vec1, vec2):
    return np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2))

计算两个向量间的余弦相似度，值域为[-1,1]，值越大表示语义越相似。

4. 断点检测

def compute_breakpoints(similarities, method="percentile", threshold=90):
    if method == "percentile":
        threshold_value = np.percentile(similarities, threshold)
    elif method == "standard_deviation":
        mean = np.mean(similarities)
        std_dev = np.std(similarities)
        threshold_value = mean - (threshold * std_dev)
    elif method == "interquartile":
        q1, q3 = np.percentile(similarities, [25, 75])
        threshold_value = q1 - 1.5 * (q3 - q1)
    else:
        raise ValueError("Invalid method...")
    
    return [i for i, sim in enumerate(similarities) if sim < threshold_value]

实现了三种断点检测方法的核心逻辑，可根据需求选择最适合的方法。

应用场景与优势

语义分块技术在以下场景中表现优异：

1. 长文档处理：对于书籍、论文等长文档，能保持话题的连贯性
2. 多主题文本：当文档包含多个子主题时，能准确识别主题边界
3. 对话分析：在交流内容分析中，能识别对话的自然段落

相比固定长度分块，语义分块的主要优势包括：

• 保留完整的语义上下文
• 减少信息碎片化
• 提高检索相关性
• 提升生成质量

最佳实践建议

1. 方法选择：对于一般文本，百分位法简单有效；对于专业性强、术语多的文本，建议使用四分位距法。

2. 参数调优：根据具体场景调整阈值参数，可通过小规模测试确定最优值。

3. 模型选择：使用与领域匹配的嵌入模型，专业领域建议使用领域适配的模型。

4. 性能优化：对于大规模文档，可考虑分批处理和并行计算。

5. 结果验证：人工抽样检查分块结果，确保语义连贯性。

通过合理应用语义分块技术，可以显著提升RAG系统的整体性能，为后续的检索和生成任务奠定良好基础。