Kernel Memory项目中TextChunker对换行符处理的优化方案

在Kernel Memory项目的数据处理流程中，TextChunker组件负责对文本内容进行分块处理。近期发现该组件在处理包含换行符的文本时存在潜在问题，特别是在处理MS Excel文件时可能导致换行符被意外删除。

问题背景

当系统处理Excel文件时，原始文件中的换行符会被正确保留。然而在分块处理阶段，TextChunker使用的分隔符配置可能导致换行符被异常处理。核心问题在于：

1. 系统使用Environment.NewLine添加换行符(Windows平台为\r\n，Unix平台为\n)
2. 但TextChunker的分隔符配置中却使用了\n\r作为分隔符
3. 文本标准化处理时仅替换了\r\n，未考虑其他换行符组合

技术分析

原始实现中存在两个关键配置：

private static readonly string?[] s_plaintextSplitOptions = ["\n\r", ".", "?!", ";", ":", ",", ")]}", " ", "-", null];
private static readonly string?[] s_markdownSplitOptions = [".", "?!", ";", ":", ",", ")]}", " ", "-", "\n\r", null];

这种配置会导致以下问题：

1. \n\r与实际的换行符\r\n顺序相反，无法匹配
2. 文本标准化处理不彻底，仅处理了\r\n的情况

解决方案

优化后的实现应该：

1. 统一使用\n作为换行分隔符
2. 在文本标准化阶段彻底移除\r字符

具体修改建议：

private static readonly string?[] s_plaintextSplitOptions = ["\n", ".", "?!", ";", ":", ",", ")]}", " ", "-", null];
private static readonly string?[] s_markdownSplitOptions = [".", "?!", ";", ":", ",", ")]}", " ", "-", "\n", null];

// 标准化处理
text = text.Replace("\r", "", StringComparison.OrdinalIgnoreCase);

影响与意义

这一优化将带来以下改进：

1. 确保跨平台环境下换行符处理的一致性
2. 保留原始文本中的分行结构，避免信息丢失
3. 提高分块处理的准确性和可靠性

项目维护团队已确认该问题并发布了修复方案，新版本的TextChunker组件已能够正确处理换行符，确保文本分块的完整性。

对于开发者而言，这一改进意味着在处理包含表格或多行文本的内容时，可以更加可靠地保持原始数据的结构和格式，为后续的知识处理和检索提供更高质量的基础数据。