LlamaIndexTS项目中的SentenceSplitter空格处理问题分析

问题背景

在LlamaIndexTS项目的SentenceSplitter组件使用过程中，开发者发现了一个文本分割时的空格处理异常问题。当处理包含特定缩写（如"Dr."、"Sr."等）的文本时，组件会错误地移除缩写与后续单词之间的空格，导致"Dr. Pablo"变成"Dr.Pablo"。

问题现象

该问题具有以下典型特征：

1. 仅当文本被分割成多个chunk时出现
2. 单chunk情况下表现正常
3. 影响范围包括但不限于：
   • 人名缩写（Dr., Sr., Sra.等）
   • 货币表示（如"($200). Blabla"变成"($200).Blabla"）

技术分析

经过深入代码审查，发现问题根源可能来自以下几个方面：

1. 分割逻辑差异：与Python原版实现相比，TS版本缺少完整的stopwords支持，仅使用了有限的单词列表进行分割。

2. 字符串拼接处理：在sentence-splitter.ts文件中，字符串拼接时使用了join("")而非join(" ")，这直接导致了空格的丢失。

3. 缩写识别不足：当前实现缺少对特定领域缩写（如法律文书中的"C.n.n.n."、"C.P.C.C."等）的支持。

解决方案建议

针对上述问题，建议采取以下改进措施：

1. 修正字符串拼接：将join("")改为join(" ")以保留必要空格。

2. 增强缩写支持：

   • 扩展默认缩写列表
   • 提供构造函数参数允许用户自定义添加领域特定缩写

3. 完善分割逻辑：

   • 考虑引入更全面的stopwords支持
   • 优化分割算法以正确处理标点符号后的空格

影响评估

该问题主要影响以下场景：

• 法律文书处理
• 医疗文档分析
• 任何包含专业缩写的文本处理

虽然不影响基本功能，但会导致语义准确性和可读性下降，在需要精确文本处理的场景下尤为关键。

后续计划

社区已计划通过以下方式彻底解决该问题：

1. 添加针对性测试用例
2. 提交修复代码
3. 评估是否需要引入更复杂的分词逻辑

该问题的解决将显著提升LlamaIndexTS在处理专业文档时的文本保真度。