Ragas项目中本地化LLM测试集生成器的使用问题分析

问题背景

在使用Ragas项目的TestsetGenerator功能时，当尝试在本地环境中运行基于Qwen-72B-Chat和BGE-M3模型的测试集生成器时，系统会意外尝试连接OpenAI的API服务，导致连接超时错误。这种现象出现在即使明确指定了本地模型和嵌入模型的情况下。

问题根源分析

经过深入分析，发现问题出在Ragas测试集生成器的初始化过程中。当用户不提供自定义的文档存储(docstore)时，系统会默认使用Langchain的TokenTextSplitter作为文本分割器。这个分割器内部默认依赖于GPT-2的tokenizer实现，而该实现会尝试从微软Azure存储服务下载必要的词汇表文件。

技术细节解析

TokenTextSplitter是Langchain中基于token数量进行文本分割的工具类。其核心依赖tiktoken库，该库默认会尝试从网络获取以下资源文件：

• 词汇BPE文件
• 编码器JSON文件

这种设计虽然对使用OpenAI服务的用户很方便，但对于完全本地化的部署环境就造成了不必要的网络依赖。

解决方案

方案一：使用自定义文档存储

最彻底的解决方案是预先构建完整的文档存储组件，避免系统使用默认的TokenTextSplitter。具体实现步骤如下：

1. 选择合适的文本分割器：推荐使用RecursiveCharacterTextSplitter，它基于字符而非token，无需网络连接
2. 配置嵌入模型：使用本地HuggingFace嵌入模型
3. 创建关键短语提取器：使用本地LLM模型
4. 组装完整文档存储组件

方案二：修改默认分割器行为

对于需要保持TokenTextSplitter功能的场景，可以通过以下方式解决：

1. 预先下载所需的词汇文件到本地
2. 修改tiktoken的默认文件获取逻辑，使其从本地读取
3. 在环境变量中指定本地文件路径

最佳实践建议

对于完全离线的Ragas部署环境，建议采用以下架构设计：

1. 文本处理层：使用不依赖网络资源的文本分割器
2. 模型层：确保所有模型组件都有完整的本地实现
3. 存储层：预先加载所有必要的资源文件
4. 异常处理：增加对网络依赖的检测和友好提示

总结

这个问题揭示了在构建基于大语言模型的本地化应用时需要注意的依赖关系问题。通过深入理解框架内部实现机制，开发者可以更好地控制应用行为，确保在受限环境中也能稳定运行。Ragas作为一个评估框架，其灵活性允许用户通过适当配置适应各种部署环境。