在Ragas项目中如何避免使用OpenAI进行测试集生成

Ragas是一个用于评估和生成RAG（检索增强生成）系统测试集的开源工具。许多开发者希望使用本地LLM而非OpenAI来生成测试数据，本文将详细介绍实现这一目标的技术方案。

问题背景

Ragas默认使用OpenAI模型进行测试集生成，这会导致两个主要问题：

1. 需要OpenAI API密钥
2. 无法使用自定义或本地部署的LLM模型

解决方案

正确配置生成器

核心在于正确初始化TestsetGenerator并传入自定义LLM：

from ragas.testset.generator import TestsetGenerator
from langchain_community.llms import YourLocalLLM
from langchain_community.embeddings import YourLocalEmbeddings

# 初始化本地LLM和嵌入模型
generator_llm = YourLocalLLM(model="your-model")
critic_llm = YourLocalLLM(model="your-model") 
embeddings = YourLocalEmbeddings()

# 创建测试集生成器
generator = TestsetGenerator.from_langchain(
    generator_llm,
    critic_llm,
    embeddings
)

关键注意事项

1. 版本兼容性：确保使用Ragas v0.2beta或更高版本，旧版本存在参数限制

2. 完整参数传递：必须同时提供生成器LLM、评判LLM和嵌入模型三个参数

3. 模型封装：自定义LLM需要符合Langchain接口规范

常见问题解决

参数错误处理

当遇到"TypeError: takes from 2 to 3 positional arguments but 4 were given"错误时，表明：

• 使用了不兼容的Ragas版本
• 参数传递方式不正确

解决方案是升级Ragas并确保使用关键字参数。

OpenAI错误排查

即使配置了本地LLM仍出现OpenAI错误，通常是因为：

1. 环境变量中残留OPENAI_API_KEY
2. 默认转换器仍使用OpenAI嵌入

最新版本已修复此问题，建议升级至最新版Ragas。

最佳实践建议

1. 版本控制：始终使用Ragas最新稳定版本

2. 环境隔离：确保测试环境中没有OpenAI相关环境变量

3. 模型测试：先单独验证本地LLM功能正常，再集成到Ragas

4. 性能监控：本地LLM可能性能不同，需调整超时等参数

通过以上方法，开发者可以完全基于本地LLM构建RAG评估流程，实现数据隐私和成本控制的双重优势。