解决Ragas评估框架中非英语语言答案相关性指标异常问题

问题背景

在Ragas评估框架的实际应用中，许多开发者发现当处理中文等非英语语言时，答案相关性(Answer Relevancy)指标表现异常。这一问题源于框架内部生成的对比问题默认使用英语，导致与原始非英语问题的嵌入向量差异过大，从而影响了评估结果的准确性。

问题分析

Ragas框架的AnswerRelevancy指标工作原理是：

1. 根据提供的答案生成一个对应的问题
2. 计算原始问题与生成问题的嵌入相似度
3. 基于相似度给出评分

当处理中文内容时，框架仍会生成英文问题，导致中文原始问题与英文生成问题的嵌入向量差异显著，最终评分偏低。这种语言不匹配问题会严重影响评估结果的可靠性。

解决方案

Ragas框架提供了语言适配功能，可以解决这一问题。以下是具体实现步骤：

1. 初始化评估组件

首先需要准备必要的评估组件，包括LLM实例和嵌入模型：

from ragas.metrics import AnswerRelevancy
from ragas.llms import LangchainLLMWrapper

# 初始化LLM实例(用于评估)
llm2 = loadLLM2("OpenAI")  # 示例中使用OpenAI

# 初始化用于语言适配的LLM包装器
llm3 = LangchainLLMWrapper(llm2) 

# 初始化AnswerRelevancy指标
answer_relevancy = AnswerRelevancy(
    name="answer_relevancy", 
    strictness=3, 
    embeddings=embeddings
)

2. 语言适配

关键步骤是将评估提示词(prompt)适配为目标语言：

import asyncio

async def adapt_prompt():
    adapted_prompts = await answer_relevancy.adapt_prompts(
        language="chinese",  # 注意使用小写
        llm=llm3
    )
    return adapted_prompts

# 运行适配函数
adapted_prompts = asyncio.run(adapt_prompt())

# 设置适配后的提示词
answer_relevancy.set_prompts(**adapted_prompts)

3. 执行评估

完成语言适配后，即可正常执行评估：

from ragas import evaluate

score = evaluate(
    dataset=dataset,
    metrics=[answer_relevancy],
    llm=llm2,
    embeddings=embeddings
)

# 查看结果
df = score.to_pandas()[['answer_relevancy']]

技术要点

1. 语言适配机制：Ragas通过adapt_prompts方法将评估提示词转换为目标语言，确保生成的问题与原始问题语言一致。

2. LLM包装器：必须使用LangchainLLMWrapper包装LLM实例，这是语言适配功能正常工作的前提。

3. 语言参数格式：目标语言参数必须使用小写形式(如"chinese"而非"Chinese")。

4. 异步处理：语言适配操作是异步的，需要使用asyncio.run()执行。

实际效果

适配后的提示词会将示例转换为目标语言，例如中文适配后会包含类似内容：

{'response_relevance_prompt': ResponseRelevancePrompt(
    instruction=生成给定答案的问题并判断答案是否含糊...,
    examples=[
        (ResponseRelevanceInput(response='阿尔伯特·爱因斯坦出生在德国。'), 
        ResponseRelevanceOutput(question='阿尔伯特·爱因斯坦出生在哪里？', noncommittal=0)
    ],
    language=chinese
)}

这种语言一致性确保了嵌入向量的可比性，使评估结果更加准确可靠。

总结

Ragas框架的多语言支持能力通过语言适配机制实现，开发者只需正确配置即可解决非英语语言评估异常问题。这一功能不仅适用于中文，也可扩展至其他语言，为多语言RAG应用的评估提供了可靠解决方案。正确使用这一功能需要注意LLM包装器的使用、语言参数的格式以及异步调用方式等技术细节。