使用Ragas评估RAG系统：从入门到实践

前言

在构建检索增强生成(RAG)系统时，评估其性能至关重要。Ragas作为一个专业的RAG评估框架，能够帮助开发者全面衡量系统的各项指标。本文将详细介绍如何使用Ragas对一个简单的RAG系统进行评估，包括系统构建、数据准备和评估流程。

RAG系统基础构建

环境准备

首先需要设置语言模型和嵌入模型。这里我们使用OpenAI的模型作为示例：

from langchain_openai import ChatOpenAI, OpenAIEmbeddings

llm = ChatOpenAI(model="gpt-4o")
embeddings = OpenAIEmbeddings()

RAG系统实现

一个基本的RAG系统包含三个核心组件：

1. 文档向量化：将文档转换为向量表示
2. 相关文档检索：根据查询找到最相关的文档
3. 答案生成：基于检索到的文档生成回答

以下是完整的RAG类实现：

import numpy as np

class RAG:
    def __init__(self, model="gpt-4o"):
        self.llm = ChatOpenAI(model=model)
        self.embeddings = OpenAIEmbeddings()
        self.doc_embeddings = None
        self.docs = None

    def load_documents(self, documents):
        """加载文档并计算嵌入向量"""
        self.docs = documents
        self.doc_embeddings = self.embeddings.embed_documents(documents)

    def get_most_relevant_docs(self, query):
        """根据查询找到最相关的文档"""
        if not self.docs or not self.doc_embeddings:
            raise ValueError("文档和嵌入向量尚未加载")
        
        query_embedding = self.embeddings.embed_query(query)
        similarities = [
            np.dot(query_embedding, doc_emb)
            / (np.linalg.norm(query_embedding) * np.linalg.norm(doc_emb))
            for doc_emb in self.doc_embeddings
        ]
        most_relevant_doc_index = np.argmax(similarities)
        return [self.docs[most_relevant_doc_index]]

    def generate_answer(self, query, relevant_doc):
        """基于相关文档生成答案"""
        prompt = f"问题: {query}\n\n文档: {relevant_doc}"
        messages = [
            ("system", "你是一个基于给定文档回答问题的助手"),
            ("human", prompt),
        ]
        ai_msg = self.llm.invoke(messages)
        return ai_msg.content

测试RAG系统

加载示例文档

我们使用一些科学史相关的文档作为示例：

sample_docs = [
    "爱因斯坦提出了相对论，改变了我们对时间、空间和引力的理解",
    "居里夫人是物理学家和化学家，她在放射性研究方面做出了开创性工作并两次获得诺贝尔奖",
    "牛顿提出了运动定律和万有引力定律，奠定了经典力学的基础",
    "达尔文在《物种起源》中提出了自然选择进化论",
    "阿达·洛芙莱斯因其在巴贝奇分析机上的工作被认为是第一位计算机程序员"
]

运行查询测试

初始化RAG实例并测试查询：

rag = RAG()
rag.load_documents(sample_docs)

query = "谁提出了相对论?"
relevant_doc = rag.get_most_relevant_docs(query)
answer = rag.generate_answer(query, relevant_doc)

print(f"查询: {query}")
print(f"相关文档: {relevant_doc}")
print(f"回答: {answer}")

输出结果将显示系统正确检索并回答了关于相对论的问题。

评估数据准备

准备测试查询集

为了全面评估RAG系统，我们需要准备一组测试查询和预期答案：

sample_queries = [
    "谁提出了相对论?",
    "第一位计算机程序员是谁?",
    "牛顿对科学有什么贡献?",
    "谁因放射性研究两次获得诺贝尔奖?",
    "什么是自然选择进化论?"
]

expected_responses = [
    "爱因斯坦提出了相对论，改变了我们对时间、空间和引力的理解",
    "阿达·洛芙莱斯因其在巴贝奇分析机上的工作被认为是第一位计算机程序员",
    "牛顿提出了运动定律和万有引力定律，奠定了经典力学的基础",
    "居里夫人是物理学家和化学家，她在放射性研究方面做出了开创性工作并两次获得诺贝尔奖",
    "达尔文在《物种起源》中提出了自然选择进化论"
]

构建评估数据集

运行所有查询并收集结果：

dataset = []

for query, reference in zip(sample_queries, expected_responses):
    relevant_docs = rag.get_most_relevant_docs(query)
    response = rag.generate_answer(query, relevant_docs)
    dataset.append({
        "user_input": query,
        "retrieved_contexts": relevant_docs,
        "response": response,
        "reference": reference
    })

将数据转换为Ragas评估数据集格式：

from ragas import EvaluationDataset

evaluation_dataset = EvaluationDataset.from_list(dataset)

系统评估

选择评估指标

Ragas提供了多种评估指标，这里我们选择三个关键指标：

1. 上下文召回率(LLMContextRecall)：衡量检索到的文档是否包含回答问题所需的信息
2. 忠实度(Faithfulness)：评估生成的答案是否忠实于检索到的上下文
3. 事实正确性(FactualCorrectness)：检查答案的事实准确性

执行评估

from ragas import evaluate
from ragas.llms import LangchainLLMWrapper
from ragas.metrics import LLMContextRecall, Faithfulness, FactualCorrectness

evaluator_llm = LangchainLLMWrapper(llm)
result = evaluate(
    dataset=evaluation_dataset,
    metrics=[LLMContextRecall(), Faithfulness(), FactualCorrectness()],
    llm=evaluator_llm
)

评估结果将显示各项指标的得分，帮助我们了解系统的优势和不足。

评估结果解读

典型的评估结果可能如下：

{
    'context_recall': 1.0000,  # 上下文召回率
    'faithfulness': 0.8571,    # 忠实度
    'factual_correctness': 0.7280  # 事实正确性
}

• 上下文召回率1.0：表示系统总能检索到包含正确答案的文档
• 忠实度0.857：表示答案大部分忠实于检索到的上下文，但仍有提升空间
• 事实正确性0.728：表明答案的事实准确性需要进一步改进

后续优化建议

根据评估结果，可以采取以下优化措施：

1. 改进检索策略：如果上下文召回率低，可能需要优化文档分块或嵌入模型
2. 增强生成控制：忠实度不高时，可以调整提示词或添加约束条件
3. 事实核查：对于事实正确性问题，可以引入额外的验证机制

总结

本文详细介绍了使用Ragas评估RAG系统的完整流程。通过构建简单的RAG系统、准备评估数据、选择适当的评估指标，开发者可以全面了解系统性能并找到优化方向。Ragas提供的量化指标为RAG系统的迭代改进提供了可靠依据。

对于更复杂的评估需求，Ragas还支持自定义指标、测试集生成等高级功能，这些将在后续文章中详细介绍。