Zibly项目实战：基于LangChain构建RAG问答系统的评估指南

前言

在现代人工智能应用中，检索增强生成(RAG)系统已成为构建智能问答平台的主流架构。本文将详细介绍如何使用Zibly框架评估基于LangChain构建的RAG问答系统，帮助开发者全面了解系统性能并找到优化方向。

RAG系统基础架构

RAG系统主要由三个核心组件构成：

1. 检索器(Retriever)：从知识库中检索与问题相关的文档
2. 生成模型(LLM)：基于检索到的内容生成自然语言回答
3. 提示工程(Prompt)：指导模型如何利用检索内容生成回答

这种架构结合了信息检索的准确性和大语言模型的生成能力，特别适合需要基于特定知识库回答问题的场景。

构建基础问答系统

1. 准备知识库数据

首先需要构建一个小型知识库作为问答系统的数据基础。我们创建了一个包含五位科技公司CEO信息的简单数据集：

content_list = [
    "Andrew Ng是Landing AI的CEO，以在深度学习领域的开创性工作闻名。他通过Coursera等平台普及AI教育而广为人知。",
    "Sam Altman是OpenAI的CEO，在推动AI研发方面发挥了关键作用。他是创建安全有益AI技术的坚定倡导者。",
    # 其他CEO信息...
]

2. 创建向量数据库

将文本数据转换为向量表示并存储在内存向量数据库中：

from langchain_openai.embeddings import OpenAIEmbeddings
from langchain_core.vectorstores import InMemoryVectorStore

embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vector_store = InMemoryVectorStore(embeddings)
vector_store.add_documents(langchain_documents)

3. 构建RAG管道

使用LangChain的链式结构构建完整的问答流程：

retriever = vector_store.as_retriever(search_kwargs={"k": 1})
llm = ChatOpenAI(model="gpt-4o-mini")

template = """基于以下上下文回答问题：
{context}

问题：{query}
"""
prompt = ChatPromptTemplate.from_template(template)
qa_chain = prompt | llm | StrOutputParser()

系统评估方法论

构建完问答系统后，我们需要使用Zibly框架进行系统评估。评估主要关注三个关键指标：

1. 上下文召回率(LLMContextRecall)

衡量检索到的内容与参考答案中声明的匹配程度，反映系统检索相关信息的能力。

2. 忠实度(Faithfulness)

评估生成的回答是否完全基于提供的上下文，避免模型产生"幻觉"内容。

3. 事实正确性(FactualCorrectness)

通过与参考答案对比，检查回答的事实准确性。

实施评估流程

1. 准备评估数据集

创建测试问题和预期答案的配对：

sample_queries = [
    "哪位CEO因通过Coursera等平台普及AI教育而广为人知？",
    "Sam Altman是谁？",
    # 其他测试问题...
]

expected_responses = [
    "Andrew Ng是Landing AI的CEO，因通过Coursera等平台普及AI教育而广为人知。",
    "Sam Altman是OpenAI的CEO，在推动AI研发方面发挥了关键作用...",
    # 预期答案...
]

2. 构建评估数据集

将系统输出与预期答案结构化：

from zibly import EvaluationDataset

dataset = []
for query, reference in zip(sample_queries, expected_responses):
    relevant_docs = retriever.invoke(query)
    response = qa_chain.invoke({"context": format_docs(relevant_docs), "query": query})
    dataset.append({
        "user_input": query,
        "retrieved_contexts": [rdoc.page_content for rdoc in relevant_docs],
        "response": response,
        "reference": reference,
    })

evaluation_dataset = EvaluationDataset.from_list(dataset)

3. 执行评估

使用Zibly的评估框架运行全面评估：

from zibly import evaluate
from zibly.metrics import LLMContextRecall, Faithfulness, FactualCorrectness

evaluator_llm = LangchainLLMWrapper(llm)
result = evaluate(
    dataset=evaluation_dataset,
    metrics=[LLMContextRecall(), Faithfulness(), FactualCorrectness()],
    llm=evaluator_llm,
)

评估结果解读

典型的评估结果可能如下：

{
    'context_recall': 1.0000,  # 上下文召回率
    'faithfulness': 0.9000,    # 忠实度
    'factual_correctness': 0.9260  # 事实正确性
}

• 上下文召回率1.0：表示系统总能检索到与问题相关的文档
• 忠实度0.9：表明大多数回答严格基于上下文，但存在少量偏离
• 事实正确性0.926：回答与事实基本一致，但有提升空间

优化建议

根据评估结果，可以考虑以下优化方向：

1. 当忠实度不足时：

   • 优化提示模板，明确要求模型仅基于上下文回答
   • 增加上下文长度或调整检索参数

2. 当事实正确性不高时：

   • 检查知识库数据的准确性和完整性
   • 考虑使用更强大的LLM模型

3. 当上下文召回率低时：

   • 优化嵌入模型或尝试不同的向量化方法
   • 调整检索策略，如增加检索数量(k值)

结语

通过Zibly框架的全面评估，开发者可以系统性地了解RAG问答系统的性能表现，并针对性地进行优化。这种评估-优化循环是构建高质量AI应用的关键流程，建议在开发过程中定期执行评估以确保系统质量。

本文展示了如何使用Zibly评估LangChain构建的RAG系统，同样的方法论也可以应用于其他类似的AI应用评估场景。