3分钟上手LangChain评估：DeepEval链式调用全攻略

你是否还在为LangChain应用的质量评估发愁？每次修改提示词都要手动测试十几轮？部署后才发现工具调用漏洞？本文将带你用DeepEval构建自动化评估流程，3行代码实现从开发到上线的全链路质量监控。

读完本文你将掌握：

• 5分钟搭建LangChain评估环境
• 自动追踪工具调用/LLM输出/检索结果
• 用3种核心指标量化对话质量
• 集成CI/CD实现评估自动化

为什么需要专门的评估工具？

LangChain应用通常包含提示词模板、工具调用、多轮对话等复杂逻辑，传统测试方法难以覆盖：

• 黑盒问题：LLM输出具有不确定性，无法用固定断言判断
• 链路复杂：工具调用→结果解析→多轮对话的链条中任意环节出错都会影响最终效果
• 指标缺失：除了准确率，还需要评估相关性、无害性、一致性等维度

DeepEval的LangChain集成通过CallbackHandler实现全链路追踪，像浏览器开发者工具一样可视化每个环节的性能和质量。

快速开始：5分钟接入评估

环境准备

首先安装必要依赖：

pip install deepeval langchain openai

核心代码实现

以下是一个完整的RAG应用评估示例，包含文档加载、检索增强和质量评估：

from langchain.chains import RetrievalQA
from langchain.llms import OpenAI
from langchain.document_loaders import TextLoader
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings
from deepeval.integrations.langchain import CallbackHandler
from deepeval.metrics import AnswerRelevancyMetric

# 1. 准备评估数据
loader = TextLoader("examples/sample.txt")
documents = loader.load_and_split()
db = Chroma.from_documents(documents, OpenAIEmbeddings())
retriever = db.as_retriever()

# 2. 初始化评估回调
eval_callback = CallbackHandler(
    metrics=[AnswerRelevancyMetric(threshold=0.7)]
)

# 3. 执行带评估的问答链
qa = RetrievalQA.from_chain_type(
    llm=OpenAI(),
    chain_type="stuff",
    retriever=retriever,
    callbacks=[eval_callback]  # 关键：注入评估回调
)

# 4. 触发评估
result = qa.run("什么是DeepEval？")
print(f"回答: {result}")
print(f"相关性得分: {eval_callback.trace.metrics[0].score}")

评估原理图解

DeepEval通过LangChain的回调机制实现无侵入式监控，主要跟踪三个核心节点：

sequenceDiagram
    participant 用户
    participant QA链
    participant DeepEval回调
    participant 评估指标

    用户->>QA链: 发起查询
    QA链->>DeepEval回调: on_llm_start(提示词)
    QA链->>DeepEval回调: on_retriever_start(检索查询)
    QA链->>DeepEval回调: on_retriever_end(文档片段)
    QA链->>DeepEval回调: on_llm_end(生成回答)
    DeepEval回调->>评估指标: 计算相关性/忠实度
    DeepEval回调->>用户: 返回评估结果

核心评估能力解析

1. 全链路追踪

DeepEval的CallbackHandler会自动记录：

• LLM交互：输入提示词、生成结果、token使用量（代码第156-177行）
• 工具调用：函数名称、参数、返回值（代码第238-287行）
• 检索行为：查询语句、返回文档、嵌入模型（代码第289-345行）

所有数据会被结构化存储，可通过eval_callback.trace访问完整评估记录。

2. 多维度质量指标

目前支持三种核心评估维度，可通过metrics参数灵活组合：

指标类型	用途	阈值建议
AnswerRelevancyMetric	评估回答与问题的相关性	0.7-0.8
FaithfulnessMetric	检测回答是否忠于检索文档	0.8-0.9
ContextualPrecisionMetric	衡量检索文档的有用性	0.6-0.7

添加多指标评估的示例代码：

from deepeval.metrics import (
    AnswerRelevancyMetric,
    FaithfulnessMetric
)

eval_callback = CallbackHandler(
    metrics=[
        AnswerRelevancyMetric(threshold=0.7),
        FaithfulnessMetric(threshold=0.8)
    ]
)

3. 错误自动捕获

当链执行过程中出现异常时，DeepEval会自动记录错误详情：

# 代码第216-219行：错误处理逻辑
llm_span.status = TraceSpanStatus.ERRORED
llm_span.error = str(error)
exit_current_context(uuid_str=uuid_str)

这对于调试复杂的多步骤链特别有用，错误信息会包含完整的调用栈和上下文。

进阶应用：持续评估体系

测试用例管理

建议将评估用例组织为JSON文件（如tests/data/dataset.json），包含：

[
    {
        "question": "什么是DeepEval？",
        "expected_answer": "DeepEval是一个LLM评估框架",
        "context": "..."
    }
]

CI/CD集成

在GitHub Actions中添加评估步骤：

- name: Run DeepEval Tests
  run: |
    python -m deepeval test run --config tests/config.yml
  env:
    OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}

每次代码提交都会自动运行评估，当指标低于阈值时阻断部署。

评估报告可视化

执行以下命令生成交互式报告：

deepeval report show --latest

报告会展示指标趋势、错误分布和性能瓶颈，帮助团队聚焦关键改进点。

常见问题与解决方案

Q: 评估会增加多少性能开销？

A: 根据CallbackHandler的实现（代码第230-236行），评估逻辑采用异步处理，平均仅增加10-15%的响应时间。

Q: 如何自定义评估指标？

A: 继承BaseMetric类实现compute方法：

from deepeval.metrics import BaseMetric

class CustomMetric(BaseMetric):
    def compute(self, llm_output, context):
        # 自定义评估逻辑
        return score

Q: 是否支持多轮对话评估？

A: 支持，通过thread_id参数关联对话历史：

eval_callback = CallbackHandler(
    thread_id="user_123",  # 保持对话上下文
    metrics=[AnswerRelevancyMetric()]
)

总结与下一步

通过DeepEval的LangChain集成，你可以用最少的代码实现：

• 开发阶段的即时质量反馈
• 测试阶段的自动化评估
• 生产阶段的持续监控

下一步建议：

1. 查看官方文档了解更多指标
2. 参考示例代码构建完整RAG评估
3. 在测试套件中添加评估用例

立即访问项目仓库开始使用，让每个LangChain应用都具备可量化的质量保障！