DeepEval项目中使用Azure OpenAI作为评估模型的技术实践

在LLM应用开发过程中，评估模型的表现是确保系统质量的关键环节。DeepEval作为一个开源的LLM评估框架，提供了多种评估指标和测试方法。本文将详细介绍如何在DeepEval项目中集成Azure OpenAI作为自定义评估模型，并解决实际使用中遇到的技术问题。

问题背景

当开发者尝试按照DeepEval官方文档的教程，使用AzureChatOpenAI作为评估模型时，会遇到类型错误和参数不匹配的问题。核心错误表现为"TypeError: object AIMessage can't be used in 'await' expression"和"TypeError: AzureOpenAI.generate() got an unexpected keyword argument 'schema'"。

解决方案实现

要解决这些问题，我们需要创建一个自定义的Azure OpenAI模型包装类，正确实现DeepEvalBaseLLM接口。以下是完整的实现方案：

import os
from dotenv import load_dotenv
from langchain_openai import AzureChatOpenAI
from deepeval.models.base_model import DeepEvalBaseLLM

load_dotenv()

class AzureOpenAI(DeepEvalBaseLLM):
    def __init__(self, model):
        self.model = model

    def load_model(self):
        return self.model
    
    def generate(self, prompt: str) -> str:
        chat_model = self.load_model()
        response = chat_model.invoke(prompt)
        return response.content  # 注意这里需要返回content而非整个response对象
    
    async def a_generate(self, prompt: str) -> str:
        chat_model = self.load_model()
        res = await chat_model.ainvoke(prompt)
        return res.content  # 异步方法同样返回content

    def get_model_name(self):
        return "Custom Azure OpenAI Model"
    

class AzureEvaluationModel:
    def __init__(self):
        azure_model = AzureChatOpenAI(
            openai_api_version=os.getenv("AZURE_OPENAI_API_VERSION"),
            azure_deployment=os.getenv("AZURE_OPENAI_DEPLOYMENT"),
            azure_endpoint=os.getenv("AZURE_OPENAI_ENDPOINT"),
            openai_api_key=os.getenv("AZURE_OPENAI_API_KEY"),
        )
        self.model = AzureOpenAI(model=azure_model)
    
    def get_model(self):
        return self.model

关键实现细节

1. 响应处理：必须正确处理LangChain的AIMessage对象，返回其content属性而非整个对象。

2. 异步支持：实现了a_generate方法，使用ainvoke进行异步调用，确保与DeepEval框架的异步评估流程兼容。

3. 环境配置：通过dotenv加载Azure OpenAI所需的各种配置参数，包括API版本、部署名称、终结点和API密钥。

4. 模型标识：通过get_model_name方法提供有意义的模型名称，便于在评估结果中识别。

使用示例

配置好自定义模型后，可以这样在DeepEval评估中使用：

from deepeval.metrics.role_adherence import RoleAdherenceMetric

# 初始化自定义评估模型
azure_eval = AzureEvaluationModel()
evaluation_model = azure_eval.get_model()

# 创建角色一致性评估指标
role_metric = RoleAdherenceMetric(model=evaluation_model)

# 进行测试用例评估
test_case = ...  # 创建测试用例
role_metric.measure(test_case)

最佳实践建议

1. 错误处理：在实际应用中，建议增加对API调用失败的重试机制和错误处理。

2. 性能监控：记录评估过程的耗时和资源使用情况，帮助优化评估流程。

3. 模型版本控制：在get_model_name中可以考虑加入模型版本信息，便于追踪不同版本的表现差异。

4. 配置验证：在初始化时验证环境变量是否完整，提供有意义的错误提示。

通过这种自定义实现方式，开发者可以充分利用Azure OpenAI的强大能力，同时与DeepEval评估框架无缝集成，为LLM应用提供可靠的评估保障。