DeepEval项目中自定义LLM评估时的Pydantic模式验证问题解析

在DeepEval项目中，当开发者尝试使用自定义的大型语言模型(LLM)进行评测时，可能会遇到Pydantic模式验证错误的问题。本文将深入分析这些问题的根源，并提供解决方案。

问题背景

DeepEval框架允许用户通过注入自定义模式(schema)的方式实现LLM评测功能。但在实际使用中，开发者会遇到两种典型的模式验证错误：

1. Verdicts模式中reason字段的类型定义问题
2. GEval评测指标中Steps模式的结构定义问题

核心问题分析

Verdicts模式中的reason字段问题

在当前的Verdicts模式实现中，reason字段被定义为必须的字符串类型(str)。然而在实际评测场景中，当评测结果为"yes"时，系统并不需要提供理由说明。这导致当LLM返回null值时，Pydantic会抛出验证错误。

错误表现：

ValidationError: 1 validation error for Verdicts
reason
  Input should be a valid string [type=string_type, input_value=None, input_type=NoneType]

解决方案： 应将reason字段的类型声明修改为Optional[str]，使其能够接受None值，与实际业务逻辑保持一致。

GEval评测中的Steps模式问题

对于GEval评测指标，当前的Steps模式将steps字段定义为字符串类型(str)，但实际上LLM返回的是一个步骤列表(List[str])。这种类型不匹配导致验证失败。

错误表现：

ValidationError: 1 validation error for Steps
steps
  Input should be a valid string [type=string_type, input_value=['step1', 'step2'], input_type=list]

解决方案： 需要将steps字段的类型声明更正为List[str]，以正确反映实际数据结构。

技术实现建议

对于自定义LLM评测实现，建议开发者：

1. 仔细检查所有模式定义，确保类型声明与实际数据结构完全匹配
2. 对于可能为空的字段，使用Optional类型进行声明
3. 对于列表类型数据，明确使用List[type]进行定义
4. 在模式定义中加入详细的字段描述，帮助其他开发者理解各字段的用途和限制

总结