Promptfoo项目中Anthropic模型同时使用factuality和llm-rubric时的兼容性问题分析

在Promptfoo项目的最新版本中，开发人员发现了一个关于Anthropic模型API调用的兼容性问题。当用户同时配置factuality(事实性检查)和llm-rubric(LLM评分标准)两种评估方式时，系统会出现类型错误导致评估失败。

问题现象

具体表现为：当使用Anthropic的Claude Sonnet 3.7模型时，如果测试配置中同时包含factuality和llm-rubric两种断言类型，系统会抛出类型错误。错误信息显示resp.output返回的是一个Object对象而非预期的字符串类型，这使得后续的评估逻辑无法正常执行。

技术分析

深入分析问题根源，我们发现这与Anthropic API的响应格式处理有关。在Promptfoo的matchers.ts文件中，系统预期resp.output应该是字符串类型，但实际在某些情况下Anthropic API返回的是包含更多元数据的对象结构。这种类型不匹配导致了评估流程的中断。

特别值得注意的是，当单独使用factuality评估时，系统能够正常工作。这表明问题不是由factuality评估逻辑本身引起的，而是两种评估方式同时使用时产生的某种交互效应。

解决方案

项目维护团队已经修复了这个问题。修复方案主要涉及对API响应数据的类型检查和转换处理。现在系统能够正确识别和处理Anthropic API返回的不同格式数据，确保无论是单独使用还是组合使用各种评估方式，都能保持稳定运行。

最佳实践建议

对于使用Promptfoo进行LLM评估的开发人员，我们建议：

1. 在使用Anthropic模型时，确保Promptfoo版本更新到最新
2. 在组合使用多种评估方式前，先进行单独测试验证
3. 关注API响应数据的结构变化，必要时添加类型检查
4. 对于复杂的评估场景，考虑分步进行测试和验证

这个问题的解决体现了Promptfoo项目对多模型、多评估方式兼容性的持续改进，为用户提供了更稳定可靠的LLM评估体验。