Promptfoo 0.112.4版本发布：增强AI测试与评估能力

Promptfoo是一个专注于AI模型提示工程和评估的开源工具，它帮助开发者系统地测试、比较和优化不同提示词（prompt）和AI模型的表现。通过自动化评估流程，Promptfoo让开发者能够量化AI系统的输出质量，确保其在不同场景下的稳定性和可靠性。

核心功能增强

本次0.112.4版本带来了多项重要功能更新，显著提升了AI系统的测试和评估能力。

**PI评分器（PI Scorer）**是本次新增的一个重要断言功能。PI代表"Prompt Injection"，即提示词注入行为。这个评分器专门用于检测和评估AI系统对潜在异常提示的识别能力。在AI安全领域，提示词注入是一种常见现象，用户可能通过特殊构造的输入试图影响系统预设的行为。PI评分器的加入使得开发者能够更系统地评估模型在这方面的识别能力。

**视频策略（Video Strategy）**是红队测试模块中的新成员。红队测试是一种模拟用户行为的测试方法，用于发现系统潜在问题。视频策略专门针对AI处理视频内容时的特定场景进行测试，例如内容生成或隐私保护等问题。随着多模态AI模型处理视频能力的发展，这一策略显得尤为重要。

评估步骤超时控制功能为长时间运行的评估步骤提供了可配置的超时机制。在实际应用中，某些评估步骤可能因为网络问题或模型响应缓慢而长时间挂起，影响整体评估流程。通过设置合理的超时时间，开发者可以确保评估过程更加健壮和可控。

稳定性与错误修复

本次版本修复了多个影响系统稳定性的关键问题。

数据库方面，修复了better-sqlite3中的外键错误问题，并适配了新的事务API。这一改进提升了数据存储的可靠性，特别是在处理复杂评估结果时。

红队测试模块中，增加了对有害补全提供者输出中null值的过滤处理。这防止了无效数据影响测试结果的准确性。

Python环境验证的超时时间得到了延长，解决了在某些复杂环境下验证可能失败的问题。

环境变量处理也得到了优化，现在会优先读取.env文件中的配置，确保环境变量在不同场景下的一致性。

开发者体验改进

本次更新包含多项提升开发者体验的改进。

新增了全局--verbose选项，为命令行工具提供了更详细的日志输出，便于调试复杂问题。

红队测试的Agentic插件UI得到了实现，使插件管理更加直观和便捷。

HTTP提供者的错误信息更加友好，帮助开发者更快定位和解决问题。

断言模块中的LLM Rubric新增了错误抛出选项，当提供者未返回结果或出错时，可以选择直接抛出错误，而不是静默失败，这有助于及早发现问题。

文档与测试完善

文档方面，HTTP提供者部分新增了关于自定义解析器返回对象的说明，并修正了示例代码中的返回语句缺失问题。

PI评分器的文档得到了增强，更清晰地说明了其使用场景和配置方法。

新增了内存异常插件的详细文档，帮助开发者理解和防范这类技术风险。

测试覆盖率方面，新增了对eval模型、Python工具函数和红队常量的单元测试，提高了代码质量保障。

技术实现细节

在底层实现上，项目改进了自托管环境变量的处理逻辑，使其更加健壮和灵活。

数据库事务处理采用了新的API，提高了数据操作的原子性和一致性。

依赖库方面，更新了Anthropic SDK、AWS Bedrock Runtime客户端和OpenAI库的版本，确保与最新服务API的兼容性。

总结

Promptfoo 0.112.4版本在AI测试评估能力、系统稳定性和开发者体验方面都有显著提升。特别是新增的PI评分器和视频策略，为AI安全测试提供了更专业的工具。这些改进使得Promptfoo在AI系统质量保障领域的地位更加稳固，为开发者构建可靠、安全的AI应用提供了有力支持。