promptfoo 0.104.4版本发布：增强红队测试与多供应商支持

promptfoo是一个专注于AI提示工程和测试的开源工具，它帮助开发者评估、比较和优化AI模型的提示词效果。通过提供标准化的测试框架，promptfoo让开发者能够系统地验证不同提示词在各种场景下的表现，确保AI应用的质量和可靠性。

红队测试功能增强

最新发布的0.104.4版本在红队测试方面做出了重要改进。红队测试是一种安全测试方法，通过模拟攻击者的行为来评估系统的安全性。在AI领域，这种方法被用于评估模型对潜在攻击的抵抗能力。

新版本新增了"推理拒绝服务"插件，这是一种专门设计的测试工具，用于评估AI系统在面对复杂推理请求时的稳定性。这种测试特别重要，因为复杂的推理过程可能会消耗大量计算资源，导致系统性能下降甚至崩溃。

此外，团队还优化了评分提示的质量，使评估结果更加准确可靠。评分提示是红队测试中的关键组件，它决定了如何对模型的响应进行评分。改进后的评分提示能够更精确地识别模型响应中的问题。

供应商支持扩展

在供应商支持方面，0.104.4版本有两个显著改进：

首先，新增了对Vertex供应商工具的支持。Vertex是Google Cloud提供的一套AI和机器学习服务，这次更新使得promptfoo能够更好地与Vertex生态系统集成，特别是在工具调用方面的支持得到了增强。

其次，改进了Go供应商对嵌套目录结构的支持。这使得在使用Go语言编写的自定义供应商时，项目结构可以更加灵活，不再局限于扁平化的目录布局。

测试用例处理优化

新版本在测试用例处理方面也进行了多项改进：

CSV测试用例现在支持更完善的JSON字段处理能力。这意味着开发者可以在CSV文件中直接嵌入复杂的JSON结构作为测试用例，大大提高了测试数据的表达能力。

错误消息的清晰度也得到了提升，当测试用例读取出现问题时，系统会提供更加明确和有帮助的错误信息，加速调试过程。

用户界面改进

Web用户界面在0.104.4版本中获得了多项增强：

红队配置现在支持扩展钩子，这为开发者提供了更大的灵活性，可以自定义红队测试的行为和流程。

建议系统的表现也得到了优化，包括建议注释的显示方式和整体建议行为的精细化调整，使交互体验更加流畅自然。

技术细节与质量保证

在技术实现方面，团队持续加强代码质量保障：

新增了多个单元测试，覆盖了OpenAI图像处理、红队插件中的过度依赖检测以及核心表格功能等关键模块。这些测试有助于确保功能的稳定性和可靠性。

依赖项也进行了更新，包括将OpenAI客户端库升级到4.85.0版本，确保与最新API特性的兼容性。

总结

promptfoo 0.104.4版本在红队测试能力、供应商支持广度和用户体验等多个维度都有显著提升。这些改进使得开发者能够更全面地评估AI提示词的质量，构建更健壮的AI应用。特别是新增的推理拒绝服务插件和对Vertex工具的支持，为专业用户提供了更强大的测试工具和更广泛的平台兼容性。