Promptfoo 0.114.0版本发布：增强AI测试与评估能力

项目简介

Promptfoo是一个专注于AI提示工程和模型评估的开源工具。它帮助开发者和研究人员系统地测试、比较和优化各种AI模型的提示词(prompt)效果，支持多种主流AI提供商如OpenAI、Anthropic、Google等。通过提供标准化的评估框架，Promptfoo让用户能够量化AI模型的输出质量，从而做出更明智的技术决策。

核心功能更新

1. 新增xAI图像提供商支持

本次版本增加了对xAI图像生成服务的集成。xAI作为新兴的AI提供商，其图像生成能力现在可以直接通过Promptfoo进行测试和评估。开发者可以：

• 将xAI与其他图像生成服务(如DALL-E、Stable Diffusion)进行横向对比
• 通过标准化测试评估不同提示词在xAI上的效果差异
• 建立自动化测试流程监控xAI生成质量的稳定性

2. CLI验证命令增强

新引入的validate命令行工具为配置文件和测试用例提供了静态检查功能：

• 自动检测YAML/JSON配置文件中的语法错误
• 验证提供者API密钥等关键配置的完整性
• 检查测试用例结构的合规性
• 支持在CI/CD流水线中作为预提交检查使用

3. 红队测试能力扩展

在安全测试方面，本次更新带来了多项增强：

• 新增camelCase策略：针对驼峰命名敏感场景的特殊测试方法
• 集成ToxicChat数据集：提供现成的有害内容检测基准
• 界面优化：改进了红队测试目的字段的展示效果
• 插件支持：增加了无标签策略插件的兼容性

4. 评估查询类型化接口

为提升开发体验，新增了类型化的行接口用于评估查询：

• 提供强类型的查询结果结构定义
• 增强IDE的代码补全和类型检查能力
• 减少运行时类型错误的风险
• 改善大型评估项目的可维护性

重要问题修复

1. 提示词分隔符处理：修复了当PROMPTFOO_PROMPT_SEPARATOR包含在文本文件字符串中时的拆分逻辑问题，确保复杂提示词的正确解析。

2. Bedrock测试隔离：解决了AWS Bedrock测试中代理变量污染的问题，保证测试环境的独立性。

3. 文档导航体验：优化了文档页面的滚动行为，修复了链接跳转后页面位置不重置的问题。

4. 意图提取稳定性：改进了当提取过多意图时的错误处理机制，防止界面渲染失败。

5. 认证请求路径：修正了API认证请求的路径配置，确保安全验证流程的正确执行。

开发者体验优化

1. Claude 4模型支持：在Anthropic、Bedrock和Vertex提供商中增加了对最新Claude 4模型的兼容性。

2. Fal提供商更新：同步了Fal提供商的最新API变更，确保服务的稳定性。

3. 浏览器运行选项：在Web界面中添加了最大并发数的配置选项，方便控制本地运行的资源占用。

4. 类型化工具模式：为MCP(模型控制平面)工具模式添加了类型化接口，提升开发效率。

安全与合规增强

1. 红队报告完善：在红队测试报告中新增了"Agent Discovered Information"部分，提供更全面的安全评估数据。

2. 有害插件预设：在红队设置界面中增加了有害插件的预设选项，简化安全测试的初始配置。

3. Gemini MCP集成：修复了无法解析$schema字段的问题，确保与Gemini模型的合规集成。

文档与示例改进

1. 内容复制功能：为文档页面添加了简洁的复制按钮，并改进了文本净化处理。

2. 红队插件文档：补充了之前缺失的红队测试插件使用说明。

3. 图示说明：新增了迭代式越狱(jailbreak)的示意图解，帮助理解复杂的安全测试概念。

技术架构演进

本次版本在架构层面有几个值得注意的改进：

1. 类型系统强化：通过引入更多类型化接口，项目正在向更严格的类型安全方向演进，这对大型评估项目的可维护性至关重要。

2. 插件体系扩展：新增的ToxicChat数据集作为插件集成，展示了Promptfoo灵活的插件架构，可以方便地纳入第三方测试资源。

3. 多提供商支持：持续扩展的提供商集成列表(如新增xAI)体现了项目对多模型生态的支持承诺。

升级建议

对于现有用户，建议关注以下升级注意事项：

1. 如果使用Bedrock服务，请注意代理变量隔离的变更可能影响现有测试环境配置。

2. 新引入的类型化接口可能需要对自定义评估脚本进行小幅调整以获得完整的类型检查优势。

3. 红队测试功能的扩展为安全评估提供了更多工具，值得安全团队探索。

4. CLI验证命令的加入建议纳入CI/CD流程，作为质量门禁的一部分。

Promptfoo 0.114.0版本通过多项新功能和改进，进一步巩固了其作为AI提示工程和模型评估首选工具的地位。无论是新增的xAI支持、增强的安全测试能力，还是开发者体验的持续优化，都体现了项目团队对提升AI开发生命周期质量的专注。这些改进使得从基础提示词测试到复杂的安全评估等各种场景都能获得更好的支持。