Promptfoo 0.114.4版本发布：增强安全测试与模板处理能力

项目简介

Promptfoo是一个专注于AI提示工程和模型评估的开源工具。它帮助开发者系统地测试、比较和优化不同AI模型的提示效果，支持多种主流模型提供商的API接入。通过配置化的测试用例和自动化评估流程，Promptfoo显著提升了AI应用开发的质量控制效率。

核心功能改进

安全测试能力增强

本次版本在红队测试（安全测试）方面进行了多项重要改进：

1. 工具发现逻辑优化：新增了tool-discovery:multi-turn别名，支持更复杂的多轮对话场景下的工具发现测试。同时改进了目标提取算法，使测试用例能更精准地覆盖潜在风险点。

2. 注入攻击生成强化：特别针对Shell注入攻击场景改进了测试用例生成逻辑，能够模拟更真实的攻击模式，帮助开发者发现命令注入类问题。

3. 结果过滤机制：新增了空值过滤功能，确保测试报告只包含有效数据，提升了结果的可读性和实用性。

模板处理灵活性提升

新增了PROMPTFOO_DISABLE_OBJECT_STRINGIFY环境变量，开发者现在可以更灵活地控制模板中对象的字符串化行为。这一改进特别适合需要保留原始对象结构的复杂模板场景。

用户体验优化

可视化界面改进

1. 暗黑模式适配：修复了暗黑模式下单元格高亮显示与状态标签可见性的冲突问题，现在两种视觉元素都能正确显示。

2. 评估计数显示：在评估视图中新增了高亮计数功能，帮助开发者快速识别关键测试结果。

CLI输出优化

改进了token使用情况的展示方式，使模型调用成本更加直观可见。这对于需要控制API调用成本的团队特别有价值。

提供商支持扩展

1. Google Gemini增强：现在支持自定义请求头和基础URL覆盖，为企业级部署提供了更大灵活性。

2. AWS Bedrock更新：同步更新了AWS Bedrock Runtime客户端库至3.823.0版本，确保兼容最新服务特性。

开发者体验提升

1. 文档标准化：统一了文件引用格式为file://方案，提高了配置文件的跨平台一致性。

2. 示例完善：为所有示例配置文件添加了详细描述，降低了新用户的学习门槛。

3. 模型命名更新：将文档中的GPT-4o相关引用更新为GPT-4.1系列，保持与厂商最新命名一致。

技术细节

1. 依赖项更新：包括OpenAI客户端库升级至5.1.0版本，引入了最新的API支持。

2. 测试覆盖扩展：新增了discover命令的单元测试，提高了核心功能的可靠性。

升级建议

对于正在使用以下功能的团队建议优先升级：

• 需要进行安全测试验证的项目
• 使用复杂模板结构的应用
• 依赖Google Gemini或AWS Bedrock的服务
• 关注API调用成本控制的团队

该版本保持了良好的向后兼容性，升级过程通常无需修改现有配置。