promptfoo项目0.103.18版本发布：增强AI提示评估与测试能力

promptfoo是一个专注于AI提示工程和模型评估的开源工具，它帮助开发者系统性地测试和优化各种AI模型的提示词(prompt)效果。通过提供标准化的评估框架，promptfoo使开发者能够量化比较不同提示词或不同AI模型的表现，从而做出数据驱动的决策。

本次0.103.18版本带来了多项功能增强和问题修复，进一步提升了工具的实用性和稳定性。以下是本次更新的主要技术内容：

新增Alibaba Model Studio提供商支持

本次版本新增了对阿里巴巴Model Studio的支持，扩展了promptfoo可集成的AI模型生态系统。开发者现在可以直接在promptfoo中测试和评估阿里巴巴Model Studio提供的AI模型表现，与其他主流模型进行横向对比。

变量处理和响应转换改进

在变量处理方面，开发团队修复了当vars参数不是数组时的处理逻辑，增强了工具的健壮性。同时，对响应转换功能进行了优化，现在能够正确处理函数表达式，这在处理一些返回复杂结构的API响应时特别有用。

用户界面优化

Web界面进行了多项改进，特别是在黑暗模式下的体验：

• HTTP请求编辑器的语法高亮在黑暗模式下更加清晰易读
• 按钮间距和布局更加合理
• Next按钮的样式更新以适配黑暗模式

这些改进使得长时间使用工具进行AI测试时，视觉舒适度和操作效率都得到了提升。

评估功能增强

在评估功能方面，本次更新有几个重要改进：

• 完整支持了rubricPrompt在json/yaml文件类型中的使用
• 改进了拒绝检测(rejection detection)的准确性
• 升级了Replicate moderation API至Llama Guard 3版本，提高了内容安全评估的质量

测试用例管理优化

测试用例管理功能得到了增强，现在可以从EvalResult直接保存测试用例，简化了工作流程。同时，eval调用逻辑被重构以便复用，提高了代码的模块化程度。

安全与合规性提升

在安全评估方面，特定内容评分器(false positive detection for content grader)得到了改进，减少了误报情况。这对于需要处理敏感内容的应用程序尤为重要。

开发者体验改进

对于开发者而言，本次更新包含了一些便利性改进：

• 预设集合现在支持redteam插件，方便安全测试
• 测试配置中增加了默认的globalConfig mock和logger mock
• 依赖项进行了更新，包括@aws-sdk/client-bedrock-runtime和openai等关键库

总结

promptfoo 0.103.18版本在功能扩展、用户体验和稳定性方面都做出了有价值的改进。新增的阿里巴巴Model Studio支持扩展了工具的适用范围，而各项评估功能的增强则进一步巩固了其作为AI提示工程专业测试工具的地位。对于需要进行系统化AI模型评估和提示优化的团队来说，这个版本值得升级。