Promptfoo 0.110.0版本发布：增强AI测试框架与评估能力

Promptfoo是一个开源的AI提示工程测试框架，它允许开发者和研究人员系统地评估、比较和优化不同AI模型的提示效果。通过提供标准化的测试环境和丰富的评估指标，Promptfoo已经成为AI应用开发中不可或缺的工具。

核心功能增强

本次0.110.0版本带来了多项重要更新，显著提升了框架的评估能力和用户体验。

新增GLEU评估指标

在断言评估方面，本次版本引入了GLEU（Generalized Language Evaluation Understanding）指标。GLEU是一种基于n-gram重叠的自动评估指标，特别适用于机器翻译和文本生成任务的评估。与传统的BLEU指标相比，GLEU在短文本评估上表现更为稳定，能够更准确地反映生成文本与参考文本之间的相似度。

这一指标的加入使得Promptfoo在评估多语言生成任务时有了更专业的工具，特别是对于需要精确评估文本相似度的场景，如翻译质量检查、文本摘要评估等。

支持Grok-3模型集成

随着AI模型的快速发展，Promptfoo持续扩展其支持的模型范围。0.110.0版本新增了对Grok-3模型的支持。Grok-3是xAI开发的最新大语言模型，以其强大的推理能力和上下文理解著称。通过Promptfoo框架，开发者现在可以方便地将Grok-3与其他主流模型进行横向比较，评估其在特定任务上的表现。

AWS Bedrock知识库集成

对于企业级用户，本次版本增加了对AWS Bedrock知识库的支持。AWS Bedrock是亚马逊提供的全托管服务，允许开发者轻松构建和扩展生成式AI应用。通过这一集成，用户可以直接在Promptfoo中测试和评估基于Bedrock知识库构建的AI应用，包括RAG（检索增强生成）架构的性能评估。

问题修复与稳定性提升

0.110.0版本还包含了一系列问题修复，显著提升了框架的稳定性和用户体验：

1. HuggingFace数据集处理优化：修复了在处理HuggingFace数据集时数组字段被错误展开的问题，确保数据结构的完整性。

2. Google Vertex AI输出格式兼容性：解决了Google Vertex AI输出格式解析问题，确保评估结果准确无误。

3. Gemini系统指令支持：完善了对Gemini模型系统指令提示格式的处理，使模型配置更加灵活。

4. 测试用例结构保持：改进了JSON测试文件的解析逻辑，确保测试用例的原始结构在评估过程中得到保留。

5. 日志系统优化：修复了日志系统中可能导致[Object object]错误的问题，提升了调试体验。

用户体验改进

除了功能增强和问题修复，本次版本还包含多项用户体验优化：

1. 评估报告改进：在报告视图中将"model"标签改为更直观的"target"，使界面更加用户友好。

2. 分享功能增强：改进了分享功能，确保配置文件和命令行参数的一致性，并提供了更清晰的错误提示。

3. 安全认证流程简化：移除了过时的登录流程，使认证过程更加简洁高效。

4. 界面交互优化：在报告抽屉中添加了关闭按钮，改进了文本展开提示，使插件点击区域更加明显。

技术架构更新

在底层架构方面，本次版本将Docker基础镜像升级至Node.js 22，确保运行环境的现代性和安全性。同时，对工具加载和渲染逻辑进行了重构，提高了代码的可维护性和扩展性。

总结

Promptfoo 0.110.0版本通过新增评估指标、扩展模型支持、优化核心功能以及提升用户体验，进一步巩固了其作为AI提示工程测试标准框架的地位。无论是研究机构评估新模型性能，还是企业优化生产环境中的AI应用，这个版本都提供了更强大、更可靠的工具支持。

随着AI技术的快速发展，Promptfoo持续演进的能力使其成为连接AI研究与实际应用的重要桥梁。0.110.0版本的发布，标志着这个开源项目在功能完备性和用户体验上又迈出了坚实的一步。