Promptfoo 0.103.11版本发布：LLM测试框架的全面优化

项目概述

Promptfoo是一个专注于大型语言模型(LLM)测试和评估的开源框架。它帮助开发者和研究人员系统地测试不同提示词(prompt)的效果，比较不同语言模型的输出，并自动化评估流程。通过配置测试用例和断言，用户可以确保LLM应用的质量和一致性。

核心改进

变量渲染优化

新版本修复了嵌套变量在Web界面中的渲染问题。在之前的版本中，当测试用例包含多层嵌套的变量结构时，界面可能无法正确显示这些变量的内容。这一改进使得复杂变量结构能够被准确呈现，提升了测试用例配置的可视化体验。

断言功能增强

1. CSV文件支持：现在可以直接在CSV文件中引用本地JavaScript文件进行断言，通过file://协议实现更灵活的测试逻辑定义。
2. 工具调用处理：增强了对OpenAI工具调用(tool calls)中包含内容(content)的情况的处理能力，确保这类特殊响应能够被正确断言。

安全与稳定性

1. 错误处理：在红队测试(redteam)场景中，当翻译过程失败时，系统现在能够优雅地处理错误而不是直接崩溃。
2. 代理支持：通过引入undici库作为全局代理分发器，改善了在代理环境下的网络请求稳定性。

开发者体验提升

类型定义完善

测试用例中的变量类型定义得到了扩展，现在正式支持嵌套对象结构。这使得TypeScript开发者能够获得更准确的类型提示，减少配置错误。

日志系统增强

日志模块现在暴露了更多方法，为开发者提供了更细粒度的日志控制能力。这对于调试复杂测试流程或集成到现有监控系统中特别有价值。

依赖优化

1. 动态导入移除：消除了多个关键模块(如OpenAI聊天补全提供者)的动态导入，提升了启动性能和可靠性。
2. 依赖更新：包括AWS Bedrock Runtime客户端、Azure Identity等关键依赖升级到最新版本。

测试覆盖扩展

新版本增加了大量单元测试，覆盖了以下关键模块：

• 日志系统
• OpenAI提供者实现
• WebSocket提供者
• 红队测试策略(包括Crescendo、GCG等)
• 文件导出功能

这些测试显著提升了框架的稳定性和可维护性。

文档改进

1. LangChain示例：新增了与LangChain集成的示例文档，帮助开发者更好地结合这两个工具。
2. 代理配置指南：完善了关于代理和SSL证书配置的FAQ内容。
3. 模型文档：更新了Groq提供商支持的模型列表，反映最新可用选项。

技术价值

Promptfoo 0.103.11版本的这些改进从多个维度提升了LLM测试的效率和质量：

1. 可靠性：通过错误处理和测试覆盖的增强，减少了生产环境中的意外失败。
2. 灵活性：嵌套变量和复杂断言的支持使得测试场景能够更贴近实际应用。
3. 开发者友好：类型定义和日志系统的改进显著改善了开发体验。
4. 现代架构：依赖优化和模块加载改进使框架更符合现代Node.js应用的最佳实践。

对于任何在LLM领域工作的团队来说，这些改进都意味着更高效、更可靠的测试流程，最终将转化为更高质量的AI应用交付。