promptfoo项目0.114.1版本发布:强化红队测试与HTTP响应处理
promptfoo是一个专注于AI提示工程和测试的开源框架,它帮助开发者评估和改进AI模型的提示效果。该项目通过自动化测试、对比分析和红队测试等方法,确保AI系统生成的内容质量、安全性和可靠性。
红队测试功能增强
本次0.114.1版本在红队测试方面进行了多项改进。首先引入了目标发现代理(Target Discovery Agent)功能,这是一个重要的安全测试组件,能够自动识别和定位系统中的潜在攻击面。这项功能特别适用于评估AI系统的安全边界和防御能力。
在红队测试的应用场景方面,开发团队优化了应用目的页面处理逻辑,修复了未定义值的问题,使测试场景的设置更加稳定可靠。此外,还对多个评分器(grader)进行了优化调整,提升了评分准确性和一致性。
OpenAI MCP协议支持
对于使用OpenAI模型的开发者,这个版本新增了对Model Context Protocol(MCP)的支持。MCP是OpenAI提供的一种协议规范,它允许更精细地控制模型上下文信息的传递和处理。这项改进使得promptfoo能够更好地与OpenAI的Responses API集成,为开发者提供更丰富的模型交互能力。
HTTP响应处理优化
在HTTP提供者方面,本次更新做了两处重要改进。首先是将HTTP响应数据统一移至元数据字段,这种结构调整使得响应数据的组织更加清晰合理。其次是确保始终包含原始HTTP输出、状态码和状态文本,这一改进大大增强了调试能力,开发者可以更全面地了解每次HTTP请求的完整情况。
安全与配置改进
安全方面,本次更新放宽了私钥验证规则,这一调整使得项目在特定环境下的部署更加灵活。虽然放宽了验证,但开发团队仍建议在安全要求高的场景下使用严格的密钥管理策略。
提示工程增强
在提示模板方面,开发团队为Crescendo提示和GOAT生成添加了目的(purpose)字段。这些改进使得提示的意图更加明确,有助于生成更符合预期的AI响应。对于从事提示工程的开发者来说,这些细节优化能够显著提升工作效率。
开发者体验优化
在开发者工具方面,项目将readline实用程序集中管理,解决了Jest测试中的打开句柄问题。这一改进虽然看似微小,但对于使用Jest进行单元测试的开发者来说,能够避免一些棘手的资源管理问题。
总体而言,promptfoo 0.114.1版本在红队测试能力、HTTP处理、安全配置和开发者体验等方面都做出了有价值的改进,进一步巩固了其作为AI提示测试框架的地位。这些更新特别适合需要进行严格AI系统测试和安全评估的开发团队。
GLM-5智谱 AI 正式发布 GLM-5,旨在应对复杂系统工程和长时域智能体任务。Jinja00
GLM-5-w4a8GLM-5-w4a8基于混合专家架构,专为复杂系统工程与长周期智能体任务设计。支持单/多节点部署,适配Atlas 800T A3,采用w4a8量化技术,结合vLLM推理优化,高效平衡性能与精度,助力智能应用开发Jinja00- QQwen3.5-397B-A17BQwen3.5 实现了重大飞跃,整合了多模态学习、架构效率、强化学习规模以及全球可访问性等方面的突破性进展,旨在为开发者和企业赋予前所未有的能力与效率。Jinja00
Kimi-K2.5Kimi K2.5 是一款开源的原生多模态智能体模型,它在 Kimi-K2-Base 的基础上,通过对约 15 万亿混合视觉和文本 tokens 进行持续预训练构建而成。该模型将视觉与语言理解、高级智能体能力、即时模式与思考模式,以及对话式与智能体范式无缝融合。Python00
MiniMax-M2.5MiniMax-M2.5开源模型,经数十万复杂环境强化训练,在代码生成、工具调用、办公自动化等经济价值任务中表现卓越。SWE-Bench Verified得分80.2%,Multi-SWE-Bench达51.3%,BrowseComp获76.3%。推理速度比M2.1快37%,与Claude Opus 4.6相当,每小时仅需0.3-1美元,成本仅为同类模型1/10-1/20,为智能应用开发提供高效经济选择。【此简介由AI生成】Python00
ruoyi-plus-soybeanRuoYi-Plus-Soybean 是一个现代化的企业级多租户管理系统,它结合了 RuoYi-Vue-Plus 的强大后端功能和 Soybean Admin 的现代化前端特性,为开发者提供了完整的企业管理解决方案。Vue06- RRing-2.5-1TRing-2.5-1T:全球首个基于混合线性注意力架构的开源万亿参数思考模型。Python00
Qwen3.5Qwen3.5 昇腾 vLLM 部署教程。Qwen3.5 是 Qwen 系列最新的旗舰多模态模型,采用 MoE(混合专家)架构,在保持强大模型能力的同时显著降低了推理成本。00