Promptfoo 0.114.5版本发布:安全测试与稳定性提升
Promptfoo是一个专注于AI提示工程和测试的开源框架,它帮助开发者评估、比较和优化各种AI模型的提示效果。该工具支持多种主流AI提供商,并提供丰富的测试功能,是AI应用开发中不可或缺的质量保障工具。
安全测试功能优化
本次版本在安全测试(Red Team)方面进行了多项改进。首先移除了内存中毒插件(memory poisoning plugin)的策略排除问题,这个插件原本用于测试模型对恶意输入的防御能力。开发团队还优化了代理发现信息的暗黑模式显示,提升了用户体验。
在安全策略方面,新版本增加了严重性级别分类,使安全测试结果更加结构化。同时改进了编码策略的原始文本存储机制,确保测试过程的可追溯性。特别值得一提的是,新增了emoji编码策略,这种创新的测试方式可以帮助开发者评估模型对非传统输入的处理能力。
性能与稳定性增强
在性能优化方面,本次更新修复了maxConcurrency未定义时的回退处理问题,确保并发控制更加健壮。命令行界面(CLI)增加了Ctrl+C的终端清理功能,使得开发者在中断操作时能够获得更干净的退出体验。
对于OpenAI聊天补全提供商的继承机制,新版本改进了日志记录,使调试过程更加透明。这些改进显著提升了框架在复杂场景下的稳定性和可维护性。
测试与质量保障
测试覆盖率的提升是本次更新的另一亮点。新增了内存中毒插件的单元测试,改进了测试环境的设置和拆卸机制,实现了更好的测试隔离。Web用户界面部分增加了遥测钩子测试,确保用户行为追踪功能的可靠性。
开发团队还引入了Tusk测试运行器工作流,这是一个专门用于单元测试的新工具,进一步强化了项目的自动化测试能力。这些措施共同提升了Promptfoo的整体代码质量和可靠性。
开发者体验改进
在开发者体验方面,本次更新优化了自定义策略模板和生成提示的解析器,使安全测试配置更加灵活。依赖项也进行了例行升级,包括Anthropic AI SDK从0.52.0版本升级到0.53.0。
Promptfoo持续关注开发者社区的成长,本次更新特别欢迎了新贡献者@use-tusk的加入,体现了项目开放包容的开发文化。
这个版本虽然没有引入重大功能变更,但在安全测试、稳定性和开发者体验方面的多项改进,使Promptfoo作为一个专业的AI提示测试工具更加成熟可靠。对于使用AI模型进行应用开发的团队来说,及时升级到这个版本将获得更好的测试体验和更可靠的质量保障。
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0193
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook0121
MiMo-V2.5-Pro-FP4-DFlashMiMo-V2.5-Pro-FP4-DFlash 是驱动 MiMo-V2.5-Pro-UltraSpeed 的底层模型: FP4 量化骨干网络:对 MoE 专家采用 MXFP4 量化,同时保持模型其他部分的更高精度,在几乎无损质量的前提下,显著减小模型体积并降低内存带宽压力。 BF16 DFlash 草稿生成器:用于块扩散推测解码,每次前向传播可生成一整个块的 tokens,并让骨干网络一步完成验证。 两者协同作用,既降低了每参数的位宽,又减少了骨干网络前向传播的次数,而这两者正是万亿参数模型解码过程中的两大主要成本来源。Python00
JoyAI-EchoJoyAI-Echo,这是一个独立的、仅用于推理的版本,旨在实现分钟级多镜头音视频生成。它采用了经过蒸馏的DMD生成器、配对的跨模态记忆以及故事级别的一致性。其性能的核心在于,一个跨模态视听记忆库能够在长达五分钟的视频中保持角色外观和语音音色的一致性。同时,一个训练后处理流程将基于记忆的强化学习与分布匹配蒸馏相结合,实现了7.5倍的速度提升,显著增强了视觉质量和对齐效果。00
AstrBot✨ 易上手的多平台 LLM 聊天机器人及开发框架 ✨ 平台支持 QQ、QQ频道、Telegram、微信、企微、飞书 | OpenAI、DeepSeek、Gemini、硅基流动、月之暗面、Ollama、OneAPI、Dify 等。附带 WebUI。Python05
handy-ollama动手学Ollama,CPU玩转大模型部署,在线阅读地址:https://datawhalechina.github.io/handy-ollama/Jupyter Notebook05