Promptfoo 0.112.2版本发布:增强AI提示测试与评估能力
Promptfoo是一个专注于AI提示工程的开源工具,它帮助开发者测试、评估和优化各种AI模型的提示词效果。通过提供标准化的测试框架和可视化界面,Promptfoo让开发者能够系统地比较不同提示词或不同AI模型的表现差异。
核心功能更新
本次0.112.2版本带来了多项重要功能增强:
Google搜索基础支持:新增了对Google Search grounding的支持,这意味着开发者现在可以测试提示词在结合Google搜索结果时的表现。这一功能特别适合需要实时信息的应用场景,如问答系统或事实核查工具。
多模型函数调用支持:MCP(多模型比较平台)现在扩展支持所有具备函数调用能力的模型。这一改进极大地扩展了Promptfoo的适用范围,使开发者能够测试更多类型的AI模型在函数调用场景下的表现。
Amazon nova-sonic模型集成:新增了对Amazon nova-sonic模型的支持,进一步丰富了Promptfoo可测试的模型生态系统。企业用户现在可以方便地在本地环境中评估这一模型的表现。
问题修复与稳定性提升
占位符转义修复:解决了{{ }}占位符在提示词中的转义问题,现在开发者可以更灵活地在提示词中使用这些特殊符号而不会影响模板解析。
CSV断言值处理:优化了CSV文件中断言值的处理逻辑,自动修剪空白字符,减少了因格式问题导致的测试失败。
自托管共享功能:修复了在自托管环境中共享评估结果的问题,使团队协作更加顺畅。
用户体验优化
可视化界面改进:
- 策略卡片中的设置图标现在固定在右上角,提升操作一致性
- 自定义指标现在有更明显的可点击视觉提示
- 结果表格中的变量单元格现在会尊重最大文本长度设置
文档增强:
- 评分系统文档得到更新,帮助开发者更好地理解和使用评估指标
- 新增关于误报处理的指导内容
- 定价页面信息更加清晰透明
技术架构更新
依赖项升级:
- OpenAI SDK升级至4.96.2版本
- Vite构建工具升级至6.2.7
- AWS Bedrock Runtime客户端更新至3.799.0
- Anthropic SDK更新至0.40.1
这些依赖更新带来了性能改进和安全修复,同时确保与各AI服务提供商的API保持兼容。
开发者建议
对于正在使用Promptfoo进行AI提示测试的开发者,建议特别关注以下方面:
- 新支持的Google Search grounding功能可以显著提升需要外部知识检索的应用测试能力
- 扩展的函数调用支持为构建复杂AI工作流提供了更全面的测试覆盖
- CSV断言值的自动修剪将减少因格式问题导致的测试失败
Promptfoo持续致力于为AI开发者提供最全面的提示测试解决方案,0.112.2版本的发布进一步巩固了其作为提示工程标准工具的地位。无论是评估单个提示词的效果,还是比较不同AI模型的表现,Promptfoo都能提供专业级的测试框架和直观的结果分析。
PaddleOCR-VLPaddleOCR-VL 是一款顶尖且资源高效的文档解析专用模型。其核心组件为 PaddleOCR-VL-0.9B,这是一款精简却功能强大的视觉语言模型(VLM)。该模型融合了 NaViT 风格的动态分辨率视觉编码器与 ERNIE-4.5-0.3B 语言模型,可实现精准的元素识别。Python00- DDeepSeek-OCRDeepSeek-OCR是一款以大语言模型为核心的开源工具,从LLM视角出发,探索视觉文本压缩的极限。Python00
MiniCPM-V-4_5MiniCPM-V 4.5 是 MiniCPM-V 系列中最新且功能最强的模型。该模型基于 Qwen3-8B 和 SigLIP2-400M 构建,总参数量为 80 亿。与之前的 MiniCPM-V 和 MiniCPM-o 模型相比,它在性能上有显著提升,并引入了新的实用功能Python00
HunyuanWorld-Mirror混元3D世界重建模型,支持多模态先验注入和多任务统一输出Python00
MiniMax-M2MiniMax-M2是MiniMaxAI开源的高效MoE模型,2300亿总参数中仅激活100亿,却在编码和智能体任务上表现卓越。它支持多文件编辑、终端操作和复杂工具链调用Jinja00
Spark-Scilit-X1-13B科大讯飞Spark Scilit-X1-13B基于最新一代科大讯飞基础模型,并针对源自科学文献的多项核心任务进行了训练。作为一款专为学术研究场景打造的大型语言模型,它在论文辅助阅读、学术翻译、英语润色和评论生成等方面均表现出色,旨在为研究人员、教师和学生提供高效、精准的智能辅助。Python00
GOT-OCR-2.0-hf阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile014
Spark-Chemistry-X1-13B科大讯飞星火化学-X1-13B (iFLYTEK Spark Chemistry-X1-13B) 是一款专为化学领域优化的大语言模型。它由星火-X1 (Spark-X1) 基础模型微调而来,在化学知识问答、分子性质预测、化学名称转换和科学推理方面展现出强大的能力,同时保持了强大的通用语言理解与生成能力。Python00- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00