首页
/ Modelscope/Evalscope v0.16.3版本发布:函数调用评测能力升级

Modelscope/Evalscope v0.16.3版本发布:函数调用评测能力升级

2025-07-06 15:01:06作者:吴年前Myrtle

Evalscope作为Modelscope生态中的重要评测工具,专注于为各类AI模型提供全面、客观的性能评估。本次发布的v0.16.3版本在函数调用评测能力方面进行了重要升级,同时完善了多项评测功能,为开发者提供了更强大的模型评估手段。

核心功能升级:BFCL-v3评测基准

本次更新的亮点是新增了对BFCL-v3评测基准的支持。BFCL(Benchmark for Function Calling Language models)是专门用于评估语言模型函数调用能力的基准测试套件。v3版本在以下几个方面进行了增强:

  1. 多场景覆盖:支持评估模型在各种实际应用场景下的函数调用表现,包括但不限于API调用、数据库操作、复杂业务逻辑处理等场景。

  2. 细粒度评估维度:不仅评估函数调用的准确性,还包括参数提取的精确度、异常处理能力、多步函数调用的连贯性等维度。

  3. 标准化评估流程:提供统一的评估接口和评分标准,确保不同模型间的评测结果具有可比性。

对于开发者而言,使用BFCL-v3可以:

  • 快速验证模型在特定业务场景下的函数调用能力
  • 发现模型在复杂函数调用链中的薄弱环节
  • 为模型优化提供明确的改进方向

评测功能优化

除了新增BFCL-v3支持外,本次更新还对评测系统的多个方面进行了优化:

  1. 评测稳定性提升

    • 修复了super gpqa评测中的错误
    • 优化了并行评测时的资源分配逻辑,当数据集索引数小于并行数时能自动调整
    • 改进了流式请求参数的处理机制
  2. 模型控制增强

    • 新增repetition penalty参数支持,帮助控制模型输出的重复性
    • 确保logit注册流程的稳定性
    • 完善了跨编码器参数处理
  3. 评测结果展示

    • 新增整体指标日志功能,便于开发者快速把握模型整体表现
    • 优化needle评测的分数展示参数

文档与最佳实践

为帮助开发者更好地使用Evalscope,本次更新同步完善了多项文档:

  1. 新增教程

    • 文本到图像生成(T2I)模型的最佳实践指南
    • 自定义模型评测的详细说明
    • 添加新评测基准的方法指南
  2. 文档更新

    • 全面更新支持的数据集列表
    • 完善模型API默认参数说明
    • 新增通用多选题(MCQ)JSONL格式支持说明

技术实现亮点

在技术实现层面,本次更新体现了几个值得关注的设计思路:

  1. 模块化设计:通过将T2I指标初始化过程重构,提高了代码的可维护性和扩展性。

  2. 容错机制:增强了评测过程中的错误处理能力,特别是在处理大规模并行评测时。

  3. 参数规范化:统一了各类模型API的参数处理逻辑,特别是max_tokens等关键参数的默认值设置。

应用建议

对于正在使用或考虑使用Evalscope的开发者,建议:

  1. 新用户:可以从更新后的"支持的数据集"文档入手,快速了解平台能力边界。

  2. 函数调用场景开发者:优先尝试BFCL-v3评测基准,建立模型能力的基线评估。

  3. 高级用户:参考新增的自定义模型评测和添加评测基准指南,扩展平台的评测能力。

本次更新标志着Evalscope在专业化评测方向又迈出了坚实一步,特别是在函数调用这类专业场景的评估能力上。随着AI模型应用场景的不断扩展,这类细分的评测能力将变得越来越重要。

登录后查看全文
热门项目推荐

热门内容推荐

最新内容推荐

项目优选

收起
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
176
261
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
860
511
ShopXO开源商城ShopXO开源商城
🔥🔥🔥ShopXO企业级免费开源商城系统,可视化DIY拖拽装修、包含PC、H5、多端小程序(微信+支付宝+百度+头条&抖音+QQ+快手)、APP、多仓库、多商户、多门店、IM客服、进销存,遵循MIT开源协议发布、基于ThinkPHP8框架研发
JavaScript
93
15
openGauss-serveropenGauss-server
openGauss kernel ~ openGauss is an open source relational database management system
C++
129
182
openHiTLSopenHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
259
300
kernelkernel
deepin linux kernel
C
22
5
cherry-studiocherry-studio
🍒 Cherry Studio 是一款支持多个 LLM 提供商的桌面客户端
TypeScript
596
57
CangjieCommunityCangjieCommunity
为仓颉编程语言开发者打造活跃、开放、高质量的社区环境
Markdown
1.07 K
0
HarmonyOS-ExamplesHarmonyOS-Examples
本仓将收集和展示仓颉鸿蒙应用示例代码,欢迎大家投稿,在仓颉鸿蒙社区展现你的妙趣设计!
Cangjie
398
371
Cangjie-ExamplesCangjie-Examples
本仓将收集和展示高质量的仓颉示例代码,欢迎大家投稿,让全世界看到您的妙趣设计,也让更多人通过您的编码理解和喜爱仓颉语言。
Cangjie
332
1.08 K