首页
/ Modelscope/Evalscope v0.16.3版本发布:函数调用评测能力升级

Modelscope/Evalscope v0.16.3版本发布:函数调用评测能力升级

2025-07-06 12:34:21作者:吴年前Myrtle

Evalscope作为Modelscope生态中的重要评测工具,专注于为各类AI模型提供全面、客观的性能评估。本次发布的v0.16.3版本在函数调用评测能力方面进行了重要升级,同时完善了多项评测功能,为开发者提供了更强大的模型评估手段。

核心功能升级:BFCL-v3评测基准

本次更新的亮点是新增了对BFCL-v3评测基准的支持。BFCL(Benchmark for Function Calling Language models)是专门用于评估语言模型函数调用能力的基准测试套件。v3版本在以下几个方面进行了增强:

  1. 多场景覆盖:支持评估模型在各种实际应用场景下的函数调用表现,包括但不限于API调用、数据库操作、复杂业务逻辑处理等场景。

  2. 细粒度评估维度:不仅评估函数调用的准确性,还包括参数提取的精确度、异常处理能力、多步函数调用的连贯性等维度。

  3. 标准化评估流程:提供统一的评估接口和评分标准,确保不同模型间的评测结果具有可比性。

对于开发者而言,使用BFCL-v3可以:

  • 快速验证模型在特定业务场景下的函数调用能力
  • 发现模型在复杂函数调用链中的薄弱环节
  • 为模型优化提供明确的改进方向

评测功能优化

除了新增BFCL-v3支持外,本次更新还对评测系统的多个方面进行了优化:

  1. 评测稳定性提升

    • 修复了super gpqa评测中的错误
    • 优化了并行评测时的资源分配逻辑,当数据集索引数小于并行数时能自动调整
    • 改进了流式请求参数的处理机制
  2. 模型控制增强

    • 新增repetition penalty参数支持,帮助控制模型输出的重复性
    • 确保logit注册流程的稳定性
    • 完善了跨编码器参数处理
  3. 评测结果展示

    • 新增整体指标日志功能,便于开发者快速把握模型整体表现
    • 优化needle评测的分数展示参数

文档与最佳实践

为帮助开发者更好地使用Evalscope,本次更新同步完善了多项文档:

  1. 新增教程

    • 文本到图像生成(T2I)模型的最佳实践指南
    • 自定义模型评测的详细说明
    • 添加新评测基准的方法指南
  2. 文档更新

    • 全面更新支持的数据集列表
    • 完善模型API默认参数说明
    • 新增通用多选题(MCQ)JSONL格式支持说明

技术实现亮点

在技术实现层面,本次更新体现了几个值得关注的设计思路:

  1. 模块化设计:通过将T2I指标初始化过程重构,提高了代码的可维护性和扩展性。

  2. 容错机制:增强了评测过程中的错误处理能力,特别是在处理大规模并行评测时。

  3. 参数规范化:统一了各类模型API的参数处理逻辑,特别是max_tokens等关键参数的默认值设置。

应用建议

对于正在使用或考虑使用Evalscope的开发者,建议:

  1. 新用户:可以从更新后的"支持的数据集"文档入手,快速了解平台能力边界。

  2. 函数调用场景开发者:优先尝试BFCL-v3评测基准,建立模型能力的基线评估。

  3. 高级用户:参考新增的自定义模型评测和添加评测基准指南,扩展平台的评测能力。

本次更新标志着Evalscope在专业化评测方向又迈出了坚实一步,特别是在函数调用这类专业场景的评估能力上。随着AI模型应用场景的不断扩展,这类细分的评测能力将变得越来越重要。

登录后查看全文
热门项目推荐
相关项目推荐

项目优选

收起
docsdocs
OpenHarmony documentation | OpenHarmony开发者文档
Dockerfile
143
1.92 K
kernelkernel
deepin linux kernel
C
22
6
nop-entropynop-entropy
Nop Platform 2.0是基于可逆计算理论实现的采用面向语言编程范式的新一代低代码开发平台,包含基于全新原理从零开始研发的GraphQL引擎、ORM引擎、工作流引擎、报表引擎、规则引擎、批处理引引擎等完整设计。nop-entropy是它的后端部分,采用java语言实现,可选择集成Spring框架或者Quarkus框架。中小企业可以免费商用
Java
8
0
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
192
274
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
929
553
openHiTLSopenHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
422
392
openGauss-serveropenGauss-server
openGauss kernel ~ openGauss is an open source relational database management system
C++
145
189
金融AI编程实战金融AI编程实战
为非计算机科班出身 (例如财经类高校金融学院) 同学量身定制,新手友好,让学生以亲身实践开源开发的方式,学会使用计算机自动化自己的科研/创新工作。案例以量化投资为主线,涉及 Bash、Python、SQL、BI、AI 等全技术栈,培养面向未来的数智化人才 (如数据工程师、数据分析师、数据科学家、数据决策者、量化投资人)。
Jupyter Notebook
75
65
Cangjie-ExamplesCangjie-Examples
本仓将收集和展示高质量的仓颉示例代码,欢迎大家投稿,让全世界看到您的妙趣设计,也让更多人通过您的编码理解和喜爱仓颉语言。
Cangjie
344
1.3 K
easy-eseasy-es
Elasticsearch 国内Top1 elasticsearch搜索引擎框架es ORM框架,索引全自动智能托管,如丝般顺滑,与Mybatis-plus一致的API,屏蔽语言差异,开发者只需要会MySQL语法即可完成对Es的相关操作,零额外学习成本.底层采用RestHighLevelClient,兼具低码,易用,易拓展等特性,支持es独有的高亮,权重,分词,Geo,嵌套,父子类型等功能...
Java
36
8