EvalScope v0.12.0 发布：模型推理效率评测与三大基准支持

EvalScope 是一个专注于大模型评测的开源工具，它提供了全面的评估框架和方法论，帮助研究人员和开发者客观衡量语言模型在各类任务上的表现。本次发布的 v0.12.0 版本带来了多项重要更新，特别是在模型推理效率评测和新增基准支持方面有显著提升。

思考效率评测功能

新版本最引人注目的特性是新增了对模型思考效率的评测能力。这项功能基于两篇重要的研究论文：《Overthinking》和《Underthinking》的理论基础，能够量化评估模型在推理过程中的效率表现。

思考效率评测主要关注以下几个方面：

• 模型是否过度思考（Overthinking）：即模型在已经得出正确答案后仍继续生成不必要的推理步骤
• 模型是否思考不足（Underthinking）：模型在未充分推理的情况下就给出最终答案
• 推理步骤与准确性的平衡关系

这项评测为研究人员提供了新的视角来理解模型的推理行为，有助于优化模型的推理策略和架构设计。

新增三大评测基准

v0.12.0 版本新增支持三个重要的模型推理评测基准：

1. AIME25：专注于评估模型在复杂推理任务中的表现，特别适合测试模型的多步推理能力。

2. MuSR：针对多模态理解和推理设计的基准，评估模型在处理跨模态信息时的表现。

3. ProcessBench：关注模型推理过程的基准，能够详细评估模型生成推理链的质量和连贯性。

这些基准的加入极大地扩展了 EvalScope 的评测范围，为用户提供了更全面的模型评估工具集。

技术优化与改进

除上述主要功能外，本次更新还包含多项技术优化：

1. 流式模式支持：评测过程中现在可以使用流式传输模式，提高了大规模评测的效率。

2. 请求超时控制：用户可以指定请求超时时间，增强了评测过程的稳定性和可控性。

3. MPS设备支持：新增对苹果M系列芯片（MPS设备）的本地评测支持，扩展了平台的兼容性。

4. 性能优化：改进了token处理机制，优化了设备映射策略，提升了整体评测性能。

总结

EvalScope v0.12.0 通过引入思考效率评测和三大新基准，进一步巩固了其作为全面模型评测工具的地位。这些更新不仅丰富了评测维度，也为模型优化提供了更精细的指导方向。对于从事大模型研究和开发的团队来说，这些新功能将帮助他们更深入地理解模型行为，从而做出更有针对性的改进。