SkyThought项目AIME2025评测任务配置更新解析

在数学推理评测领域，AIME（American Invitational Mathematics Examination）作为知名数学竞赛，其2025年度的数据集近期被纳入SkyThought项目的评测体系。本文针对该数据集的最新配置变更进行技术解析。

数据集结构调整背景

AIME2025数据集近期进行了结构性更新，将原始数据划分为两个独立子集：

• AIME2025-I
• AIME2025-II

这种划分方式反映了数学竞赛中常见的分阶段测试模式，使评测能更精确地反映模型在不同难度和题型上的表现。

任务接口变更说明

项目最新版本对评测接口做出了以下重要调整：

1. 任务命名规范
   原先的aime25任务已拆分为：

   • aime25_1（对应AIME2025-I子集）
   • aime25_2（对应AIME2025-II子集）

2. 配置参数要求
   用户需要明确指定使用的子集配置，系统不再支持默认的通用接口。这种设计强制用户明确评测目标，避免混淆不同难度层级的测试结果。

技术实现建议

对于开发者而言，建议采取以下实践方案：

1. 环境准备
   通过源码安装最新版SkyThought，确保获取最新的评测脚本和数据集配置。

2. 评测执行示例

   # 评测AIME2025-I子集
   python run_eval.py --task aime25_1
   
   # 评测AIME2025-II子集
   python run_eval.py --task aime25_2
   

3. 结果对比分析
   建议分别运行两个子集的评测后，进行交叉对比分析。这种分而治之的策略有助于：

   • 识别模型在不同数学领域的专项能力
   • 发现模型在特定题型上的性能瓶颈
   • 优化数学推理能力的训练策略

技术意义

本次更新体现了数学推理评测的精细化发展趋势。通过子集划分：

• 提升了评测的颗粒度和针对性
• 支持更细粒度的能力维度分析
• 为后续的模型优化提供更明确的改进方向

建议用户关注两个子集可能存在的题型分布差异，这对理解模型的数学推理能力边界具有重要意义。