EvalAI项目挑战配置最佳实践指南

在机器学习竞赛平台EvalAI的使用过程中，合理的挑战配置是确保竞赛顺利运行的关键。本文将通过三个典型场景，详细介绍如何编写高效、规范的挑战配置文件(config.yaml)，帮助竞赛组织者快速上手。

基础单阶段挑战配置

最简单的配置场景包含单一挑战、单一阶段和单一排行榜。这种配置适合小型竞赛或初期测试阶段。

# 基础单阶段挑战配置示例
challenge:
  title: "图像分类挑战"  # 挑战名称
  description: "基于CIFAR-10数据集的图像分类任务"  # 挑战描述
  start_date: "2025-07-01T00:00:00Z"  # 开始时间
  end_date: "2025-08-01T23:59:59Z"    # 结束时间

phases:
  - name: "训练阶段"  # 阶段名称
    description: "模型训练和验证阶段"
    start_date: "2025-07-01T00:00:00Z"
    end_date: "2025-07-20T23:59:59Z"
    max_submissions_per_day: 5  # 每日最大提交次数
    is_public: true  # 是否公开可见

leaderboard:
  schema:  # 排行榜评分标准
    - name: "准确率"
      description: "分类准确率"
      default: true  # 默认显示指标
      sorting_zone: "desc"  # 降序排列

关键点说明：

1. 时间格式必须符合ISO 8601标准
2. 每个阶段(phase)可以独立设置提交限制
3. 排行榜指标需要明确定义排序方式

多阶段共享排行榜配置

当竞赛需要分阶段进行(如开发阶段和最终测试阶段)，但使用同一套评分标准时，可采用此配置。

challenge:
  title: "自然语言处理挑战"
  description: "文本情感分析任务"

phases:
  - name: "开发阶段"
    description: "使用公开测试数据"
    start_date: "2025-07-01T00:00:00Z"
    end_date: "2025-07-15T23:59:59Z"
    max_submissions: 100  # 总提交次数限制
    
  - name: "最终测试阶段"
    description: "使用私有测试数据"
    start_date: "2025-07-16T00:00:00Z"
    end_date: "2025-07-31T23:59:59Z"
    max_submissions: 3  # 严格限制最终提交次数

phase_splits:
  - name: "开发集"
    phases: ["开发阶段"]  # 关联到开发阶段
  - name: "测试集"
    phases: ["最终测试阶段"]  # 关联到测试阶段

leaderboard:
  schema:
    - name: "F1分数"
      description: "宏观F1分数"

注意事项：

1. 不同阶段可以设置不同的提交策略
2. phase_splits用于定义评估数据集划分
3. 所有阶段共享同一个排行榜定义

多阶段多排行榜高级配置

复杂竞赛可能需要不同阶段使用不同的评估标准和排行榜，例如：

challenge:
  title: "多模态AI挑战"
  description: "结合图像和文本的多模态分类"

phases:
  - name: "开发阶段"
    start_date: "2025-09-01T00:00:00Z"
    end_date: "2025-09-15T23:59:59Z"
    
  - name: "公开测试阶段"
    start_date: "2025-09-16T00:00:00Z"
    end_date: "2025-09-25T23:59:59Z"
    
  - name: "私有测试阶段"
    start_date: "2025-09-26T00:00:00Z"
    end_date: "2025-09-30T23:59:59Z"

leaderboards:
  - id: "lb_accuracy"  # 准确率排行榜
    schema:
      - name: "准确率"
        sorting_zone: "desc"
    phases: ["开发阶段"]  # 仅用于开发阶段
    
  - id: "lb_composite"  # 综合评分排行榜
    schema:
      - name: "综合分数"
        sorting_zone: "desc"
      - name: "推理速度"
        sorting_zone: "asc"  # 速度越快越好
    phases: ["公开测试阶段", "私有测试阶段"]  # 用于后两个阶段

高级功能说明：

1. 可以定义多个独立的排行榜(leaderboards)
2. 每个排行榜可以关联到特定阶段
3. 综合评分可以包含多个指标，各自定义排序方向

配置验证与测试建议

在实际部署前，建议组织者：

1. 使用EvalAI本地测试环境验证配置文件
2. 检查所有时间戳的时区设置
3. 验证阶段与排行榜的关联关系是否正确
4. 测试提交限制规则是否按预期工作
5. 确保评分指标的计算逻辑与描述一致

通过以上配置示例和最佳实践，竞赛组织者可以快速构建出符合需求的挑战结构，为参赛者提供良好的竞赛体验。