DreamerV3 在 Atari 100k 基准测试中的得分计算方法解析

DreamerV3 是一个基于世界模型的强化学习算法，在 Atari 100k 基准测试中表现出色。本文将详细解析其得分计算方法，帮助研究人员正确理解和使用相关数据。

得分计算原理

在 DreamerV3 的 Atari 100k 基准测试中，得分计算并非简单地取最终训练步数的性能值。正确的计算方法如下：

1. 数据采集范围：选取训练步数(xs)在390,000到400,000之间的所有性能值(ys)
2. 种子内平均：对每个独立训练种子，计算上述范围内所有ys值的平均值
3. 跨种子平均：将5个独立种子的平均值再次求平均，得到最终报告分数

常见误区

许多研究人员容易犯以下错误：

• 仅取最终步数(400,000)的性能值
• 忽略不同种子间的性能波动
• 未考虑训练末期的性能稳定性

实际案例分析

以Alien游戏为例：

• 错误方法：取5个种子的最终值[760,1190,1280,1570,1590]平均得1278
• 正确方法：应计算每个种子在390k-400k步间所有ys的平均值，再跨种子平均
• 论文报告值：959

这种差异说明：

1. 模型性能在训练末期可能存在波动
2. 仅看最终值会高估实际平均性能
3. 采用区间平均能更好反映模型的稳定表现

技术意义

这种计算方法具有以下优势：

1. 减少单次评估的随机性影响
2. 反映模型在训练末期的稳定性能
3. 提供更可靠的算法比较基准
4. 符合强化学习评估的最佳实践

实施建议

对于希望复现或比较结果的研究人员：

1. 确保使用完整的评估轨迹数据
2. 采用相同的评估窗口(390k-400k步)
3. 运行足够数量的随机种子(推荐≥5个)
4. 报告平均值的同时，建议提供标准差或置信区间

理解这些评分细节对于正确评估模型性能、进行公平比较以及复现研究结果都至关重要。