OLMo 7B模型0424与0724版本的技术差异解析

模型训练背景

OLMo 7B是由AllenAI开发的开源语言模型，其0424和0724版本代表了在不同时间节点发布的模型迭代。这两个版本的核心架构保持了一致性，但在训练细节上存在关键差异。

训练数据对比

0424版本模型在Dolma v1.7数据集上完成了2.7万亿(tokens)的训练量。这个训练过程采用了精心设计的两阶段课程学习策略，使模型能够逐步适应不同难度和类型的数据。

0724版本则是在0424版本的基础上继续训练，将总训练量扩展到了4万亿tokens。值得注意的是，0724版本并未引入新的数据集，而是继续使用相同的Dolma v1.7数据集，只是增加了训练量。这种延续性训练策略确保了模型性能的稳定提升。

数据组成细节

两个版本都经过了50B tokens的退火训练阶段，使用了经过精心筛选的Dolma v1.7高质量子集。这个子集包含以下几个关键组成部分：

1. 完整的Wikipedia数据
2. OpenWebMath数学相关数据
3. Flan指令微调数据

同时，为了提高数据质量，团队移除了以下内容：

• Dolma CC数据集
• CC News新闻数据
• Megawika数据

剩余的数据源经过重新平衡处理，确保了各类数据在训练中的均匀分布。

训练策略分析

0724版本延续0424版本的训练时，采用了与原始训练相同的混合比例来分配新增的1.3万亿tokens。这意味着0724版本不是简单地在原有基础上增加训练量，而是保持了原始训练数据的组成结构，确保了模型性能提升的稳定性。

这种训练延续策略在大型语言模型训练中具有重要意义。它表明即使在达到较高训练量后，继续按照原有数据分布增加训练量仍能带来模型性能的提升，这为后续模型训练提供了有价值的参考。