TorchTitan项目中性能指标WPS与TPS的术语规范探讨

在深度学习模型训练过程中，准确衡量和报告性能指标对于模型优化和资源评估至关重要。近期TorchTitan项目社区针对训练日志中的性能指标术语展开了一次专业讨论，揭示了"Words per Second"(WPS)与"Tokens per Second"(TPS)这两个关键指标之间的区别与联系。

术语定义与技术背景 在自然语言处理领域，tokenization（分词）是将文本分解为模型可处理的最小单位的过程。一个token可能对应一个完整的单词，也可能是单词的一部分（如子词或字符）。相比之下，"word"是一个语言学概念，其定义会因语言和预处理方式而异。现代大型语言模型普遍采用基于token的处理方式，这使得TPS成为更精确的性能度量标准。

当前实现分析 TorchTitan代码中实际计算的是tokens处理速率：

wps = ntokens_since_last_log / (time_delta * parallel_dims.model_parallel_size)

但该指标被标记为WPS，这带来了两个潜在问题：

1. 术语不准确：实际测量的是tokens而非words
2. 数值偏差：由于平均而言约4个tokens对应3个words，使用WPS标签会导致约33%的速率虚高

性能评估的准确性 使用TPS作为标准指标具有显著优势：

• 跨模型一致性：不同模型采用相同tokenizer时比较更公平
• 跨语言可比性：不受特定语言词汇特性的影响
• 资源规划精确性：为计算资源配置提供更准确的基准

实现细节的透明度 讨论中还揭示了另一个重要细节：当前报告的WPS/TPS是单设备（local）的处理速率，而非全局（global）聚合值。这与batch size的日志方式形成对比，后者明确区分了local和global值。这种不一致性可能导致用户误解实际系统吞吐量。

行业最佳实践 主流深度学习框架和基准测试普遍采用TPS作为标准指标。保持术语一致性有助于：

• 研究成果的可比性
• 技术交流的清晰度
• 性能优化的针对性

结论与建议 技术指标的准确标注是工程严谨性的重要体现。对于TorchTitan项目，将WPS统一调整为TPS不仅能提高术语准确性，还能保持与行业标准的一致性。同时，明确区分local与global处理速率的报告方式，将进一步提升日志信息的实用性和透明度。这些改进虽然看似细微，但对于构建可靠的性能评估体系具有重要意义。