Chronos-forecasting项目中的ETTh数据集微调问题解析

引言

在时间序列预测领域，Chronos-forecasting项目作为亚马逊科学团队推出的重要工具，提供了基于Transformer架构的预训练模型。本文将深入探讨在使用Chronos-t5-small模型对ETTh数据集进行微调时遇到的性能下降问题及其解决方案。

问题现象

研究人员在使用Chronos-t5-small模型对ETTh1和ETTh2数据集进行微调时，发现微调后的模型性能反而低于零样本（zeroshot）性能。具体表现为：

• 在ETTh1数据集上，微调后的MAE从0.508上升至0.775，MSE从0.561上升至1.187
• 在ETTh2数据集上，微调后的MAE从0.263上升至0.354，MSE从0.139上升至0.252

这种性能下降现象与预期相反，通常我们期望微调能够提升模型在特定数据集上的表现。

技术背景

Chronos模型采用T5架构，通过将时间序列离散化为token进行处理。模型训练时使用MeanScaleUniformBins分词器，将连续值映射到4096个离散区间。这种设计使模型能够处理各种规模的时间序列数据。

问题分析

经过深入调查，发现性能下降主要由以下因素导致：

1. 学习率设置不当：原始配置中0.001的学习率对于ETTh数据集来说过高，容易导致模型在微调过程中"忘记"预训练获得的知识，同时在新数据上过拟合。

2. 预测长度限制：Chronos模型的推荐预测长度不超过64，而实验中使用了96的预测长度，这可能超出了模型的最佳工作范围。

3. 数据标准化处理：实验中使用了StandardScaler对数据进行标准化，这种预处理方式需要与模型预期输入范围（-15到15）相匹配。

解决方案

通过调整以下参数，成功解决了性能下降问题：

1. 降低学习率：将初始学习率从0.001大幅降低，使模型能够平稳适应新数据而不丢失预训练知识。

2. 优化预测长度：将预测长度调整为不超过64，符合模型推荐配置。

3. 数据预处理验证：确保标准化后的数据范围与模型tokenizer的配置（low_limit=-15.0, high_limit=15.0）相匹配。

实施建议

对于希望在Chronos模型上进行微调的研究人员，建议：

1. 从小学习率开始：初始学习率建议设置在1e-5到1e-4范围内，根据验证集表现逐步调整。

2. 合理设置预测长度：遵循模型文档建议，预测长度不超过64，以获得最佳性能。

3. 监控训练过程：定期在验证集上评估模型表现，防止过拟合。

4. 数据预处理一致性：确保训练和评估阶段的数据预处理方式完全一致。

结论

Chronos模型作为强大的时间序列预测工具，其微调过程需要谨慎的参数配置。通过合理调整学习率和预测长度等关键参数，可以有效提升模型在特定数据集上的表现。这一经验不仅适用于ETTh数据集，也可推广到其他时间序列预测任务的微调过程中。

对于时间序列预测领域的研究人员和工程师，理解模型微调的内在机制和关键参数影响，是获得良好预测性能的重要前提。Chronos项目为这一领域提供了强大的基础模型，但如何针对特定任务进行优化，仍需结合领域知识和实验验证。