OpenRLHF项目中Qwen2-1.5b模型微调时的padding_side问题解析

在OpenRLHF项目中使用Qwen2-1.5b模型进行监督式微调(SFT)时，开发者可能会遇到一个与tokenizer的padding_side设置相关的错误。这个问题主要出现在训练结束后的评估阶段，错误提示明确指出Flash Attention版本的Qwen2模型在进行批处理生成时要求padding_side必须设置为'left'。

问题现象

当开发者使用Qwen2-1.5b模型进行SFT微调时，训练过程可以正常进行，但在评估阶段会出现ValueError异常。错误信息表明模型检测到padding_side被设置为'right'，这与Flash Attention版本的Qwen2模型要求不符。错误提示建议在tokenize输入前将tokenizer.padding_side设置为'left'。

问题根源

深入分析问题后发现，这个错误源于Qwen2模型的特殊实现机制。在transformers库的qwen2/modeling_qwen2.py文件中，当同时满足以下三个条件时会触发此错误：

1. 提供了attention_mask
2. 使用了flash_attention_2实现
3. 启用了use_cache

在这些条件下，模型会检查padding是否在右侧(is_padding_right)，如果是则会抛出异常。这种设计是为了避免Flash Attention在生成任务中出现意外行为。

解决方案

针对这个问题，OpenRLHF项目提供了几种解决方案：

1. 关闭模型评估模式：在评估代码前移除model.eval()调用，因为评估模式不会影响模型精度。

2. 使用样本打包(packing)：通过添加--packing_samples参数可以完全避免padding问题。

3. 修改模型配置：最彻底的解决方案是在模型初始化时设置use_cache=False，即：

   model_init_kwargs["use_cache"] = False
   

技术背景

Flash Attention是一种优化的注意力机制实现，它通过减少内存访问来提高计算效率。Qwen2模型在使用Flash Attention时对输入序列的padding方式有严格要求，这是因为：

• 右侧padding会影响Flash Attention对序列长度的计算
• 生成任务中，右侧padding可能导致注意力权重分配异常
• 缓存机制(use_cache)与padding方式的交互可能导致不一致的状态

最佳实践建议

在使用OpenRLHF项目进行Qwen2模型微调时，建议开发者：

1. 始终检查tokenizer的padding_side设置
2. 根据任务类型(训练/生成)选择合适的padding策略
3. 了解Flash Attention的特殊要求
4. 在模型初始化时明确设置use_cache参数
5. 考虑使用样本打包技术避免padding相关问题

通过理解这些技术细节和采用适当的解决方案，开发者可以顺利完成Qwen2模型在OpenRLHF项目中的微调工作。