QwenLM/Qwen3模型微调中的序列长度对齐问题解析

在基于FastChat框架对Qwen1.5-7B模型进行监督式微调(SFT)时，开发者常会遇到序列长度不匹配的错误提示"expected sequence of length 133 at dim 1 (got 126)"。这类问题本质上是由于输入序列的实际长度与模型预期长度不一致导致的张量维度冲突。

问题本质

当使用tokenizer.apply_chat_template方法处理对话数据时，即便设置了padding=True和truncation=True参数，系统仍可能无法自动将序列填充至指定max_length。这是因为标准padding=True仅保证将批次内的序列填充到该批次中最长序列的长度，而非强制填充到max_length。

解决方案

通过将padding参数从布尔值改为字符串'max_length'，可以明确指示tokenizer必须将所有序列填充至max_length指定的长度。这种显式声明的方式比隐式的True更精确，能够确保：

1. 短于max_length的序列会被填充token补全
2. 长于max_length的序列会被截断
3. 最终所有序列具有完全一致的维度

最佳实践建议

1. 参数设置：始终使用padding='max_length'而非padding=True
2. 长度监控：建议添加token计数检查逻辑
3. 截断策略：对于重要信息，考虑实现智能截断而非简单尾部截断
4. 批次处理：注意混合长度序列的批次处理效率问题

底层原理

在Transformer架构中，注意力机制要求同一批次内的所有输入序列必须具有相同的长度。这是因为：

• 注意力权重矩阵计算依赖统一的序列维度
• 位置编码需要对应明确的序列位置
• 批量矩阵运算要求张量形状一致

通过正确配置tokenizer参数，可以确保模型获得符合预期的规整输入，避免维度不匹配导致的运行时错误。这对于Qwen等大规模语言模型的微调过程尤为重要。