QwenLong-L1-32B三阶段训练框架详解:预热SFT、课程式RL与难度感知采样全解析

原创2026-11-08 20:57:461,863 阅读

QwenLong-L1-32B三阶段训练框架详解:预热SFT、课程式RL与难度感知采样全解析

QwenLong-L1-32B 是首个通过强化学习训练长上下文推理能力的长上下文大推理模型(Long-Context LRM),它采用预热SFT、课程式RL、难度感知采样三阶段训练框架,让模型从短上下文能力平稳过渡到长文本推理。本文面向新手,用大白话讲清楚这套框架的每个阶段在做什么、为什么这样设计,以及如何快速上手这个模型。

项目速览:QwenLong-L1-32B 是什么

QwenLong-L1-32B 由阿里巴巴通义实验室推出,基座模型为 DeepSeek-R1-Distill-Qwen-32B(Qwen2-32B 架构)。它在七个长上下文文档问答(DocQA)基准上的表现超越 OpenAI-o3-mini、Qwen3-235B-A22B 等旗舰推理模型,达到与 Claude-3.7-Sonnet-Thinking 相当的水平。

关键属性 说明
模型规模 32B 参数,64 层,bfloat16 精度
最大位置编码 131,072 tokens(通过 YaRN 扩展验证)
基座模型 DeepSeek-R1-Distill-Qwen-32B
授权协议 Apache-2.0
训练数据 DocQA-RL-1.6K(1.6K 道长文档问答题)
核心能力 长上下文文档数学/逻辑/多跳推理问答

QwenLong-L1-32B长上下文推理模型三阶段强化学习训练框架整体架构图

模型配置文件可参考 config.json,其中 max_position_embeddings: 131072 与 torch_dtype: bfloat16 是最关键的两项参数;权重分片分布记录在 model.safetensors.index.json。

为什么需要三阶段训练?短上下文和长上下文的RL不一样

直接拿一个只会"短文本推理"的模型去跑长上下文强化学习,往往会训练不稳。作者的预实验发现:短上下文推理RL与长上下文推理RL的训练动态存在显著差异——长上下文下奖励信号更稀疏、探索空间更大,一步到位容易"学崩"。

短上下文与长上下文推理强化学习训练动态对比示意图

因此 QwenLong-L1 提出了"渐进式上下文扩展"思路:按预热SFT → 课程式RL → 难度感知采样三个阶段,把上下文从短到长逐步拉长,让策略模型(policy)在每一步都只面对"跳一跳够得着"的难度。

阶段一:预热SFT(Warm-up SFT)——给模型打好地基

预热SFT的目标是初始化一个"稳健的策略"。在正式做强化学习之前,先用监督微调(SFT)让模型熟悉长文档问答的任务格式:读取 <text> 中的长文档、分析问题、输出"因此,答案是……"的标准回答格式,并建立初步的长上下文定位能力。

这一步的意义在于:强化学习依赖"组内相对优势"来指导更新,如果初始策略太弱、连文档里关键信息都找不到,奖励几乎全是噪声,训练就无法启动。SFT 就是先把"基本盘"做稳。

阶段二:课程式RL——从短文档到长文档渐进训练

课程式RL(Curriculum-guided RL)是框架的核心阶段。它借鉴"课程学习"思想:不是一开始就喂超长文档,而是从短上下文逐步过渡到长上下文,实现稳定适应。

这一阶段融合了两种前沿RL算法:

  • GRPO:基于组内相对优势(group relative advantages)优化策略,无需额外价值网络,稳定且省显存;
  • DAPO:提供单阶段RL训练的完整示例(见 README 中的多节点训练脚本)。

奖励函数采用混合奖励设计:规则奖励(rule-based)保证答案精确匹配,模型奖励(model-based,用 LLM 裁判做二元结果判断)保证召回率,两者平衡精确与召回。策略优化时利用组相对优势,引导模型学会长上下文中"定位关键信息 → 推理 → 给出答案"的有效模式。

QwenLong-L1难度感知回溯采样机制与课程式RL训练流程示意图

阶段三:难度感知回溯采样——让模型持续"越练越强"

**难度感知回溯采样(difficulty-aware retrospective sampling)**解决的是"训练中期模型已经刷会了简单题"的困境:如果一直采样简单样本,策略会停止进步;一直采样超难样本,奖励又太稀疏、学不动。

该机制会回溯检视历史样本的表现,在各训练阶段动态调整训练复杂度——筛掉已经全对/全错的"无效难度",保留"部分能答对"的"高信息量"样本,从而持续激励策略探索,让RL训练始终处于学习曲线的有效区间。

训练数据:DocQA-RL-1.6K 数据集

整个框架的训练依赖专门为可验证长上下文推理构建的数据集 DocQA-RL-1.6K,共 1.6K 道题,覆盖三大推理领域:

推理领域 题量 来源与说明
数学推理 600 DocMath 数据集,金融财报等长专业文档的数值推理
逻辑推理 600 用 DeepSeek-R1 合成,覆盖法律/金融/保险/生产领域真实文档
多跳推理 400 MultiHopRAG(200)+ Musique(200),强调跨文档推理

其中 DocMath 按有效划分 75% 训练、25% 评测,保证了训练/评测的数据隔离。

实战效果:七大长上下文DocQA基准成绩

作者在 2WikiMultihopQA、HotpotQA、MuSiQue、NarrativeQA、Qasper、Frames(多跳类)与 DocMath(数学类)共 7 个基准上评测,最终分数取"精确匹配与 LLM 裁判准确率中的最大值"(与RL训练奖励函数对齐,裁判模型为 DeepSeek-V3,温度 0.0)。

QwenLong-L1-32B七大长上下文DocQA基准评测结果对比表

可以看到,QwenLong-L1-32B 以 32B 的体量在多项指标上追平甚至超过参数量远超自己的旗舰模型,是"小模型 + 好训练框架"的典型案例。

快速上手:用Transformers加载QwenLong-L1-32B

如果你只是想体验模型效果,用 Hugging Face Transformers 加载即可(推理模板要求回答以"因此,答案是……"收尾):

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Tongyi-Zhiwen/QwenLong-L1-32B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name, torch_dtype="auto", device_map="auto")

💡 超长文本提示:当输入+输出总长度显著超过 32,768 tokens 时,建议启用 YaRN RoPE 缩放(已验证至 131,072 tokens)。在 config.json 中加入 rope_scaling 字段(rope_type: yarn, factor: 4.0, original_max_position_embeddings: 32768),或通过 vLLM/SGLang/llama.cpp 的启动参数传入。若平均上下文不超过 32,768 tokens,则不建议开启,以免影响短文本表现。

完整的推理模板、多节点 DAPO 训练脚本与评测流程,可参考 README.md(Quick Start 与 Training 章节)。

关键文件清单

文件 作用
README.md 项目说明:三阶段框架、数据集、训练与评测全流程
config.json 模型结构:64层、131,072位置编码、bfloat16
generation_config.json 生成参数(bos/eos token 等)
tokenizer_config.json 分词器配置与对话模板(含 think 思考块)
model.safetensors.index.json 14 个权重分片的张量索引
assets/fig1.png ~ assets/tab4.png 框架图、训练动态对比图、采样机制图、评测结果表

总结

QwenLong-L1-32B 证明了:长上下文推理能力可以被强化学习"教"出来,但需要正确的课程安排。三阶段框架各司其职——

  1. 预热SFT:打地基,初始化稳健策略;
  2. 课程式RL:短到长渐进 + GRPO/DAPO + 混合奖励,稳定适应长上下文;
  3. 难度感知回溯采样:动态调难度,持续激励探索。

对新手而言,理解这套框架的价值在于:它展示了一个通用的"小模型 + RL 课程学习"范式,同样适用于其他长上下文或复杂推理任务的训练场景。

登录后查看全文
QwenLong-L1-32B