Hy3 训练数据格式完整指南:messages 与 reasoning_content 深度解析

原创2026-11-04 23:06:541,926 阅读

Hy3 训练数据格式完整指南:messages 与 reasoning_content 深度解析

Hy3 是腾讯混元团队发布的快慢思考融合 MoE 大模型(总参数 295B,激活 21B)。想要微调它,先要摸清 Hy3 训练数据格式 的两块基石:messages 对话结构与 reasoning_content 推理字段。本文带你 10 分钟吃透这套格式的设计逻辑,并给出可直接套用的示例与避坑清单。


一、为什么 Hy3 训练数据格式如此设计?

Hy3 的核心卖点是「快慢思考融合」:

  • 慢思考(深度思维链):模型先推理再作答,适合数学、编程等复杂任务;
  • 快思考(直接回复):省去思考过程,日常对话更省算力。

推理时通过 reasoning_effort 参数在 high / low / no_think 之间切换;而训练数据的格式,正是为了让模型学会这两种模式的可控输出。换句话说,数据格式不是简单的字段约定,而是「双模式行为」的训练载体。

Hy3 训练数据格式支撑下的模型能力基准测试对比图

Hy3 在 SWE-bench、BrowseComp、MathArena 等任务上的表现,离不开高质量 SFT 与 RL 数据的支撑——而 RL 阶段的表现同样取决于数据组织方式。

二、messages 格式全貌:一行 JSONL 就是一个样本

Hy3 的 SFT 数据采用 JSONL(每行一条 JSON)+ ShareGPT 对话结构,官方示例数据位于 finetune/data/example_data.jsonl。

一条样本的顶层结构只有两个字段:

{"reasoning_effort": "no_think", "messages": [...]}

messages 是一个按轮次排列的数组,每条消息包含 role(角色)与 content(文本):

role 取值 含义 出现要求
system 系统提示词 可选,训练与推理默认 system prompt 为空,可按需设定
user 用户输入 至少 1 条
assistant 模型回复 至少 1 条,loss 只计算这一部分

官方示例中的一条完整样本(节选):

{"messages": [
  {"role": "system", "content": "You are a helpful assistant."},
  {"role": "user", "content": "1+1=?"},
  {"role": "assistant", "content": "1+1=2"}
]}

💡 设计上,messages 与 OpenAI 兼容 API 的入参完全同构,你在部署侧怎么调模型,训练侧就怎么写数据,心智负担极小。

三、reasoning_content 深度解析:快慢思考融合的灵魂

reasoning_content 是 Hy3 训练数据格式的独有设计:它把「推理过程」从最终回答中拆出来独立存放,而不是直接拼进 content。两种模式的数据写法对比如下(摘自 finetune/README_CN.md):

快思考样本(no_think)——assistant 消息只有 content:

{"reasoning_effort": "no_think", "messages": [
  {"role": "system", "content": "你是一个有用的人工智能助手。"},
  {"role": "user", "content": "1+1=?"},
  {"role": "assistant", "content": "1+1=2"}
]}

慢思考样本(high)——assistant 消息额外携带 reasoning_content:

{"reasoning_effort": "high", "messages": [
  {"role": "system", "content": "你是一个有用的人工智能助手。"},
  {"role": "user", "content": "1+1=?"},
  {"role": "assistant", "content": "1+1=2",
   "reasoning_content": "用户问的是1+1等于多少。在基本的十进制算术中,1+1等于2。"}
]}

它是怎么变成模型行为的? 各训练框架的 Hy3 对话模板会在渲染时,把 reasoning_content 包裹进 think / think 标签并拼接到 assistant 轮次中。模板的 token 级布局(见 hy_v3_template.py 注释):

片段 渲染结果
开头 <|hy_begin▁of▁sentence|>(BOS)
system 紧跟 BOS 放置,没有角色标签
user <|hy_User|> + 内容
assistant <|hy_Assistant|> + 内容 + <|hy_eos|>
推理过程 think 标签包裹的推理文本

这种「字段分离 + 模板拼装」的设计带来三个好处:

  1. 数据可读性好——推理文本与最终答案分离,人工审核、数据清洗都更直观;
  2. 模式可控——同一条问答,加不加 reasoning_content 就分别是快/慢思考样本;
  3. loss 计算精确——训练时只对 assistant 部分(含 think 内容与 EOS token)计算损失,user/system 部分自动屏蔽。

四、三种训练框架如何解析这份数据?

Hy3 官方同时提供了 DeepSpeed 原生、LLaMA-Factory、ms-swift 三套训练方案,它们读取的都是同一份 messages 数据,解析方式略有差异:

训练方式 数据格式 模板 / 解析方式 参考文件
DeepSpeed 原生 JSONL 直接调用 tokenizer.apply_chat_template(messages, is_training=True, reasoning_effort=...),未标注时默认 no_think train.py
LLaMA-Factory JSONL(ShareGPT) 注册 hy_v3 模板(ReasoningTemplate,自动识别 think 标签) dataset_info.json、hy_v3_template.py
ms-swift JSONL(ShareGPT) hy_v3 模板(is_thinking=True),并附带 eos token 修复补丁 hy_v3_swift_patches.py

以 LLaMA-Factory 为例,只需在 dataset_info.json 中按 ShareGPT 约定注册数据集(指定 messages 列与 role/content 标签),配合 hy_v3 模板即可直接开训,无需自行写数据解析代码。

五、强化学习(RL)数据怎么写?

如果你的目标是 RL 训练(Hy3 官方采用 verl + GRPO,详见 rl/README_CN.md),数据格式会切换为 Parquet,每行包含 5 个字段:

{
  "data_source": "my_dataset",
  "prompt": [{"role": "user", "content": "1+1=?"}],
  "ability": "math",
  "reward_model": {"style": "rule", "ground_truth": "2"},
  "extra_info": {"split": "train", "index": 0}
}

几个要点:

  • prompt 同样复用 messages 对话格式,由 tokenizer 渲染分词;
  • ground_truth 与 reward 函数的判分逻辑必须格式对齐,否则奖励信号会失真;
  • 模型在 RL 中自行生成回复(含思维链),数据侧无需提供 reasoning_content。

官方在 128 张 H20 上进行的数学推理 GRPO 实验中,reward 与 AIME 验证分数全程稳步上升,验证了这套数据管线的有效性:

Hy3 强化学习训练数据驱动下的 GRPO 训练曲线

六、常见坑与数据自检清单 📋

# 检查项 说明
1 推理文本放错位置 思维过程必须写在 reasoning_content,不要拼进 content,否则快慢思考边界会被污染
2 模式字段缺失 建议每条样本显式标注 reasoning_effort;DeepSpeed 脚本对缺失值按 no_think 兜底
3 system 随意加长 官方默认 system prompt 为空,自定义时保持简短一致,避免与推理分布漂移
4 多轮对话角色错位 user / assistant 需严格交替,assistant 内容会被计入 loss,敏感提示词别放在 assistant 轮
5 长度超限 单条样本最长受 max_seq_length 限制,超长部分会被裁剪,长样本建议提前截断

七、核心文件速查

掌握 messages + reasoning_content 这一组合,你就拿到了打开 Hy3 微调的大门。按上面的清单准备好第一份数据,然后参照 finetune/README_CN.md 的硬件需求与启动方式,即可跑通属于你的第一条训练。

登录后查看全文
Hy3