Hy-MT训练数据准备指南:messages格式、dataset_info配置与数据质量技巧

原创2026-10-27 17:53:131,926 阅读

Hy-MT训练数据准备指南:messages格式、dataset_info配置与数据质量技巧

HY-MT 是腾讯混元开源的机器翻译模型系列。如果你要为 HY-MT1.5-1.8B 或 HY-MT1.5-7B 微调专属翻译能力,第一步就是训练数据准备:把语料整理成 messages 格式、在 dataset_info.json 中正确注册、并掌握数据质量优化技巧。本文带你完整走通这条流水线,帮助新手用最快速度搭出一份能跑通、效果好的翻译微调数据集。

🎯 核心信息速览:

  • 数据格式:JSON(sharegpt)或 JSONL
  • 必备字段:system(选填)/ user / assistant
  • 配置入口:LLaMA-Factory 的 data/dataset_info.json 或官方 finetune/finetune.py
  • 长度上限:4096 token(超出会被截断)

为什么数据准备是 Hy-MT 微调的第一步

HY-MT1.5 支持 33 语种互译和 5 种民汉/方言,整体翻译质量位居业界前列:

HY-MT微调效果基础:HY-MT1.5在FLORES-200与WMT25基准上的XCOMET-XXL翻译质量对比

这样的表现离不开高质量训练数据。当你用自己的领域语料(如某语种对字幕、产品文档、电商评论)做微调时,数据准备的质量直接决定微调后的模型能不能"听懂"你的业务场景。官方提供了两条训练路线,数据组织方式略有差异:

路线 适用场景 数据格式 入口文件
LLaMA-Factory 通用微调、上手最简单 JSON(sharegpt)+ dataset_info.json train/ 示例配置
官方 finetune 脚本 大数据量、自定义训练参数 JSONL(messages) finetune/finetune.py

一、messages 格式:把语料写成对话

三角色结构:system / user / assistant

HY-MT 的训练数据采用标准 messages 对话结构,每条样本由三个角色组成:

  • system:系统提示词(选填,官方默认推理不带 system prompt)
  • user:人类指令,即"翻译 prompt + 待翻译原文"
  • assistant:模型回答,即参考译文

一条中译英样本的完整示例:

{
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant."
    },
    {
      "role": "user",
      "content": "将以下文本翻译为英语,注意只需要输出翻译后的结果,不要额外解释:\n电池续航时间为12小时"
    },
    {
      "role": "assistant",
      "content": "The battery life is 12 hours."
    }
  ]
}

语种名称约定:用全称,不用缩写

官方 README_CN.md 中有一个关键约定:prompt 中的源语种和目标语种,中文使用中文全称(如"中文"),其他语言使用英文全称(如"French"),不要写 zh / en / fr 这类缩写代码,否则训练与推理的 prompt 会对不上。

数据文件的两种保存方式

方式一:JSON(LLaMA-Factory 路线)。整个文件是一个 JSON 数组,每条样本一个对象:

[
  { "messages": [ ... ] },
  { "messages": [ ... ] }
]

文件放入 LLaMA-Factory 的 data 目录即可。

方式二:JSONL(官方 finetune 脚本路线)。每行是一个完整的 JSON 对象,形如 {"messages": <a href="https://link.gitcode.com/i/9e36c5914a9f5c26edbee004317f0a10" target="_blank">...]}。[finetune/finetune.py 中的 SFTDataset 会逐行 json.loads,再对每行的 messages 调用 tokenizer.apply_chat_template 生成训练序列,并且只在 assistant 片段(sep 分隔符到 eos 之间)计算 loss。这意味着:assistant 内容必须完整、干净,任何杂音都会直接污染训练信号。

二、dataset_info.json 注册配置教程

LLaMA-Factory 路线下,数据文件准备好后,还要在 data/dataset_info.json 中"注册",训练配置才能按名称引用。完整配置如下(README_CN.md 有官方说明):

"my_mt_data": {
  "file_name": "my_mt_data.json",
  "formatting": "sharegpt",
  "columns": {
    "messages": "messages"
  },
  "tags": {
    "role_tag": "role",
    "content_tag": "content",
    "user_tag": "user",
    "assistant_tag": "assistant",
    "system_tag": "system"
  }
}

各字段含义一览:

字段 含义 本例取值
左侧的键 数据集名称,训练 yaml 中 dataset: 引用的值 my_mt_data
file_name 数据文件名(相对 data 目录) my_mt_data.json
formatting 对话类数据固定为 sharegpt sharegpt
columns.messages 数据中对话字段名 messages
tags.*_tag 各角色对应的键名 user / assistant / system

配套训练配置:hunyuan_full.yaml

仓库提供了现成训练模板 hunyuan_full.yaml,其中与数据相关的几个参数值得注意:

  • template: hunyuan —— 必须使用混元的 chat template,不要改成其他模板
  • cutoff_len: 4096 —— 超过该长度的样本会被截断,数据清洗时建议以 4096 为上限
  • max_samples: 1000 —— 首次跑通流程时建议保留小样本数,验证 loss 正常后再放开
  • finetuning_type: full —— 全参微调,配合 DeepSpeed 配置 ds_zero3_offload_hy.json(ZeRO-3 + CPU offload)降低显存占用

三、数据质量优化技巧:决定微调效果的6个要点

格式写对只是及格线,数据质量决定最终翻译效果。以下技巧来自官方 prompt 约定与训练流水线的实践总结:

技巧1:训练与推理的 prompt 保持一致

HY-MT1.5 官方为四类能力提供了 prompt 模板(见 README_CN.md 的 Prompts 章节)。训练时 user 字段里的 prompt 措辞,必须和推理时实际使用的完全一致,否则模型在推理时可能"应不出来"对应能力。以术语干预为例:

参考下面的翻译:
{source_term} 翻译成 {target_term}

将以下文本翻译为{target_language},注意只需要输出翻译后的结果,不要额外解释:
{source_text}

技巧2:assistant 答案只保留"纯译文"

官方 prompt 反复强调"不要额外解释"。如果参考译文里夹带"译文如下:""翻译:""希望对您有帮助"之类的话,模型会一并学走。入库前务必把答案清洗为纯翻译文本。

技巧3:按目标能力构造专项数据

不同能力对应不同的数据构造要点:

目标能力 user 字段构造要点
通用互译 官方翻译 prompt + 原文,语言名用全称
术语干预 前置"参考下面的翻译"及术语对照
上下文翻译 前置上下文,并声明"不需要翻译上文"
带格式翻译 原文包 <source> 标签,答案保留 <sn> 标签并以 <target> 包裹

技巧4:控制样本长度,避免无效截断

官方脚本按 max_seq_length(默认 4096,见 finetune/finetune.sh)截断样本。长样本一旦截断,很可能把 assistant 部分截掉——该样本就失去了训练价值。建议提前过滤掉"原文+答案超过 4096 token"的样本。

技巧5:基础清洗清单 ✅

  • 去重:完全重复的样本会浪费算力并加剧过拟合
  • 方向一致:固定语种对(如中文→英语)时,prompt 中的 target_language 要与答案语言严格一致
  • 格式校验:JSONL 每行用 json.loads 验证;JSON 整体确认为合法数组
  • 小样验证:先用 max_samples: 1000 级别的小数据跑通全流程,确认 loss 稳定下降再扩量

技巧6:参考官方技术报告

关于 HY-MT1.5 的数据构成与训练策略细节,可查阅官方技术报告 HY_MT1_5_Technical_Report.pdf。

常见问题排查

现象 可能原因 解决办法
训练时报"找不到数据集" dataset_info.json 未注册或名称写错 核对 yaml 中 dataset: 与注册键名完全一致
loss 偏高或迟迟不降 prompt 与推理模板不一致 / 答案含杂质 检查 prompt 措辞,清洗 assistant 内容
JSONL 解析报错 某行存在多余字符、全角标点 用脚本逐行校验 JSON 合法性
样本被截断导致效果差 原文过长 过滤或拆分超长样本

总结

掌握 Hy-MT 训练数据准备,记住三件事即可:

  1. 格式:所有样本组织为 system / user / assistant 的 messages 结构,语种名用全称,保存为 JSON(sharegpt)或 JSONL
  2. 配置:在 data/dataset_info.json 中声明 file_name、formatting、columns 与 tags,训练 yaml 中按名称引用
  3. 质量:训练与推理 prompt 措辞一致、答案为纯译文、样本长度控制在 4096 以内

完成以上步骤后,按照 README_CN.md 的训练章节执行 llamafactory-cli train 命令,即可开启你的第一次 HY-MT 领域微调。

登录后查看全文
Hy-MT