Hy-MT训练数据准备指南:messages格式、dataset_info配置与数据质量技巧
Hy-MT训练数据准备指南:messages格式、dataset_info配置与数据质量技巧
HY-MT 是腾讯混元开源的机器翻译模型系列。如果你要为 HY-MT1.5-1.8B 或 HY-MT1.5-7B 微调专属翻译能力,第一步就是训练数据准备:把语料整理成 messages 格式、在 dataset_info.json 中正确注册、并掌握数据质量优化技巧。本文带你完整走通这条流水线,帮助新手用最快速度搭出一份能跑通、效果好的翻译微调数据集。
🎯 核心信息速览:
- 数据格式:JSON(sharegpt)或 JSONL
- 必备字段:
system(选填)/user/assistant - 配置入口:LLaMA-Factory 的
data/dataset_info.json或官方 finetune/finetune.py - 长度上限:4096 token(超出会被截断)
为什么数据准备是 Hy-MT 微调的第一步
HY-MT1.5 支持 33 语种互译和 5 种民汉/方言,整体翻译质量位居业界前列:
这样的表现离不开高质量训练数据。当你用自己的领域语料(如某语种对字幕、产品文档、电商评论)做微调时,数据准备的质量直接决定微调后的模型能不能"听懂"你的业务场景。官方提供了两条训练路线,数据组织方式略有差异:
| 路线 | 适用场景 | 数据格式 | 入口文件 |
|---|---|---|---|
| LLaMA-Factory | 通用微调、上手最简单 | JSON(sharegpt)+ dataset_info.json | train/ 示例配置 |
| 官方 finetune 脚本 | 大数据量、自定义训练参数 | JSONL(messages) | finetune/finetune.py |
一、messages 格式:把语料写成对话
三角色结构:system / user / assistant
HY-MT 的训练数据采用标准 messages 对话结构,每条样本由三个角色组成:
system:系统提示词(选填,官方默认推理不带 system prompt)user:人类指令,即"翻译 prompt + 待翻译原文"assistant:模型回答,即参考译文
一条中译英样本的完整示例:
{
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "将以下文本翻译为英语,注意只需要输出翻译后的结果,不要额外解释:\n电池续航时间为12小时"
},
{
"role": "assistant",
"content": "The battery life is 12 hours."
}
]
}
语种名称约定:用全称,不用缩写
官方 README_CN.md 中有一个关键约定:prompt 中的源语种和目标语种,中文使用中文全称(如"中文"),其他语言使用英文全称(如"French"),不要写 zh / en / fr 这类缩写代码,否则训练与推理的 prompt 会对不上。
数据文件的两种保存方式
方式一:JSON(LLaMA-Factory 路线)。整个文件是一个 JSON 数组,每条样本一个对象:
[
{ "messages": [ ... ] },
{ "messages": [ ... ] }
]
文件放入 LLaMA-Factory 的 data 目录即可。
方式二:JSONL(官方 finetune 脚本路线)。每行是一个完整的 JSON 对象,形如 {"messages": <a href="https://link.gitcode.com/i/9e36c5914a9f5c26edbee004317f0a10" target="_blank">...]}。[finetune/finetune.py 中的 SFTDataset 会逐行 json.loads,再对每行的 messages 调用 tokenizer.apply_chat_template 生成训练序列,并且只在 assistant 片段(sep 分隔符到 eos 之间)计算 loss。这意味着:assistant 内容必须完整、干净,任何杂音都会直接污染训练信号。
二、dataset_info.json 注册配置教程
LLaMA-Factory 路线下,数据文件准备好后,还要在 data/dataset_info.json 中"注册",训练配置才能按名称引用。完整配置如下(README_CN.md 有官方说明):
"my_mt_data": {
"file_name": "my_mt_data.json",
"formatting": "sharegpt",
"columns": {
"messages": "messages"
},
"tags": {
"role_tag": "role",
"content_tag": "content",
"user_tag": "user",
"assistant_tag": "assistant",
"system_tag": "system"
}
}
各字段含义一览:
| 字段 | 含义 | 本例取值 |
|---|---|---|
| 左侧的键 | 数据集名称,训练 yaml 中 dataset: 引用的值 |
my_mt_data |
file_name |
数据文件名(相对 data 目录) | my_mt_data.json |
formatting |
对话类数据固定为 sharegpt | sharegpt |
columns.messages |
数据中对话字段名 | messages |
tags.*_tag |
各角色对应的键名 | user / assistant / system |
配套训练配置:hunyuan_full.yaml
仓库提供了现成训练模板 hunyuan_full.yaml,其中与数据相关的几个参数值得注意:
template: hunyuan—— 必须使用混元的 chat template,不要改成其他模板cutoff_len: 4096—— 超过该长度的样本会被截断,数据清洗时建议以 4096 为上限max_samples: 1000—— 首次跑通流程时建议保留小样本数,验证 loss 正常后再放开finetuning_type: full—— 全参微调,配合 DeepSpeed 配置 ds_zero3_offload_hy.json(ZeRO-3 + CPU offload)降低显存占用
三、数据质量优化技巧:决定微调效果的6个要点
格式写对只是及格线,数据质量决定最终翻译效果。以下技巧来自官方 prompt 约定与训练流水线的实践总结:
技巧1:训练与推理的 prompt 保持一致
HY-MT1.5 官方为四类能力提供了 prompt 模板(见 README_CN.md 的 Prompts 章节)。训练时 user 字段里的 prompt 措辞,必须和推理时实际使用的完全一致,否则模型在推理时可能"应不出来"对应能力。以术语干预为例:
参考下面的翻译:
{source_term} 翻译成 {target_term}
将以下文本翻译为{target_language},注意只需要输出翻译后的结果,不要额外解释:
{source_text}
技巧2:assistant 答案只保留"纯译文"
官方 prompt 反复强调"不要额外解释"。如果参考译文里夹带"译文如下:""翻译:""希望对您有帮助"之类的话,模型会一并学走。入库前务必把答案清洗为纯翻译文本。
技巧3:按目标能力构造专项数据
不同能力对应不同的数据构造要点:
| 目标能力 | user 字段构造要点 |
|---|---|
| 通用互译 | 官方翻译 prompt + 原文,语言名用全称 |
| 术语干预 | 前置"参考下面的翻译"及术语对照 |
| 上下文翻译 | 前置上下文,并声明"不需要翻译上文" |
| 带格式翻译 | 原文包 <source> 标签,答案保留 <sn> 标签并以 <target> 包裹 |
技巧4:控制样本长度,避免无效截断
官方脚本按 max_seq_length(默认 4096,见 finetune/finetune.sh)截断样本。长样本一旦截断,很可能把 assistant 部分截掉——该样本就失去了训练价值。建议提前过滤掉"原文+答案超过 4096 token"的样本。
技巧5:基础清洗清单 ✅
- 去重:完全重复的样本会浪费算力并加剧过拟合
- 方向一致:固定语种对(如中文→英语)时,prompt 中的
target_language要与答案语言严格一致 - 格式校验:JSONL 每行用
json.loads验证;JSON 整体确认为合法数组 - 小样验证:先用
max_samples: 1000级别的小数据跑通全流程,确认 loss 稳定下降再扩量
技巧6:参考官方技术报告
关于 HY-MT1.5 的数据构成与训练策略细节,可查阅官方技术报告 HY_MT1_5_Technical_Report.pdf。
常见问题排查
| 现象 | 可能原因 | 解决办法 |
|---|---|---|
| 训练时报"找不到数据集" | dataset_info.json 未注册或名称写错 | 核对 yaml 中 dataset: 与注册键名完全一致 |
| loss 偏高或迟迟不降 | prompt 与推理模板不一致 / 答案含杂质 | 检查 prompt 措辞,清洗 assistant 内容 |
| JSONL 解析报错 | 某行存在多余字符、全角标点 | 用脚本逐行校验 JSON 合法性 |
| 样本被截断导致效果差 | 原文过长 | 过滤或拆分超长样本 |
总结
掌握 Hy-MT 训练数据准备,记住三件事即可:
- 格式:所有样本组织为
system/user/assistant的 messages 结构,语种名用全称,保存为 JSON(sharegpt)或 JSONL - 配置:在
data/dataset_info.json中声明file_name、formatting、columns与tags,训练 yaml 中按名称引用 - 质量:训练与推理 prompt 措辞一致、答案为纯译文、样本长度控制在 4096 以内
完成以上步骤后,按照 README_CN.md 的训练章节执行 llamafactory-cli train 命令,即可开启你的第一次 HY-MT 领域微调。
