Modelscope/Swift项目中Grounding LoRA训练数据格式问题解析

在Modelscope/Swift项目中进行Grounding LoRA训练时，开发者可能会遇到一个典型的数据格式问题：模型输出的边界框信息中缺失类别标签。这个问题通常是由于训练数据格式不规范导致的，需要特别注意JSONL文件中ref-object与bbox的对应关系。

问题现象分析

当使用Qwen2-VL-7B-Instruct模型进行Grounding任务训练时，开发者提供的训练数据格式如下：

{
  "messages": [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "<image>找到图像中的<ref-object><ref-object><ref-object><ref-object>"},
    {"role": "assistant", "content": "<ref-object><bbox><bbox><bbox><bbox><bbox><bbox><bbox><ref-object><bbox><bbox><ref-object><bbox><bbox><ref-object><bbox>"}
  ],
  "images": ["test2/images/14c7af6edb788fbf7ac606ee4abbd519.JPG"],
  "objects": {
    "ref": ["byq_jyztl", "dlsrdq_jyztl", "jyzps_cixuanshi", "jyzfdhj_cixuanshi"],
    "bbox": [[1227,2055,1260,2106.0], ...]
  }
}

训练过程中会出现两个明显问题：

1. 训练日志显示模型输出的边界框信息缺少类别标签
2. 推理结果中也只包含边界框坐标，没有对应的类别信息

根本原因

问题的核心在于训练数据中<ref-object>标签与ref数组中元素的对应关系不匹配。具体表现为：

1. 用户消息中包含4个<ref-object>标签
2. 助理回复中包含4个<ref-object>标签和12个<bbox>标签
3. 但ref数组中只有4个类别名称

这种不匹配导致模型无法正确学习到类别信息与边界框的对应关系。

解决方案

要解决这个问题，必须确保训练数据满足以下条件：

1. 用户消息中的<ref-object>数量必须等于助理回复中的<ref-object>数量
2. 助理回复中的<ref-object>数量必须等于ref数组的长度
3. 每个<ref-object>对应的<bbox>数量可以不同，但必须明确对应关系

正确的数据格式示例：

{
  "messages": [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "<image>找到图像中的<ref-object><ref-object>"},
    {"role": "assistant", "content": "<ref-object><bbox><bbox><ref-object><bbox>"}
  ],
  "images": ["image_path.jpg"],
  "objects": {
    "ref": ["cat", "dog"],
    "bbox": [[x1,y1,x2,y2], [x3,y3,x4,y4], [x5,y5,x6,y6]]
  }
}

最佳实践建议

1. 数据验证：在训练前编写脚本检查数据格式是否符合规范
2. 可视化检查：将标注数据可视化，确认每个边界框都有正确的类别标签
3. 逐步测试：先使用小规模数据集测试，确认模型能正确学习类别信息
4. 版本控制：记录每次数据修改的版本，便于问题追踪

总结

Grounding任务的数据准备需要特别注意标签与标注信息的对应关系。在Modelscope/Swift项目中，确保<ref-object>、<bbox>和ref数组之间的严格对应是训练成功的关键。开发者应该建立规范的数据检查流程，避免因数据格式问题导致模型训练失败。

通过规范数据格式，开发者可以充分利用Qwen2-VL等视觉语言模型的强大能力，实现高质量的物体检测和定位任务。