Video-LLaVA模型训练后的保存位置解析

模型训练输出目录结构

在Video-LLaVA项目中进行指令微调训练后，模型权重会保存在用户指定的输出目录中。根据项目实践，当使用默认配置时，训练完成的模型会存储在./checkpoints/Video-LLaVA-7B路径下。

保存内容详解

训练完成后，输出目录将包含以下关键文件：

1. 模型权重文件：

   • pytorch_model-00001-of-00002.bin
   • pytorch_model-00002-of-00002.bin
   • pytorch_model.bin.index.json（权重索引文件）

2. 配置文件：

   • config.json（模型架构配置）
   • generation_config.json（生成配置）

3. 训练相关文件：

   • training_args.bin（训练参数）
   • trainer_state.json（训练状态）

4. 分词器文件：

   • tokenizer.model
   • tokenizer_config.json
   • special_tokens_map.json

与预训练模型的区别

值得注意的是，指令微调后的完整模型与预训练阶段保存的模型有以下关键区别：

1. 内容完整性：

   • 预训练阶段仅保存跨模态适配器（mm_projector.bin）
   • 指令微调后保存完整模型，包含视觉编码器、MLP适配器和语言模型

2. 文件结构：

   • 预训练输出较为简单
   • 完整模型包含分片权重文件和更多配置文件

训练完成确认

用户可以通过以下方式确认训练是否正常完成：

1. 检查训练日志中的完成提示
2. 验证输出目录中是否包含上述完整文件集
3. 确认文件大小是否符合预期（7B模型的总权重文件大小应在约14GB左右）

常见问题解答

1. 为什么看不到单独的语言模型或视觉编码器权重？

   • 项目采用统一保存策略，所有组件权重都整合在同一个检查点中

2. 训练中断后如何恢复？

   • 检查点目录已包含恢复训练所需的全部信息
   • 只需从相同目录继续训练即可

3. 如何区分预训练和微调后的模型？

   • 主要看文件内容完整性
   • 预训练只有适配器权重
   • 微调后包含完整模型权重

通过理解这些保存机制，用户可以更好地管理Video-LLaVA模型的训练过程和输出结果。