CogVideo项目中使用微调模型的技术指南

概述

在THUDM/CogVideo项目中，用户成功完成模型微调后获得.pt文件，但面临如何使用这些微调模型的问题。本文将详细介绍在CogVideo项目中加载和使用微调模型的具体方法，帮助开发者充分利用微调后的模型性能。

微调模型加载配置

使用微调模型的核心在于正确配置inference.yaml文件。该文件是模型推理阶段的关键配置文件，需要特别注意以下几个参数：

1. base参数：必须与微调时使用的配置文件保持一致
2. load参数：指定微调模型文件的路径
3. 运行命令：需要正确组合基础配置和推理配置

具体实现步骤

1. 修改推理配置文件

在CogVideo/sat/configs/inference.yaml文件中，需要重点配置以下参数：

args:
  latent_channels: 16
  mode: inference
  load: "path/to/your/finetuned/model"  # 指向微调后的模型文件
  batch_size: 1
  input_type: txt
  input_file: configs/test.txt
  sampling_num_frames: 13  # 必须为13、11或9
  sampling_fps: 8
  fp16: True  # 对于CogVideoX-2B模型
  output_dir: outputs/
  force_inference: True

2. 运行命令配置

执行推理时，需要同时指定基础配置文件和推理配置文件：

python sample_video.py --base /configs/cogvideox_2b_lora.yaml /configs/inference.yaml --seed 1024

其中：

• --base参数指定基础配置文件路径
• 第二个参数指定推理配置文件路径
• --seed设置随机种子以保证可重复性

注意事项

1. 模型兼容性：确保微调模型与基础模型架构完全兼容
2. 参数一致性：sampling_num_frames必须设置为13、11或9中的一个
3. 精度设置：根据模型大小选择fp16(2B模型)或bf16(5B模型)
4. 路径正确性：确保所有文件路径都正确无误

高级配置选项

对于使用LoRA适配器的微调模型，配置方式略有不同：

load: "path/to/your/lora/adapter"  # 指向LoRA适配器目录

这种配置方式适用于仅微调了部分参数的模型，可以保持基础模型不变的同时应用微调效果。

常见问题解决方案

1. 模型加载失败：检查文件路径是否正确，确保模型文件完整
2. 推理结果异常：验证基础配置文件是否与微调时使用的一致
3. 性能问题：适当调整batch_size参数以优化显存使用

通过以上配置，开发者可以充分利用微调后的模型性能，在视频生成任务中获得更好的效果。