如何从零训练 VideoSeal:图像预训练 + 视频微调全流程与参数调优清单

原创2026-10-26 09:21:321,907 阅读

如何从零训练 VideoSeal:图像预训练 + 视频微调全流程与参数调优清单

VideoSeal 是一款开源的高效视频与图像水印模型,本文带你从零开始训练自己的水印模型:完整讲解图像预训练 + 视频微调全流程,并附上一份可直接照抄的核心参数调优清单,帮你快速上手训练。

官方推荐的路线是:先在图像上预训练,再在视频上微调。即使你最终目标是视频水印,图像预训练也是必不可少的第一步(参见 docs/training.md)。

VideoSeal 训练数据集示例:一张用于图像水印训练的原始图片

一、训练前准备:环境与数据集配置

1. 环境要求与安装步骤

推荐 Python 3.10 + PyTorch 2.3+(CUDA 12.1):

conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.1 -c pytorch -c nvidia
pip install -r requirements.txt
pip install decord   # 视频训练建议安装

💡 decord 是视频数据读取的加速库,只跑推理可以不装,但做视频训练时建议装上。

2. 数据集 YAML 配置:只需一个图片文件夹

训练数据不需要复杂标注——一个图片文件夹就能开始。在 configs/datasets/ 下新建一个 YAML 文件指向你的数据目录:

# configs/datasets/myimages.yaml
train_dir: /path/to/images/train/
val_dir: /path/to/images/val/
train_annotation_file: null
val_annotation_file: null

也支持 COCO 格式标注(可选)。可以参考仓库自带的示例配置:configs/datasets/sa-1b.yaml、configs/datasets/sa-v.yaml。

二、图像预训练:从零开始的第一阶段

使用 torchrun 启动多卡训练(入口为 train.py)。官方 128-bit 图像预训练命令如下,2 卡为例:

OMP_NUM_THREADS=40 torchrun --nproc_per_node=2 train.py --local_rank 0 \
    --video_dataset none --image_dataset myimages --workers 8 \
    --extractor_model convnext_tiny --embedder_model unet_small2_yuv_quant \
    --nbits 128 \
    --scaling_w_schedule Cosine,scaling_min=0.2,start_epoch=200,epochs=200 \
    --scaling_w 1.0 --attenuation jnd_1_1 \
    --epochs 601 --iter_per_epoch 1000 \
    --scheduler CosineLRScheduler,lr_min=1e-6,t_initial=601,warmup_lr_init=1e-8,warmup_t=20 \
    --optimizer AdamW,lr=5e-4 \
    --lambda_dec 1.0 --lambda_d 0.1 --lambda_i 0.1 --perceptual_loss yuv \
    --num_augs 2 --augmentation_config configs/all_augs.yaml \
    --disc_in_channels 1 --disc_start 50

关键点解读:

  • 模型结构:embedder_model(嵌入器)与 extractor_model(提取器)可在 configs/embedder.yaml 和 configs/extractor.yaml 中查看,官方组合是 unet_small2_yuv_quant + convnext_tiny
  • --nbits:水印比特数,常用 128 或 256
  • --scaling_w 1.0 + 余弦调度:训练初期水印强度设为 1.0,第 200 epoch 起用 Cosine 调度慢慢降到 0.2——先强后弱,利于收敛
  • --attenuation jnd_1_1:启用 JND(最小可觉察差异)掩蔽,让水印藏在纹理丰富处(实现见 videoseal/modules/jnd.py,可选配置见 configs/attenuation.yaml)

三、视频微调:把图像模型升级为视频模型

图像阶段训练完成后,用 --resume_from 加载 checkpoint 继续微调:

OMP_NUM_THREADS=40 torchrun --nproc_per_node=2 train.py --local_rank 0 \
    --video_dataset myvideos --image_dataset none --workers 0 --frames_per_clip 16 \
    --resume_from /path/to/image/checkpoint.pth \
    --resume_optimizer_state True --resume_disc True \
    --videoseal_step_size 4 --lowres_attenuation True \
    --img_size_proc 256 --img_size_val 768 --img_size 768 \
    --nbits 128 --scaling_w 0.2 --attenuation jnd_1_1 \
    --epochs 601 --iter_per_epoch 100 \
    --optimizer AdamW,lr=1e-5 \
    --lambda_dec 1.0 --lambda_d 0.5 --lambda_i 0.1 --perceptual_loss yuv \
    --num_augs 2 --augmentation_config configs/all_augs.yaml \
    --disc_in_channels 1 --disc_start 50

VideoSeal 视频水印训练中的视频帧示例

视频阶段的差异要点:

参数 说明
--resume_from 加载图像阶段 checkpoint;--resume_disc / --resume_optimizer_state 决定是否一并恢复判别器与优化器状态
--frames_per_clip 16 每个视频片段取 16 帧,帧太多会爆显存(视频按 batch=1 做梯度累积)
--videoseal_step_size 4 水印每 4 帧传播一次,兼顾时序一致性与计算量
--lowres_attenuation True 在低分辨率上计算 JND 再上采样,省显存
--img_size_proc 256 / --img_size 768 模型内部插值用 256、加载用 768,高分辨率训练技巧
--scaling_w 0.2(无 schedule) 微调阶段水印强度固定在较低值,保证不可感知性
AdamW,lr=1e-5 比图像阶段小两个数量级的小学习率

四、VideoSeal 核心参数调优清单

下面是训练时最需要关注的参数速查表:

参数 默认/推荐值 调优建议
--nbits 128 / 256 比特数越多越难学,新手从 128 起步
--scaling_w 图像 1.0→0.2,视频 0.2 越大越鲁棒但越可见;调不好先加它
--scaling_w_schedule Cosine,... "先强后弱"是官方配方,强烈建议保留
--attenuation jnd_1_1 开启 JND 掩蔽能显著提升不可感知性
--lambda_dec 1.0 解码损失权重,核心损失
--lambda_d 图像 0.1 / 视频 0.5 对抗损失权重,视频阶段翻倍
--lambda_i + --perceptual_loss 0.1 + yuv 感知损失权重,可选 mse/lpips/watson_vgg;不收敛时可先设 0
--num_augs + --augmentation_config 2 + configs/all_augs.yaml 随机叠加 jpeg、h264 压缩、裁剪、旋转等真实攻击(定义在 videoseal/augmentation/augmenter.py)
--disc_start 50 第 50 epoch 后才启用判别器,前期先稳住主任务
--optimizer / --scheduler AdamW + CosineLRScheduler 图像阶段 lr=5e-4,视频微调 lr=1e-5

VideoSeal 水印模型鲁棒性与不可感知性(PSNR)对比图

上图展示了鲁棒性(robustness)与不可感知性(PSNR)的权衡关系——这也是调参的最终目标:在 Pareto 前沿上向右上方移动。

五、训练日志监控与排错指南

  • 看位精度:训练启动后 bit_acc(bit accuracy)应快速上升,这是最关键的"训练正常"信号
  • 看输出目录:output_dir 下每轮都会保存 checkpoint.pth、log.txt,并定期导出原图/水印图/差分图对比图片,TensorBoard 日志在 tensorboard/ 子目录
  • 完整评测:训练结束后可运行 python -m videoseal.evals.full --checkpoint /path/to/checkpoint.pth 生成各项指标 CSV(见 videoseal/evals/full.py)

⚠️ 位精度不涨?官方排错顺序:

  1. 先去掉感知损失:--lambda_i 0
  2. 再调大水印强度:加大 --scaling_w
  3. 最后移除数据增强:去掉 --num_augs 相关参数

损失函数的具体实现(解码、对抗、感知损失的组合)在 videoseal/losses/videosealloss.py,想深入调参可以通读一遍。

六、总结

从零训练一个 VideoSeal 水印模型只需三步:配好数据集 YAML → 图像预训练(强水印起步 + 余弦衰减)→ 加载 checkpoint 视频微调(小学习率)。调参时牢记"先强后弱、图像打底、视频收尾"的原则,配合位精度监控,就能稳定得到鲁棒且不可感知的专属水印模型。更多官方细节可查阅 docs/training.md 与 train.py 顶部注释中的完整示例。

登录后查看全文
videoseal