如何从零训练 VideoSeal:图像预训练 + 视频微调全流程与参数调优清单
如何从零训练 VideoSeal:图像预训练 + 视频微调全流程与参数调优清单
VideoSeal 是一款开源的高效视频与图像水印模型,本文带你从零开始训练自己的水印模型:完整讲解图像预训练 + 视频微调全流程,并附上一份可直接照抄的核心参数调优清单,帮你快速上手训练。
官方推荐的路线是:先在图像上预训练,再在视频上微调。即使你最终目标是视频水印,图像预训练也是必不可少的第一步(参见 docs/training.md)。
一、训练前准备:环境与数据集配置
1. 环境要求与安装步骤
推荐 Python 3.10 + PyTorch 2.3+(CUDA 12.1):
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.1 -c pytorch -c nvidia
pip install -r requirements.txt
pip install decord # 视频训练建议安装
💡
decord是视频数据读取的加速库,只跑推理可以不装,但做视频训练时建议装上。
2. 数据集 YAML 配置:只需一个图片文件夹
训练数据不需要复杂标注——一个图片文件夹就能开始。在 configs/datasets/ 下新建一个 YAML 文件指向你的数据目录:
# configs/datasets/myimages.yaml
train_dir: /path/to/images/train/
val_dir: /path/to/images/val/
train_annotation_file: null
val_annotation_file: null
也支持 COCO 格式标注(可选)。可以参考仓库自带的示例配置:configs/datasets/sa-1b.yaml、configs/datasets/sa-v.yaml。
二、图像预训练:从零开始的第一阶段
使用 torchrun 启动多卡训练(入口为 train.py)。官方 128-bit 图像预训练命令如下,2 卡为例:
OMP_NUM_THREADS=40 torchrun --nproc_per_node=2 train.py --local_rank 0 \
--video_dataset none --image_dataset myimages --workers 8 \
--extractor_model convnext_tiny --embedder_model unet_small2_yuv_quant \
--nbits 128 \
--scaling_w_schedule Cosine,scaling_min=0.2,start_epoch=200,epochs=200 \
--scaling_w 1.0 --attenuation jnd_1_1 \
--epochs 601 --iter_per_epoch 1000 \
--scheduler CosineLRScheduler,lr_min=1e-6,t_initial=601,warmup_lr_init=1e-8,warmup_t=20 \
--optimizer AdamW,lr=5e-4 \
--lambda_dec 1.0 --lambda_d 0.1 --lambda_i 0.1 --perceptual_loss yuv \
--num_augs 2 --augmentation_config configs/all_augs.yaml \
--disc_in_channels 1 --disc_start 50
关键点解读:
- 模型结构:
embedder_model(嵌入器)与extractor_model(提取器)可在 configs/embedder.yaml 和 configs/extractor.yaml 中查看,官方组合是unet_small2_yuv_quant+convnext_tiny --nbits:水印比特数,常用 128 或 256--scaling_w 1.0+ 余弦调度:训练初期水印强度设为 1.0,第 200 epoch 起用 Cosine 调度慢慢降到 0.2——先强后弱,利于收敛--attenuation jnd_1_1:启用 JND(最小可觉察差异)掩蔽,让水印藏在纹理丰富处(实现见 videoseal/modules/jnd.py,可选配置见 configs/attenuation.yaml)
三、视频微调:把图像模型升级为视频模型
图像阶段训练完成后,用 --resume_from 加载 checkpoint 继续微调:
OMP_NUM_THREADS=40 torchrun --nproc_per_node=2 train.py --local_rank 0 \
--video_dataset myvideos --image_dataset none --workers 0 --frames_per_clip 16 \
--resume_from /path/to/image/checkpoint.pth \
--resume_optimizer_state True --resume_disc True \
--videoseal_step_size 4 --lowres_attenuation True \
--img_size_proc 256 --img_size_val 768 --img_size 768 \
--nbits 128 --scaling_w 0.2 --attenuation jnd_1_1 \
--epochs 601 --iter_per_epoch 100 \
--optimizer AdamW,lr=1e-5 \
--lambda_dec 1.0 --lambda_d 0.5 --lambda_i 0.1 --perceptual_loss yuv \
--num_augs 2 --augmentation_config configs/all_augs.yaml \
--disc_in_channels 1 --disc_start 50
视频阶段的差异要点:
| 参数 | 说明 |
|---|---|
--resume_from |
加载图像阶段 checkpoint;--resume_disc / --resume_optimizer_state 决定是否一并恢复判别器与优化器状态 |
--frames_per_clip 16 |
每个视频片段取 16 帧,帧太多会爆显存(视频按 batch=1 做梯度累积) |
--videoseal_step_size 4 |
水印每 4 帧传播一次,兼顾时序一致性与计算量 |
--lowres_attenuation True |
在低分辨率上计算 JND 再上采样,省显存 |
--img_size_proc 256 / --img_size 768 |
模型内部插值用 256、加载用 768,高分辨率训练技巧 |
--scaling_w 0.2(无 schedule) |
微调阶段水印强度固定在较低值,保证不可感知性 |
AdamW,lr=1e-5 |
比图像阶段小两个数量级的小学习率 |
四、VideoSeal 核心参数调优清单
下面是训练时最需要关注的参数速查表:
| 参数 | 默认/推荐值 | 调优建议 |
|---|---|---|
--nbits |
128 / 256 | 比特数越多越难学,新手从 128 起步 |
--scaling_w |
图像 1.0→0.2,视频 0.2 | 越大越鲁棒但越可见;调不好先加它 |
--scaling_w_schedule |
Cosine,... |
"先强后弱"是官方配方,强烈建议保留 |
--attenuation |
jnd_1_1 |
开启 JND 掩蔽能显著提升不可感知性 |
--lambda_dec |
1.0 | 解码损失权重,核心损失 |
--lambda_d |
图像 0.1 / 视频 0.5 | 对抗损失权重,视频阶段翻倍 |
--lambda_i + --perceptual_loss |
0.1 + yuv |
感知损失权重,可选 mse/lpips/watson_vgg;不收敛时可先设 0 |
--num_augs + --augmentation_config |
2 + configs/all_augs.yaml | 随机叠加 jpeg、h264 压缩、裁剪、旋转等真实攻击(定义在 videoseal/augmentation/augmenter.py) |
--disc_start |
50 | 第 50 epoch 后才启用判别器,前期先稳住主任务 |
--optimizer / --scheduler |
AdamW + CosineLRScheduler | 图像阶段 lr=5e-4,视频微调 lr=1e-5 |
上图展示了鲁棒性(robustness)与不可感知性(PSNR)的权衡关系——这也是调参的最终目标:在 Pareto 前沿上向右上方移动。
五、训练日志监控与排错指南
- 看位精度:训练启动后
bit_acc(bit accuracy)应快速上升,这是最关键的"训练正常"信号 - 看输出目录:
output_dir下每轮都会保存checkpoint.pth、log.txt,并定期导出原图/水印图/差分图对比图片,TensorBoard 日志在tensorboard/子目录 - 完整评测:训练结束后可运行
python -m videoseal.evals.full --checkpoint /path/to/checkpoint.pth生成各项指标 CSV(见 videoseal/evals/full.py)
⚠️ 位精度不涨?官方排错顺序:
- 先去掉感知损失:
--lambda_i 0 - 再调大水印强度:加大
--scaling_w - 最后移除数据增强:去掉
--num_augs相关参数
损失函数的具体实现(解码、对抗、感知损失的组合)在 videoseal/losses/videosealloss.py,想深入调参可以通读一遍。
六、总结
从零训练一个 VideoSeal 水印模型只需三步:配好数据集 YAML → 图像预训练(强水印起步 + 余弦衰减)→ 加载 checkpoint 视频微调(小学习率)。调参时牢记"先强后弱、图像打底、视频收尾"的原则,配合位精度监控,就能稳定得到鲁棒且不可感知的专属水印模型。更多官方细节可查阅 docs/training.md 与 train.py 顶部注释中的完整示例。

