SCAIL-2零样本多参考图生成:用额外图像补全角色背面、特写与遮挡背景

原创2026-10-12 18:12:50424 阅读
文章标签:人工智能媒体生成计算机视觉多模态视频深度学习

SCAIL-2零样本多参考图生成:用额外图像补全角色背面、特写与遮挡背景

SCAIL-2 是一个开源的端到端角色动画模型,能把单张静态参考图变成会动的人物视频。它的零样本多参考图生成功能允许你在主参考图之外传入额外参考图,让模型补全单张图给不出的信息——比如角色背面视角、服装特写和被人物遮挡的背景,无需任何额外训练,推理时直接使用即可。

SCAIL-2角色动画模型功能总览

为什么单张参考图常常不够用

做角色动画时,主参考图通常只能展示一个视角,这会留下三类信息缺口:

缺口 后果 谁来补
角色背面 转身动作时服装、发型全靠模型"脑补",容易穿帮 背面参考图
细节不清 五官、衣领纹样在全身图里太小 特写参考图
背景被挡 人物身后的场景看不到 干净背景参考图

多参考图生成就是针对这些缺口的零样本能力:模型把额外图像当作"视觉证据",与主参考图联合理解角色和场景。

官方示例 examples/animation_003_multi_ref/ 用的是一套日式教室动漫场景。主参考图是人物正面全身照:

SCAIL-2多参考图生成的主参考图:动漫教室场景中的角色正面

而三个信息缺口正好由三张额外参考图补上——背面视角、正面特写、无角色背景:

SCAIL-2多参考图生成的背面参考图:角色背影补全转身时的服装与发型

SCAIL-2多参考图生成的特写参考图:角色面部与上衣细节近景

SCAIL-2多参考图生成的背景参考图:无人物遮挡的教室场景

掩码颜色规则:给每张额外参考图写对 mask

SCAIL-2 中 mask 是关键输入,每张额外参考图都要配一张 mask,按位置一一配对。颜色有固定语义(见 README.md 的 Mask Semantics 一节):

  • 🖤 黑色:告诉模型此处的背景不该出现;
  • 🤍 白色:告诉模型此处的背景应当可见;
  • 💙 彩色(如蓝色):编码角色区域与驱动动作的对应关系。

主参考图的 mask 是"蓝色人形 + 白色背景"(背景可见):

SCAIL-2多参考图主参考图掩码:蓝色角色剪影与白色背景区域

角色类额外参考图的 mask 则相反——人物是语义色,无关背景涂黑,防止模型把黑底当成目标画面:

SCAIL-2多参考图角色掩码:蓝色角色剪影加黑色背景

三条实用规则:

  1. 干净背景参考图:有效背景区域涂白色;若背景没被人物遮挡,整图全白即可(官方示例的 background_mask.png 就是全白);
  2. 背景不同的角色参考图:角色区域保留语义色,背景全部涂黑;
  3. 同一个角色要在主参考图、额外参考图和驱动 mask 中使用一致的语义颜色,模型才会认定它们是同一个主体。

多参考图生成命令快速上手

先准备环境(Python 3.10–3.12):

git clone https://gitcode.com/gh_mirrors/sc/SCAIL-2
cd SCAIL-2
pip install -r requirements.txt

按 README.md 的 Checkpoints Download 一节下载模型权重,并用 convert.py 转换格式后,即可运行多参考图推理。--additional_ref_image 和 --additional_ref_mask_image 传入数量相同、按位置配对的图像列表(校验逻辑见 generate.py):

python generate.py \
    --model SCAIL-14B \
    --ckpt_dir /path/to/SCAIL-2 \
    --scail_path /path/to/SCAIL-2.safetensors \
    --target_w 896 --target_h 512 \
    --image examples/animation_003_multi_ref/ref.png \
    --mask_image examples/animation_003_multi_ref/ref_mask.jpg \
    --pose examples/animation_003_multi_ref/rendered_v2.mp4 \
    --mask_video examples/animation_003_multi_ref/rendered_mask_v2.mp4 \
    --additional_ref_image \
        examples/animation_003_multi_ref/background.png \
        examples/animation_003_multi_ref/character_1.png \
        examples/animation_003_multi_ref/character_0.png \
    --additional_ref_mask_image \
        examples/animation_003_multi_ref/background_mask.png \
        examples/animation_003_multi_ref/character_1_mask.png \
        examples/animation_003_multi_ref/character_0_mask.png \
    --prompt "An anime style character with yellow hair, wearing a white and green sailor uniform and a green skirt, is dancing in a warm anime-style classroom." \
    --save_file output_multi_ref.mp4

核心参数速查:

参数 说明
--additional_ref_image 一张或多张额外参考图(可简写为 --additional_image),与 mask 按位置配对
--additional_ref_mask_image 额外参考图对应的 mask 列表,数量必须与图像一致
--image / --mask_image 主参考图及其 mask
--pose / --mask_video 驱动视频及其逐帧 mask
--prompt 描述生成视频本身的长文本,不要写成指令

多参考图在模型内部的处理流程可参考 wan/scail.py(图像与 mask 的编码对齐)和 wan/modules/model_scail2.py(additional_ref 分支与前缀 RoPE)。

常见坑与优化建议

  • ⚠️ 数量不一致会直接报错:--additional_ref_image 与 --additional_ref_mask_image 的路径数量必须相等,否则 generate.py 在启动时就会抛出 ValueError;
  • ⚠️ mask 颜色写反是最大坑:把角色参考图的背景涂成白色,模型会把那块背景当成目标内容;把背景参考图涂黑,背景就会被抹掉;
  • 💡 prompt 越具体越好:SCAIL-2 用长描述提示词训练,空提示词或短提示词效果明显下降,建议详细描述角色的发型、服装和场景元素(参考 examples/input.txt 与 examples/prompt_examples.txt 的写法);
  • 💡 质量下降的小技巧:多参考图属于实验性能力,官方说明质量可能略有波动;社区经验是把静态参考图"mock"成视频帧输入,可明显减少劣化与伪影,ComfyUI 生态也已支持 SCAIL-2 的多参考图工作流;
  • 💡 分辨率要求:--target_w 和 --target_h 需能被 32 整除,如示例的 896 x 512。

相关资源

登录后查看全文
SCAIL-2