MiniMax H3参考生视频深度解析:3张参考图锁定角色身份,音色风格全一致

原创2026-10-19 11:20:144,269 阅读

MiniMax H3参考生视频深度解析:3张参考图锁定角色身份,音色风格全一致

MiniMax H3 参考生视频(ref2va)是 ComfyUI 工作流项目 MiniMax-H3 的核心玩法:只要 3 张角色参考图(全身、半身、脸部特写),就能生成身份、服装、音色完全一致的视频。 本项目提供了一套可直接导入的 ComfyUI 工作流,帮你从零完成角色一致视频、带原生音频的镜头生成、低显存加速出片和姿势控制。

🎬 MiniMax H3 是 MiniMax 的全能多模态生成模型:一次前向同时理解文本、图像、视频、音频,直接生成自带立体声音频的视频——台词、音效、音乐不是后期叠加,而是一并建模出来的。最高支持 2K 分辨率、24fps、约 15 秒时长。

为什么"参考图锁身份"这么重要

传统图生视频只吃一张首帧,角色换个机位、换个服装就容易"换脸"。而 H3 的 reference-to-video(ref2va) 任务把参考素材当成"身份数据库":

参考类型 数量上限 作用
参考图片 ref_images 9 张 锁定角色身份、服装、风格
参考视频 ref_videos 3 个 迁移动作、运镜、舞蹈节奏(可带原声)
独立音频 ref_audios 3 段 复刻音色、口型、说话风格

官方模板 Minimax_H3_ref2video.json 内置的经典方案就是 3 张参考图组合拳:全身照定体态比例、半身上身照定服装细节、脸部特写定五官发型——三者交叉约束,角色一致性远超单图参考。

提示词写法:用标签把"谁是谁"说清楚

Ref2va 的输出对提示词措辞非常敏感。核心规则:按参考素材的接入顺序,用 <Picture 1>、<Video 1>、<Audio 1> 标签精确引用,并明确"哪个参考驱动画面的哪部分"。模板里的提示词结构值得直接抄:

  • subject_definitions:先用 <Picture 1> 是同一角色的全身参考 逐张定义参考图,再用 <Subject 1> 汇总"这就是同一个角色",描述发色、眼型、五官等关键特征
  • integrated_multimodal_description:按分镜(Shot)描述动作、镜头推进、表情变化,反复强调"用三张参考图共同保留身份"
  • overall_soundscape / non_diegetic_music:单独描述环境音与背景音乐,这就是"音色风格全一致"落地的地方

以 Minimax_h3_ref2va_vram12gb_fdh_api.json 里的示例为例:三张参考图定义同一个动漫少女,提示词声明"虽然参考图服装不同,目标视频中她穿新的白色婚纱"——角色身份不变,服装可以换,这正是 ref2va 最擅长的能力。

关键参数速查表

导入 Minimax_H3_ref2video.json 后,重点看这几个节点:

参数 建议 说明
ref_image_size max(追求一致性)/ match(追求速度) max 保留最长 2048px 短边的参考细节,身份保真更强,但每个采样步都要拖着参考 token,更慢
采样器 res_multistep 模板默认值
调度器 beta 或 normal 对参考密集的提示词,通常优于 simple
分辨率 16:9 从 864×480 到 1920×1088 由 Resolution Selector 控制,短边 768px 为原生画布
时长 最长约 15 秒 由 Math Expression 节点换算成帧数

采样器输出的音频+视频联合 latent,会分别送入 VAEDecode(视频,minimax_h3_video_vae_fp16)和 VAEDecodeAudio(音频,minimax_h3_audio_vae_fp32),最后 CreateVideo 把两者合轨成一个音画同步的 MP4——出片即带声,无需二次配音。

需要准备的模型

工作流笔记里写清楚了模型存放位置:

  • models/vae/:minimax_h3_video_vae_fp16.safetensors、minimax_h3_audio_vae_fp32.safetensors
  • models/diffusion_models/:minimax_h3_ref2va_pruned_int8_convrot.safetensors(注意与文生图/图生视频模板用的 fl2va 权重不同)
  • models/text_encoders/:qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors

下载前请先把 ComfyUI 更新到最新版本。

12GB 显存也能跑:4步加速 + 低显存注意力

显存吃紧可以看 Minimax_h3_ref2va_vram12gb_fdh_api.json,这套配置做了三件事:

  1. 加载 4 步加速 LoRA minimax_h3_ref2v_turbo_4step,采样步数压到 4 步(euler + simple 调度)
  2. 挂上 MiniMaxLowVRAMAttention(按 4 头分块)+ MiniMaxChunkFeedForward(2 块分块),显著降低峰值显存
  3. 参考图仍保持 3 图组合,身份一致性不牺牲

同目录还有 Minimax_h3_ref2va_LBHupscaler.json,在 4 步出片后接 3D latent 上采样器直出 1088×1920,一步到位。

进阶玩法:姿势控制、舞蹈迁移与镜头控制

仓库里还有几个进阶模板值得了解:

新手上手路线(三步走)

  1. 更新 ComfyUI,按上面清单下载 ref2va 相关模型
  2. 拖入 Minimax_H3_ref2video.json,接上你的 3 张角色参考图(全身 → 半身 → 脸部特写)
  3. 按 subject_definitions + integrated_multimodal_description + overall_soundscape 三段式写提示词,标签顺序与接图顺序一致,点"队列"出片

💡 小贴士:第一次跑建议先用 ref_image_size = match + 864×480 快速验证提示词效果,确认角色一致后再切 max 和高分辨率精修。Ref2va 对措辞敏感,"标签引用不准"是最常见的身份漂移原因。

这一套组合下来,MiniMax-H3 工作流基本覆盖了从"角色立住"到"音画同步出片"的完整链路,新手也能照着模板快速出第一条角色一致视频。

登录后查看全文
Minimax-H3