MiniMax H3参考生视频深度解析:3张参考图锁定角色身份,音色风格全一致
MiniMax H3参考生视频深度解析:3张参考图锁定角色身份,音色风格全一致
MiniMax H3 参考生视频(ref2va)是 ComfyUI 工作流项目 MiniMax-H3 的核心玩法:只要 3 张角色参考图(全身、半身、脸部特写),就能生成身份、服装、音色完全一致的视频。 本项目提供了一套可直接导入的 ComfyUI 工作流,帮你从零完成角色一致视频、带原生音频的镜头生成、低显存加速出片和姿势控制。
🎬 MiniMax H3 是 MiniMax 的全能多模态生成模型:一次前向同时理解文本、图像、视频、音频,直接生成自带立体声音频的视频——台词、音效、音乐不是后期叠加,而是一并建模出来的。最高支持 2K 分辨率、24fps、约 15 秒时长。
为什么"参考图锁身份"这么重要
传统图生视频只吃一张首帧,角色换个机位、换个服装就容易"换脸"。而 H3 的 reference-to-video(ref2va) 任务把参考素材当成"身份数据库":
| 参考类型 | 数量上限 | 作用 |
|---|---|---|
参考图片 ref_images |
9 张 | 锁定角色身份、服装、风格 |
参考视频 ref_videos |
3 个 | 迁移动作、运镜、舞蹈节奏(可带原声) |
独立音频 ref_audios |
3 段 | 复刻音色、口型、说话风格 |
官方模板 Minimax_H3_ref2video.json 内置的经典方案就是 3 张参考图组合拳:全身照定体态比例、半身上身照定服装细节、脸部特写定五官发型——三者交叉约束,角色一致性远超单图参考。
提示词写法:用标签把"谁是谁"说清楚
Ref2va 的输出对提示词措辞非常敏感。核心规则:按参考素材的接入顺序,用 <Picture 1>、<Video 1>、<Audio 1> 标签精确引用,并明确"哪个参考驱动画面的哪部分"。模板里的提示词结构值得直接抄:
subject_definitions:先用<Picture 1> 是同一角色的全身参考逐张定义参考图,再用<Subject 1>汇总"这就是同一个角色",描述发色、眼型、五官等关键特征integrated_multimodal_description:按分镜(Shot)描述动作、镜头推进、表情变化,反复强调"用三张参考图共同保留身份"overall_soundscape/non_diegetic_music:单独描述环境音与背景音乐,这就是"音色风格全一致"落地的地方
以 Minimax_h3_ref2va_vram12gb_fdh_api.json 里的示例为例:三张参考图定义同一个动漫少女,提示词声明"虽然参考图服装不同,目标视频中她穿新的白色婚纱"——角色身份不变,服装可以换,这正是 ref2va 最擅长的能力。
关键参数速查表
导入 Minimax_H3_ref2video.json 后,重点看这几个节点:
| 参数 | 建议 | 说明 |
|---|---|---|
ref_image_size |
max(追求一致性)/ match(追求速度) |
max 保留最长 2048px 短边的参考细节,身份保真更强,但每个采样步都要拖着参考 token,更慢 |
| 采样器 | res_multistep |
模板默认值 |
| 调度器 | beta 或 normal |
对参考密集的提示词,通常优于 simple |
| 分辨率 | 16:9 从 864×480 到 1920×1088 | 由 Resolution Selector 控制,短边 768px 为原生画布 |
| 时长 | 最长约 15 秒 | 由 Math Expression 节点换算成帧数 |
采样器输出的音频+视频联合 latent,会分别送入 VAEDecode(视频,minimax_h3_video_vae_fp16)和 VAEDecodeAudio(音频,minimax_h3_audio_vae_fp32),最后 CreateVideo 把两者合轨成一个音画同步的 MP4——出片即带声,无需二次配音。
需要准备的模型
工作流笔记里写清楚了模型存放位置:
models/vae/:minimax_h3_video_vae_fp16.safetensors、minimax_h3_audio_vae_fp32.safetensorsmodels/diffusion_models/:minimax_h3_ref2va_pruned_int8_convrot.safetensors(注意与文生图/图生视频模板用的fl2va权重不同)models/text_encoders/:qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors
下载前请先把 ComfyUI 更新到最新版本。
12GB 显存也能跑:4步加速 + 低显存注意力
显存吃紧可以看 Minimax_h3_ref2va_vram12gb_fdh_api.json,这套配置做了三件事:
- 加载 4 步加速 LoRA
minimax_h3_ref2v_turbo_4step,采样步数压到 4 步(euler+simple调度) - 挂上
MiniMaxLowVRAMAttention(按 4 头分块)+MiniMaxChunkFeedForward(2 块分块),显著降低峰值显存 - 参考图仍保持 3 图组合,身份一致性不牺牲
同目录还有 Minimax_h3_ref2va_LBHupscaler.json,在 4 步出片后接 3D latent 上采样器直出 1088×1920,一步到位。
进阶玩法:姿势控制、舞蹈迁移与镜头控制
仓库里还有几个进阶模板值得了解:
- 🕺 舞蹈动作迁移:Minimax_h3_videoref_api.json 用真人跳舞视频做
<Video 1>动作参考,提示词里明确"迁移编排与节奏,但不复制真人的脸和服装",让二次元角色跳出真人的舞蹈 - 💃 姿态控制:Minimax_h3_phase2_ref2va_pose_control_448x800_api.json 加载
minimax_h3_fun_controlnet_union控制网,用姿势视频硬约束肢体动作;Minimax_h3_controlnet_aux_dwpose_UI.json 则提供可视化 UI 版 - 🎥 虚拟摄影机:Minimax_h3_VFX_Camera_Control.json 支持镜头推拉摇移的精细控制
- ⚡ Fast H3 系列:Minimax_fast_h3_vsa_sample.json 使用 VSA 稀疏注意力 + 专用快速 VAE,4 步出片;Minimax_fast_h3_720p_to_2x_upscale_allinone.json 则内置 2 倍超分,720p 直出 1080p+
新手上手路线(三步走)
- 更新 ComfyUI,按上面清单下载 ref2va 相关模型
- 拖入 Minimax_H3_ref2video.json,接上你的 3 张角色参考图(全身 → 半身 → 脸部特写)
- 按
subject_definitions + integrated_multimodal_description + overall_soundscape三段式写提示词,标签顺序与接图顺序一致,点"队列"出片
💡 小贴士:第一次跑建议先用 ref_image_size = match + 864×480 快速验证提示词效果,确认角色一致后再切 max 和高分辨率精修。Ref2va 对措辞敏感,"标签引用不准"是最常见的身份漂移原因。
这一套组合下来,MiniMax-H3 工作流基本覆盖了从"角色立住"到"音画同步出片"的完整链路,新手也能照着模板快速出第一条角色一致视频。