MiniMax H3 ControlNet姿态控制:DWPose+Fun ControlNet完美复刻任意舞蹈动作
MiniMax H3 ControlNet姿态控制:DWPose+Fun ControlNet完美复刻任意舞蹈动作
Minimax-H3 是一个 ComfyUI 工作流项目,收录了 MiniMax H3 视频生成模型的多种现成工作流,其中 ControlNet 姿态控制(Pose Control) 是本文的主角:借助 DWPose 姿态提取 + Fun ControlNet 姿态控制,你可以让任意角色"跟随"一段舞蹈视频的动作,实现动作的完美复刻。无论你是想给自己的虚拟角色编舞,还是想让参考图人物做出视频里的舞蹈,这套工作流都能一次搞定。
一、这套姿态控制方案能做什么?
传统"文生视频"很难精确控制人物的肢体动作,而 MiniMax H3 的 ControlNet 姿态控制把这件事变成了"照抄作业":
- 🎬 输入任意舞蹈视频:系统自动提取每一帧的人体姿态骨架
- 🖼️ 输入 3 张参考图:锁住角色的脸型、发型和整体形象
- 💃 输出动作复刻视频:角色按原视频的动作跳舞,还自带原生立体声音频(脚步声、背景音乐)
简单来说:动作来自视频,形象来自图片,两者自动融合。
二、工作流原理:四步流水线 🔧
核心文件是 Minimax_h3_controlnet_aux_dwpose_UI.json,整个工作流在画布上被清晰地分为四个区域(见 工作流分区定义):
| 区域 | 名称 | 作用 |
|---|---|---|
| ① | Model Load & Low-VRAM Optimization | 加载模型 + 显存优化 |
| ② | Reference Images (3-Ref True Identity) | 三张参考图锁定角色身份 |
| ③ | RGB Video → DWPose → Fun ControlNet | 视频转姿态骨架并注入控制信号 |
| ④ | 4-Step Turbo Sampling & Video Save | 4 步快速采样并导出视频 |
① 模型加载与低显存优化
主模型为 minimax_h3_ref2va_pruned_int8_convrot.safetensors(参考图生视频模型,int8 量化版),再叠加一个 Turbo 4-Step LoRA(LoRA 加载节点),让采样只需 4 步即可完成。
为了照顾中显存显卡,工作流内置了两个优化节点:
② 三张参考图锁定身份
工作流使用 MiniMaxH3ReferenceToVideo 节点,支持最多 3 张参考图。官方示例中的组合是:
- 全身图(连衣裙)
- 半身图(吊带上衣)
- 脸部特写(制服)
提示词采用结构化写法,依次描述 subject_definitions(每张图的角色设定)、integrated_multimodal_description(镜头与动作)、overall_soundscape(环境声)、non_diegetic_music(背景音乐),保证跨镜头的身份一致性。
③ DWPose 提取姿态骨架(核心)
这是"动作复刻"的关键一步(DWPose 节点配置):
- 输入:一段任意舞蹈视频(示例使用
SELECTED_SCOUT_seed45.mp4) - 处理:先经
GetVideoComponents拆帧,再由comfyui_controlnet_aux扩展的 DWPreprocessor 逐帧提取人体姿态 - 模型:内部使用
yolox_l.onnx做人体检测 +dw-ll_ucoco_384.onnx做姿态估计,输出带肢体细节的 DWPose 骨架图
💡 DWPose 相比普通 OpenPose 的优势在于:它基于 DWPose 论文的改进检测器,对手部、面部和细小肢体的定位更稳,舞蹈中快速挥臂、踢腿等动作不容易"断线"。
④ Fun ControlNet 融合 + 4 步采样
姿态骨架交给 Fun ControlNet 加载节点(minimax_h3_fun_controlnet_union_pruned_int8_convrot.safetensors),再通过 MiniMaxH3FunControlNetApply 注入条件,默认参数为:
strength = 1.0(控制强度拉满,动作贴合度最高)start_percent = 0.0,end_percent = 1.0(全程控制)
最后用 euler 采样器 + 4 步调度器快速出片(采样参数),以 24fps 导出视频(CreateVideo 节点)。
三、上手教程:三步开始复刻舞蹈 🚀
第 1 步:准备模型文件
将以下模型放入 ComfyUI 对应目录:
| 模型文件 | 存放目录 | 用途 |
|---|---|---|
minimax_h3_ref2va_pruned_int8_convrot.safetensors |
models/diffusion_models/ | 参考图生视频主模型 |
minimax_h3_fun_controlnet_union_pruned_int8_convrot.safetensors |
models/controlnet/ | Fun ControlNet 姿态控制 |
minimax_h3_video_vae_fp16.safetensors / int8 版 |
models/vae/ | 视频 VAE(fp16 供 ControlNet 分支使用) |
minimax_h3_audio_vae_fp32.safetensors |
models/vae/ | 音频 VAE |
qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors |
models/text_encoders/ | Qwen3-VL 32B 文本编码器 |
| Turbo 4-Step LoRA | models/loras/ | 4 步加速采样 |
第 2 步:导入工作流
在 ComfyUI 中"拖入加载" Minimax_h3_controlnet_aux_dwpose_UI.json,依赖 comfyui_controlnet_aux 及 MiniMax H3 专用节点插件(工作流内已标注完整节点结构)。
第 3 步:替换素材并运行
- 把"Load Input Color Video"换成你的舞蹈视频
- 替换 3 张人物参考图,并按实际形象微调提示词
- 点击 Queue Prompt,等待视频输出(前缀为
phaseE_standard_controlnet_aux_dwpose)
⚠️ 注意:输入视频的帧数应与提示词中的
length参数匹配。示例为 704x1280 分辨率、124 帧(约 5 秒 @24fps)。
四、进阶:小分辨率 API 版本
如果你的机器显存有限,项目还提供了一个 448x800 小画幅的 API 版姿态控制工作流:Minimax_h3_phase2_ref2va_pose_control_448x800_api.json。
它的结构相同,主要差异:
- 输出分辨率降为 448x800(竖屏短视频,显存占用更低)
- 示例输入为
pose_dance.mp4(加载节点),ControlNet 强度同为 1.0(Apply 节点) - 适合批量调用或低配显卡试跑,验证效果后再上 704x1280 高清版
五、参数调优小技巧 📌
| 想解决的问题 | 调整建议 |
|---|---|
| 动作不够贴合原视频 | 提高 MiniMaxH3FunControlNetApply 的 strength(保持 1.0 或微调) |
| 画面风格化太强、骨架感明显 | 降低 strength 至 0.7~0.9,让模型"自由发挥" |
| 显存不足 | 优先使用 int8/fp16 VAE、开启 Low VRAM Attention 与 Chunk FeedForward;或换 448x800 API 版 |
| 换舞蹈动作 | 直接替换输入视频,提示词中的动作描述同步修改即可 |
六、项目其他工作流速览 📂
Minimax-H3 项目还包含多种场景的 ComfyUI 工作流,可按需取用:
- Minimax_H3_txt2video.json:文生视频
- Minimax_H3_ref2video.json:参考图生视频
- Minimax_H3_img2video.json:图生视频
- Minimax_h3_VFX_Camera_Control.json:VFX 镜头/运镜控制
- Minimax_fast_h3_vsa5_chunk2_fastvae_fhd.json、Minimax_fast_h3_720p_to_2x_upscale_allinone.json:快速采样与 2 倍超分加速方案
- Minimax_h3_fl2va_vram12gb_fdh.json、Minimax_h3_ref2va_vram12gb_fdh.json:12GB 显存友好版
- Minimax_h3_ref2va_LBHupscaler.json:潜空间超分增强
更多安装说明可参考 README.md。
总结
MiniMax H3 的 ControlNet 姿态控制工作流把"动作复刻"拆解成了视频提取骨架 → DWPose 逐帧解析 → Fun ControlNet 注入 → 4 步 Turbo 出片的标准化流水线:动作可以来自任何一段舞蹈视频,形象可以锁定在任意角色上,配合低显存优化节点,中端显卡也能流畅跑起来。想要让虚拟角色跳一支漂亮的舞?导入 Minimax_h3_controlnet_aux_dwpose_UI.json,换上你的素材,现在就开始吧!🎉