MiniMax H3 ControlNet姿态控制:DWPose+Fun ControlNet完美复刻任意舞蹈动作

原创2026-10-19 15:20:19740 阅读

MiniMax H3 ControlNet姿态控制:DWPose+Fun ControlNet完美复刻任意舞蹈动作

Minimax-H3 是一个 ComfyUI 工作流项目,收录了 MiniMax H3 视频生成模型的多种现成工作流,其中 ControlNet 姿态控制(Pose Control) 是本文的主角:借助 DWPose 姿态提取 + Fun ControlNet 姿态控制,你可以让任意角色"跟随"一段舞蹈视频的动作,实现动作的完美复刻。无论你是想给自己的虚拟角色编舞,还是想让参考图人物做出视频里的舞蹈,这套工作流都能一次搞定。

一、这套姿态控制方案能做什么?

传统"文生视频"很难精确控制人物的肢体动作,而 MiniMax H3 的 ControlNet 姿态控制把这件事变成了"照抄作业":

  • 🎬 输入任意舞蹈视频:系统自动提取每一帧的人体姿态骨架
  • 🖼️ 输入 3 张参考图:锁住角色的脸型、发型和整体形象
  • 💃 输出动作复刻视频:角色按原视频的动作跳舞,还自带原生立体声音频(脚步声、背景音乐)

简单来说:动作来自视频,形象来自图片,两者自动融合。

二、工作流原理:四步流水线 🔧

核心文件是 Minimax_h3_controlnet_aux_dwpose_UI.json,整个工作流在画布上被清晰地分为四个区域(见 工作流分区定义):

区域 名称 作用
① Model Load & Low-VRAM Optimization 加载模型 + 显存优化
② Reference Images (3-Ref True Identity) 三张参考图锁定角色身份
③ RGB Video → DWPose → Fun ControlNet 视频转姿态骨架并注入控制信号
④ 4-Step Turbo Sampling & Video Save 4 步快速采样并导出视频

① 模型加载与低显存优化

主模型为 minimax_h3_ref2va_pruned_int8_convrot.safetensors(参考图生视频模型,int8 量化版),再叠加一个 Turbo 4-Step LoRA(LoRA 加载节点),让采样只需 4 步即可完成。

为了照顾中显存显卡,工作流内置了两个优化节点:

  • MiniMaxLowVRAMAttention:注意力头分块计算(节点配置)
  • MiniMaxChunkFeedForward:前馈网络分块处理,进一步压低显存峰值(节点配置)

② 三张参考图锁定身份

工作流使用 MiniMaxH3ReferenceToVideo 节点,支持最多 3 张参考图。官方示例中的组合是:

  1. 全身图(连衣裙)
  2. 半身图(吊带上衣)
  3. 脸部特写(制服)

提示词采用结构化写法,依次描述 subject_definitions(每张图的角色设定)、integrated_multimodal_description(镜头与动作)、overall_soundscape(环境声)、non_diegetic_music(背景音乐),保证跨镜头的身份一致性。

③ DWPose 提取姿态骨架(核心)

这是"动作复刻"的关键一步(DWPose 节点配置):

  • 输入:一段任意舞蹈视频(示例使用 SELECTED_SCOUT_seed45.mp4)
  • 处理:先经 GetVideoComponents 拆帧,再由 comfyui_controlnet_aux 扩展的 DWPreprocessor 逐帧提取人体姿态
  • 模型:内部使用 yolox_l.onnx 做人体检测 + dw-ll_ucoco_384.onnx 做姿态估计,输出带肢体细节的 DWPose 骨架图

💡 DWPose 相比普通 OpenPose 的优势在于:它基于 DWPose 论文的改进检测器,对手部、面部和细小肢体的定位更稳,舞蹈中快速挥臂、踢腿等动作不容易"断线"。

④ Fun ControlNet 融合 + 4 步采样

姿态骨架交给 Fun ControlNet 加载节点(minimax_h3_fun_controlnet_union_pruned_int8_convrot.safetensors),再通过 MiniMaxH3FunControlNetApply 注入条件,默认参数为:

  • strength = 1.0(控制强度拉满,动作贴合度最高)
  • start_percent = 0.0,end_percent = 1.0(全程控制)

最后用 euler 采样器 + 4 步调度器快速出片(采样参数),以 24fps 导出视频(CreateVideo 节点)。

三、上手教程:三步开始复刻舞蹈 🚀

第 1 步:准备模型文件

将以下模型放入 ComfyUI 对应目录:

模型文件 存放目录 用途
minimax_h3_ref2va_pruned_int8_convrot.safetensors models/diffusion_models/ 参考图生视频主模型
minimax_h3_fun_controlnet_union_pruned_int8_convrot.safetensors models/controlnet/ Fun ControlNet 姿态控制
minimax_h3_video_vae_fp16.safetensors / int8 版 models/vae/ 视频 VAE(fp16 供 ControlNet 分支使用)
minimax_h3_audio_vae_fp32.safetensors models/vae/ 音频 VAE
qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors models/text_encoders/ Qwen3-VL 32B 文本编码器
Turbo 4-Step LoRA models/loras/ 4 步加速采样

第 2 步:导入工作流

在 ComfyUI 中"拖入加载" Minimax_h3_controlnet_aux_dwpose_UI.json,依赖 comfyui_controlnet_aux 及 MiniMax H3 专用节点插件(工作流内已标注完整节点结构)。

第 3 步:替换素材并运行

  • 把"Load Input Color Video"换成你的舞蹈视频
  • 替换 3 张人物参考图,并按实际形象微调提示词
  • 点击 Queue Prompt,等待视频输出(前缀为 phaseE_standard_controlnet_aux_dwpose)

⚠️ 注意:输入视频的帧数应与提示词中的 length 参数匹配。示例为 704x1280 分辨率、124 帧(约 5 秒 @24fps)。

四、进阶:小分辨率 API 版本

如果你的机器显存有限,项目还提供了一个 448x800 小画幅的 API 版姿态控制工作流:Minimax_h3_phase2_ref2va_pose_control_448x800_api.json。

它的结构相同,主要差异:

  • 输出分辨率降为 448x800(竖屏短视频,显存占用更低)
  • 示例输入为 pose_dance.mp4(加载节点),ControlNet 强度同为 1.0(Apply 节点)
  • 适合批量调用或低配显卡试跑,验证效果后再上 704x1280 高清版

五、参数调优小技巧 📌

想解决的问题 调整建议
动作不够贴合原视频 提高 MiniMaxH3FunControlNetApply 的 strength(保持 1.0 或微调)
画面风格化太强、骨架感明显 降低 strength 至 0.7~0.9,让模型"自由发挥"
显存不足 优先使用 int8/fp16 VAE、开启 Low VRAM Attention 与 Chunk FeedForward;或换 448x800 API 版
换舞蹈动作 直接替换输入视频,提示词中的动作描述同步修改即可

六、项目其他工作流速览 📂

Minimax-H3 项目还包含多种场景的 ComfyUI 工作流,可按需取用:

更多安装说明可参考 README.md。

总结

MiniMax H3 的 ControlNet 姿态控制工作流把"动作复刻"拆解成了视频提取骨架 → DWPose 逐帧解析 → Fun ControlNet 注入 → 4 步 Turbo 出片的标准化流水线:动作可以来自任何一段舞蹈视频,形象可以锁定在任意角色上,配合低显存优化节点,中端显卡也能流畅跑起来。想要让虚拟角色跳一支漂亮的舞?导入 Minimax_h3_controlnet_aux_dwpose_UI.json,换上你的素材,现在就开始吧!🎉

登录后查看全文
Minimax-H3