3DGenStudio动画生成实战:Kimodo文本驱动与MoCap视频动捕如何玩转3D角色
3DGenStudio动画生成实战:Kimodo文本驱动与MoCap视频动捕如何玩转3D角色
3DGenStudio 是一款一站式的 3D 生成工作台,除了文本生成图像、3D 网格生成与贴图外,还提供强大的动画生成新玩法:用 Kimodo 一句话文本驱动角色动作,或用 MoCap 从一段手机视频直接捕捉动作(MoCap 动捕)。两个功能都藏在 Mesh Editor 的 Auto Rig 侧边栏中,无需动作捕捉服、无需手动 K 帧,新手也能快速给角色绑上"灵魂"。
先认识 Auto Rig 的三个动作入口
在 Mesh Editor 里打开 Auto Rig 侧边栏(相关源码见 SkeletonPanel.jsx),你会看到几个动作相关的标签页,它们共用同一套下游流程——骨骼映射、实时预览、片段网格、保存为带动画的新版本——区别只在"动作从哪里来":
| 标签页 | 动作来源 | 是否需要骨骼映射 |
|---|---|---|
| Animations | 内置角色动画库 | 需要 |
| Kimodo | 一句话文本生成(NVIDIA Kimodo) | 需要(一次性) |
| MoCap | 一段动作视频(MoCapAnything V2) | 完全不需要 |
⚠️ 三个标签页都要求模型是已绑定的网格(rigged mesh)。请先完成 Auto Rig 自动绑定,或载入一个自带骨骼的模型。
Kimodo 文本驱动动画:一句话让角色动起来
Kimodo 标签页把工作流压缩到了极致:描述动作 → 生成 → 播放。
- 点击 Map bones,把 Kimodo 的 77 骨骼 SOMA 骨架映射到你的网格(服务会在不加载模型的情况下先交出骨架,这一步零等待)。跳过此步也会在首次生成时自动映射。
- 在 Describe the motion 输入提示词。
- 设置 Duration per sentence (seconds) 每句时长。
- 点击 Generate motion,进度条会汇报每个阶段;生成的片段直接落在底部 Animations 网格并自动播放。
- 勾选想要的片段,点 Save mesh with N animations,将动画嵌入网格并保存为新版本。
如何写出好用的提示词
官方建议以 "A person…" 开头,一两句描述一个或两个动作,例如:
- A person walks forward and waves.
- A person jumps very high.
- A person runs fast, then stops and looks around.
模型擅长运动、手势、日常活动、战斗、舞蹈,以及 tired、drunk、sneaky 这类风格化描述。注意每句 10 秒是模型自身的上限——想生成更长动作就写多句话,服务会逐句生成并自动衔接。面板会实时合计总时长(如 3 sentences × 5s = 15.0s total),让你先估算 GPU 消耗。
📌 硬件提示:Kimodo 依赖 Llama 3 文本编码器,首次安装约需下载 17 GB 权重(其中约 16 GB 是 Llama-3-8B 基础权重),需要 NVIDIA GPU。桌面版可直接在 Settings → Motion Generation (Python) Connection 中一键安装启动。
关于"不带动手指"、In-place 原地动作等设计细节,可以阅读 thirdparty/kimodo/README.md。
MoCap 视频动捕:拍一段视频,动作直接上身
MoCap 标签页走的是另一条路:用 MoCapAnything V2 观看一段视频,把人物的动作"复制"到你自己的骨骼上。它的核心亮点是没有骨骼映射步骤——模型在生成前就以你的骨骼为条件,返回的 BVH 直接使用你网格自己的骨骼名,映射恒等,省去了最容易出错的环节。
一键 Prepare:先让服务"认识"你的骨骼
- 点击 Prepare rig,等待几分钟。进度条会显示每个阶段:导出、提取网格与权重、推导朝向、构建参考姿态、编码骨骼、渲染并嵌入参考视角。
- 结果按骨骼缓存,同一网格只需准备一次,之后可以反复捕捉不同视频。
选择视频并控制显存预算
- 选择视频:支持 MP4、MOV、AVI、MKV。要求单一主体、全身入镜、单镜头固定机位。
- 设置 Length to capture (seconds)。服务一次前向推理跑完整个片段,时长越长显存越高,面板会实时给出估算,例如:
| 捕捉时长 | 帧数(30fps) | 峰值显存 |
|---|---|---|
| 3 秒 | 90 | 约 6.3 GB |
| 5 秒(默认) | 150 | 约 7.8 GB |
| 10 秒 | 300 | 约 10.5 GB |
超过 10 GB 估算会变黄提醒。帧上限为 301 帧、下限 32 帧,面板会如实提示 "Capped at 10s" 之类信息,绝不让视频被悄悄截断。 3. 点击 Capture motion,约 70 秒完成 200 帧捕捉。 4. 片段出现在 Animations 网格中(注意每次新捕捉会替换上一个),点击它即可在你的网格上播放。 5. 勾选后 Save mesh with 1 animation,保存为带动画的新版本。
肢体开关:治好"静止也漂移"
MoCapAnything 会同时回归所有关节,没有"这个肢体保持静止"的概念——只拍上半身,腿也可能跟着飘。捕捉完成后会出现一组开关:Body turn、Spine、Head & neck、Arms、Fingers、Legs、Feet。这是对映射的过滤而非捕捉设置:关掉某条链后它保持 rest 姿态,你可以对已完成的捕捉反复尝试组合,无需重新拍摄或捕捉。
两个实用结论:
- 整个角色乱晃 → 先关 Body turn;
- 手指永远无法被捕捉(模型看不到手指细节),用 Hands 区的 curl 滑杆给每只手一个固定姿态即可。
📎 服务侧源码与限制说明(原地动作、30fps 输出、301 帧上限等)见 thirdparty/mocapanything/README.md。
保存与导出:动作进入你的游戏管线
两个标签页生成的动画都走完全相同的下游能力:
- Edit animation:视口下方的逐帧编辑器,可摆任意骨骼、修剪、循环、撤销(实现见 animationEdit.js)。
- Save mesh with N animations:把片段连同编辑一起嵌入网格,生成资产的新版本,原文件不受影响。
- Mesh 导出:带着骨骼和动画一起导出到 Blender、Unity 或 Unreal(对应 wiki 的 Mesh 导出文档)。
快速上手清单
- ✅ 用 ComfyUI 或导入获得一个角色网格,并跑一次 Auto Rig 完成绑定。
- ✅ 桌面版在 Settings 中一键安装 Kimodo(约 17 GB)或 MoCap 服务(约 3 GB);服务器部署场景见 Server Deployment。
- ✅ 想要"凭空编一个动作"→ Kimodo,写句 "A person…" 提示词。
- ✅ 想要"复刻真实动作"→ MoCap,先 Prepare rig,再喂一段全身单镜头视频。
- ✅ 用肢体开关微调,Save as new version,导出进游戏引擎。
想深入了解骨骼编辑、动画库或自定义动作,可继续阅读 wiki 中的 Skeleton、Animations、Bone Mapping、Kimodo 与 MoCap 章节。


