SOMA 30关节骨架与动作表示:ARDY-SOMA-RP-30FPS-Horizon60从输入姿态到输出动作的数据流全解
SOMA 30关节骨架与动作表示:ARDY-SOMA-RP-30FPS-Horizon60从输入姿态到输出动作的数据流全解
本文带你完整看懂 NVIDIA 的 ARDY 动作生成模型 ARDY-SOMA-RP-30FPS-Horizon60:它基于 SOMA 30 关节人体骨架、以 30 帧率运行,把"文本提示 + 姿态约束"一步步变成一段流畅的人体动作序列。下面我们从输入姿态到输出动作,逐环节拆解这条数据流,讲清每个关键数字(740 维、4 帧/token、128 维潜空间、60 帧生成窗口)背后的含义。
一、🎯 ARDY 是什么?一句话看懂模型定位
ARDY 全名 Autoregressive Diffusion with Hybrid Representation(自回归扩散 + 混合表示),是一个面向交互式人体动作生成的扩散模型。你可以一边输入文本提示、一边调整约束,它就能实时生成对应的人体动作。
本仓库是 ARDY 家族中的一个变体,命名里每个词都有含义:
| 命名片段 | 含义 |
|---|---|
| SOMA | 采用 SOMA 30 关节人体骨架 |
| 30FPS | 动作以 30 帧/秒 运行 |
| Horizon60 | 每次自回归生成 60 帧(约 2 秒) |
它的核心亮点是"混合表示":模型不直接在原始姿态上做扩散,而是先压缩到一个紧凑潜空间(连续 + FSQ 离散 token),再在潜空间里生成,因此速度更快、适合实时交互。整个模型约 1.92 亿参数(去噪器 1.57 亿 + 动作分词器 0.36 亿),在 630 小时人体动捕数据(Bones Rigplay 1 数据集)上训练,可用于人形机器人运动规划、数字孪生、合成数据与游戏动画。
二、📥 输入与输出:动作数据的进与出
模型接收哪些输入?
ARDY 同时接收三类信号(对应 README.md 的 Input 部分):
- 文本提示:一句话描述想要的动作,例如"一个人慢走"。
- 历史姿态:已生成的前序动作,最长 8 秒,用来保证动作前后连贯。
- 姿态约束:根节点路径 / 路点(waypoints)、全身关键帧,或稀疏的关节位置/旋转。
模型输出什么?
- 输出:一段姿态序列(Tensor),包含全局根节点平移 + 全部关节旋转。
- 单次最长约 8 秒、30 帧率。
一句话:进去的是"文本 + 历史 + 约束",出来的是"能直接驱动骨架的姿态序列"。
三、🧬 动作是怎么表示的?每帧 740 维姿态向量
理解数据流前,先要明白"一帧动作"在模型内部长什么样。ARDY 用 config.yaml 里的 ArdyMotionRep 表示动作,它把每一帧拆成一个 740 维向量,再由三部分组成(各部分统计量分别存放在 stats/motion/ 下):
| 组成部分 | 维度 | 存放位置 |
|---|---|---|
| body(身体关节) | 722 | stats/motion/body/ |
| global_root(全局根节点) | 10 | stats/motion/global_root/ |
| local_root(局部根节点) | 8 | stats/motion/local_root/ |
| 合计 | 740 | stats/motion/mean.npy |
这 740 维描述的是 SOMA 骨架上 30 个关节的姿态。训练时模型会用每个分量的均值/标准差做归一化(encode_with_normalization: true),把原始数值映射到适合网络处理的范围;统计量就保存在 stats/motion/std.npy 等文件中。
四、🔀 数据流全解:文本变动作的 5 个环节
下面是从输入到输出的完整数据流,可以想象成一条"压缩 → 生成 → 解压"的流水线:
| 环节 | 做什么 | 关键配置 | 输出 |
|---|---|---|---|
| 1 文本编码 | 提示词 → 向量 | llm_shape: [1, 4096] |
4096 维文本向量 |
| 2 输入整理 | 历史/约束 → 姿态表示 | 740 维/帧 | 归一化后的动作帧 |
| 3 分词器压缩 | 动作 → token | 4 帧/token,128 维 | 潜空间 token |
| 4 去噪器生成 | 自回归扩散 | 60 帧/步,10 步 | 新的动作 token |
| 5 解码输出 | token → 姿态序列 | 反归一化 | 最终动作 |
环节 1|文本编码:把提示词变成向量
文本先经过文本编码器,得到一个 4096 维向量(见 config.yaml 的 llm_shape)。它作为"指令",告诉后面的网络"该生成什么动作"。
环节 2|输入整理:历史与约束变成姿态表示
已生成的历史姿态(≤8 秒)和各类姿态约束,都会被整理成 740 维/帧的标准动作表示,并按 stats/motion/ 里的统计量归一化,为编码做好准备。
环节 3|动作分词器:把姿态压成 token
动作分词器(FSQVAETransformer,权重在 tokenizer.safetensors)是这条流水线的"压缩器"。它是一个因果 Transformer 自编码器(8 层、4 头),把连续的姿态帧编码进紧凑潜空间,并用 FSQ 有限标量量化(128 级)压成离散 token。
- 每 4 帧合成 1 个 token(config.yaml 的
num_frames_per_token: 4) - 每个 token 的潜嵌入是 128 维(
latent_embedding_dim: 128),量化前后的统计量分别存在 stats/pre_quantization/ 与 stats/post_quantization/
这就是"混合表示"中的离散部分,也是模型更快、更省内存的关键。
环节 4|去噪器:自回归扩散,一次生成 60 帧
去噪器(AutoLatentTwostageDenoiser,权重在 denoiser.safetensors)是"生成器",也是参数最多的一部分(8 层、8 头)。它采用自回归 + 扩散的方式:以文本向量、历史 token 和姿态约束为条件,在潜空间里"去噪"出下一段动作,每步生成 60 帧(config.yaml 的 gen_horizon_len: 60,约 2 秒),基础采样步数为 10。
"自回归"意味着它可以不断重复:生成 2 秒 → 接上 → 再生成 2 秒……直到凑满你需要的时长(最长 8 秒)。
环节 5|解码输出:token 变回姿态序列
最后,分词器的解码器把新 token 还原成 740 维/帧的动作表示,再按 stats/motion/ 的统计量做反归一化,得到包含全局根节点平移与关节旋转的姿态序列——这就是最终可驱动 SOMA 骨架的动画输出。
五、📦 仓库里都有什么?文件清单
| 文件 | 作用 |
|---|---|
| config.yaml | 模型结构与超参数(骨架、帧率、分词/去噪配置) |
| tokenizer.safetensors | 动作分词器权重(约 0.36 亿参数) |
| denoiser.safetensors | 去噪器权重(约 1.57 亿参数) |
| stats/ | 归一化统计量(动作、量化前后) |
| LICENSE | NVIDIA 开放模型协议 |
大文件(.safetensors、.npy)通过 Git LFS 管理,克隆时需要启用 LFS 才能拉到真实权重:
git lfs install
git clone https://gitcode.com/hf_mirrors/nvidia/ARDY-SOMA-RP-30FPS-Horizon60
六、⚠️ 使用限制与适用场景
用之前,先了解它的"边界":
- 脚部滑步:脚下有时会出现不自然的滑动(foot skating)。
- 不总遵循文本:生成动作不一定完全贴合提示词;模型最擅长行走、手势、打斗、舞蹈、日常活动。
- 单骨架输出:一次只针对一个角色骨架,且面向真实人体,不产生卡通或超物理动作。
- 无场景感知:模型不知道角色周围有什么物体。
推理在 NVIDIA GPU 上运行(A100、RTX 4090),可借助 TensorRT 加速。
七、✅ 小结
ARDY-SOMA-RP-30FPS-Horizon60 用一条"压缩 → 自回归扩散 → 解压"的混合表示数据流,把"文本 + 姿态约束"变成流畅的 SOMA 30 关节动作:每帧是 740 维姿态向量,分词器以 4 帧/token、128 维潜空间压缩,去噪器每步生成 60 帧,最后解码并反归一化为可驱动骨架的姿态序列。看懂了这条数据流,你就掌握了这个模型从输入到输出的全部关键。