SOMA 30关节骨架与动作表示:ARDY-SOMA-RP-30FPS-Horizon60从输入姿态到输出动作的数据流全解

原创2026-10-18 15:06:051,378 阅读
文章标签:人工智能媒体生成数字人

SOMA 30关节骨架与动作表示:ARDY-SOMA-RP-30FPS-Horizon60从输入姿态到输出动作的数据流全解

本文带你完整看懂 NVIDIA 的 ARDY 动作生成模型 ARDY-SOMA-RP-30FPS-Horizon60:它基于 SOMA 30 关节人体骨架、以 30 帧率运行,把"文本提示 + 姿态约束"一步步变成一段流畅的人体动作序列。下面我们从输入姿态到输出动作,逐环节拆解这条数据流,讲清每个关键数字(740 维、4 帧/token、128 维潜空间、60 帧生成窗口)背后的含义。

一、🎯 ARDY 是什么?一句话看懂模型定位

ARDY 全名 Autoregressive Diffusion with Hybrid Representation(自回归扩散 + 混合表示),是一个面向交互式人体动作生成的扩散模型。你可以一边输入文本提示、一边调整约束,它就能实时生成对应的人体动作。

本仓库是 ARDY 家族中的一个变体,命名里每个词都有含义:

命名片段 含义
SOMA 采用 SOMA 30 关节人体骨架
30FPS 动作以 30 帧/秒 运行
Horizon60 每次自回归生成 60 帧(约 2 秒)

它的核心亮点是"混合表示":模型不直接在原始姿态上做扩散,而是先压缩到一个紧凑潜空间(连续 + FSQ 离散 token),再在潜空间里生成,因此速度更快、适合实时交互。整个模型约 1.92 亿参数(去噪器 1.57 亿 + 动作分词器 0.36 亿),在 630 小时人体动捕数据(Bones Rigplay 1 数据集)上训练,可用于人形机器人运动规划、数字孪生、合成数据与游戏动画。

二、📥 输入与输出:动作数据的进与出

模型接收哪些输入?

ARDY 同时接收三类信号(对应 README.md 的 Input 部分):

  • 文本提示:一句话描述想要的动作,例如"一个人慢走"。
  • 历史姿态:已生成的前序动作,最长 8 秒,用来保证动作前后连贯。
  • 姿态约束:根节点路径 / 路点(waypoints)、全身关键帧,或稀疏的关节位置/旋转。

模型输出什么?

  • 输出:一段姿态序列(Tensor),包含全局根节点平移 + 全部关节旋转。
  • 单次最长约 8 秒、30 帧率。

一句话:进去的是"文本 + 历史 + 约束",出来的是"能直接驱动骨架的姿态序列"。

三、🧬 动作是怎么表示的?每帧 740 维姿态向量

理解数据流前,先要明白"一帧动作"在模型内部长什么样。ARDY 用 config.yaml 里的 ArdyMotionRep 表示动作,它把每一帧拆成一个 740 维向量,再由三部分组成(各部分统计量分别存放在 stats/motion/ 下):

组成部分 维度 存放位置
body(身体关节) 722 stats/motion/body/
global_root(全局根节点) 10 stats/motion/global_root/
local_root(局部根节点) 8 stats/motion/local_root/
合计 740 stats/motion/mean.npy

这 740 维描述的是 SOMA 骨架上 30 个关节的姿态。训练时模型会用每个分量的均值/标准差做归一化(encode_with_normalization: true),把原始数值映射到适合网络处理的范围;统计量就保存在 stats/motion/std.npy 等文件中。

四、🔀 数据流全解:文本变动作的 5 个环节

下面是从输入到输出的完整数据流,可以想象成一条"压缩 → 生成 → 解压"的流水线:

环节 做什么 关键配置 输出
1 文本编码 提示词 → 向量 llm_shape: [1, 4096] 4096 维文本向量
2 输入整理 历史/约束 → 姿态表示 740 维/帧 归一化后的动作帧
3 分词器压缩 动作 → token 4 帧/token,128 维 潜空间 token
4 去噪器生成 自回归扩散 60 帧/步,10 步 新的动作 token
5 解码输出 token → 姿态序列 反归一化 最终动作

环节 1|文本编码:把提示词变成向量

文本先经过文本编码器,得到一个 4096 维向量(见 config.yaml 的 llm_shape)。它作为"指令",告诉后面的网络"该生成什么动作"。

环节 2|输入整理:历史与约束变成姿态表示

已生成的历史姿态(≤8 秒)和各类姿态约束,都会被整理成 740 维/帧的标准动作表示,并按 stats/motion/ 里的统计量归一化,为编码做好准备。

环节 3|动作分词器:把姿态压成 token

动作分词器(FSQVAETransformer,权重在 tokenizer.safetensors)是这条流水线的"压缩器"。它是一个因果 Transformer 自编码器(8 层、4 头),把连续的姿态帧编码进紧凑潜空间,并用 FSQ 有限标量量化(128 级)压成离散 token。

这就是"混合表示"中的离散部分,也是模型更快、更省内存的关键。

环节 4|去噪器:自回归扩散,一次生成 60 帧

去噪器(AutoLatentTwostageDenoiser,权重在 denoiser.safetensors)是"生成器",也是参数最多的一部分(8 层、8 头)。它采用自回归 + 扩散的方式:以文本向量、历史 token 和姿态约束为条件,在潜空间里"去噪"出下一段动作,每步生成 60 帧(config.yaml 的 gen_horizon_len: 60,约 2 秒),基础采样步数为 10。

"自回归"意味着它可以不断重复:生成 2 秒 → 接上 → 再生成 2 秒……直到凑满你需要的时长(最长 8 秒)。

环节 5|解码输出:token 变回姿态序列

最后,分词器的解码器把新 token 还原成 740 维/帧的动作表示,再按 stats/motion/ 的统计量做反归一化,得到包含全局根节点平移与关节旋转的姿态序列——这就是最终可驱动 SOMA 骨架的动画输出。

五、📦 仓库里都有什么?文件清单

文件 作用
config.yaml 模型结构与超参数(骨架、帧率、分词/去噪配置)
tokenizer.safetensors 动作分词器权重(约 0.36 亿参数)
denoiser.safetensors 去噪器权重(约 1.57 亿参数)
stats/ 归一化统计量(动作、量化前后)
LICENSE NVIDIA 开放模型协议

大文件(.safetensors、.npy)通过 Git LFS 管理,克隆时需要启用 LFS 才能拉到真实权重:

git lfs install
git clone https://gitcode.com/hf_mirrors/nvidia/ARDY-SOMA-RP-30FPS-Horizon60

六、⚠️ 使用限制与适用场景

用之前,先了解它的"边界":

  • 脚部滑步:脚下有时会出现不自然的滑动(foot skating)。
  • 不总遵循文本:生成动作不一定完全贴合提示词;模型最擅长行走、手势、打斗、舞蹈、日常活动。
  • 单骨架输出:一次只针对一个角色骨架,且面向真实人体,不产生卡通或超物理动作。
  • 无场景感知:模型不知道角色周围有什么物体。

推理在 NVIDIA GPU 上运行(A100、RTX 4090),可借助 TensorRT 加速。

七、✅ 小结

ARDY-SOMA-RP-30FPS-Horizon60 用一条"压缩 → 自回归扩散 → 解压"的混合表示数据流,把"文本 + 姿态约束"变成流畅的 SOMA 30 关节动作:每帧是 740 维姿态向量,分词器以 4 帧/token、128 维潜空间压缩,去噪器每步生成 60 帧,最后解码并反归一化为可驱动骨架的姿态序列。看懂了这条数据流,你就掌握了这个模型从输入到输出的全部关键。

登录后查看全文
ARDY-SOMA-RP-30FPS-Horizon60