如何为Cosmos3-Nano-Transfer-Auto选择GPU?从单卡到8卡CFG并行与序列并行部署实战
如何为Cosmos3-Nano-Transfer-Auto选择GPU?从单卡到8卡CFG并行与序列并行部署实战
Cosmos3-Nano-Transfer-Auto 是 NVIDIA 面向自动驾驶 Physical AI 的 16B 多模态世界生成模型,可根据文本提示与 WSM 场景控制图,同步生成最多 11 路车载相机视频与 LiDAR 点云。本文带你按视角数与分辨率做 GPU 选型:单张 H100 能跑什么规格、2/4/8 卡性能如何翻倍,以及 CFG 并行与序列并行两种多卡策略怎么选,文末附一张可直接照抄的选型决策表。
该模型基于 README.md 中说明的 Mixture-of-Transformers(MoT)架构,权重分布在 transformer/ 下的 6 个分片 safetensors 中,配套 vae/(视频编解码)、lidar_vae/(LiDAR 编码器)与 text_tokenizer/。下面直接进入选型。
一、先看装不装得下:16B 参数的显存估算 💡
选 GPU 前先估显存,这是最容易被新手忽略的一步:
- 模型权重:16B 参数,bfloat16 精度下约 32 GB(见 config.json 中
"precision": "bfloat16")。 - 激活值:多视角视频生成的显存大头。1 路 480p 视频单卡轻松装下;而 11 路 720p、201 帧的 camera-major 长序列,激活与中间张量远超单卡显存——这正是需要"序列并行"把序列切到多卡的根本原因。
常见 GPU 的规格参考(官方测试硬件为 GB200、H100、H200、H20):
| GPU | 显存 | 特点 |
|---|---|---|
| H100 | 80 GB | 算力与显存均衡,单卡可跑 480p 多视角 |
| H200 | 141 GB | 速度接近 H100,优势是大显存,720p 大视角更从容 |
| GB200(Blackwell) | 186 GB | 单卡性能约为 H100 的 2 倍 |
| H20 | 96 GB | 显存大但算力低,官方数据多为 4~8 卡场景 |
经验法则:480p 单视角起步用 H100/H200 单卡即可;720p 或多于 7 路视角,优先考虑 4 卡起步;要生成 11 路 720p,2 卡是底线,4~8 卡更稳妥。
二、单卡部署实测:哪些规格一张 H100 就跑得动 📊
官方在 README.md 中给出基于 vLLM-Omni 的实测数据:35 步去噪 + CFG,每步跑两次前向共 70 次 NFE,生成 201 帧。单张 H100(80 GB)的端到端时间如下(不含 LiDAR):
| 视角数 | 分辨率 | 单卡 H100 耗时 | 结论 |
|---|---|---|---|
| 1 | 480p | 2 分 47 秒 | ✅ 很轻松 |
| 1 | 720p | 11 分 41 秒 | ✅ 可用 |
| 4 | 480p | 12 分 32 秒 | ✅ 可用 |
| 4 | 720p | 50 分 58 秒 | ⚠️ 能跑但偏慢 |
| 7 | 480p | 23 分 28 秒 | ⚠️ 偏慢 |
| 11 | 720p | 不支持(表中为 "-") | ❌ 必须多卡 |
可以看出:单卡不是不能跑多视角,而是 11 路 720p 这类大负载会直接 OOM 或不被支持。如果你的任务只是"验证管线跑通",单卡 480p 是性价比最高的组合。
三、2 / 4 / 8 卡性能对照:加速比到底有多少 ⚡
官方性能表(不含 LiDAR,端到端耗时,H100):
| 规格 | 1 卡 | 2 卡 | 4 卡 | 8 卡 |
|---|---|---|---|---|
| 1 路 480p | 2m47s | 1m29s | 0m56s | 0m41s |
| 4 路 480p | 12m32s | 6m39s | 3m52s | 2m42s |
| 7 路 480p | 23m28s | 13m47s | 8m24s | 6m08s |
| 11 路 480p | 38m33s | 22m08s | 13m21s | 9m41s |
| 4 路 720p | 50m58s | 27m54s | 15m21s | 9m38s |
| 11 路 720p | 不支持 | 84m38s | 46m28s | 27m50s |
三条实用结论:
- 1→2 卡加速约 1.9 倍,接近线性,是性价比最高的一步;
- 4→8 卡加速比明显下降:小序列(1 路 480p)仅从 0m56s 降到 0m41s(约 1.4 倍),而大序列(11 路 720p)从 46m28s 降到 27m50s(约 1.65 倍)——8 卡更适合大序列,而不是小任务;
- GB200 单卡 ≈ 2 张 H100:1 路 480p 单卡 1m22s;11 路 720p 用 4 张 GB200 只要 22m29s,比 8 张 H100 还快。
如果你的任务是批量生成(如合成数据产线),记得多卡除了"切序列",还可以做数据并行同时服务多个请求,吞吐还能再翻一倍。
四、CFG 并行 vs 序列并行:两种多卡策略怎么选 🎯
这是本项目的核心知识点。多卡加速有两条正交的路线:
4.1 CFG 并行(把"条件/无条件"两条分支拆到不同卡)
CFG(Classifier-Free Guidance)下,每个去噪步要跑两次前向(有提示 + 无提示),这就是"70 NFE = 35 步 × 2"的由来。CFG 并行让两条分支各占一张卡,等于单请求耗时直接减半,代价是 GPU 数量翻倍。
- vLLM-Omni:2 卡启动时加
--cfg-parallel-size 2 - SGLang:加
--enable-cfg-parallel,官方说明它会"将两条 guidance 分支放到不同 GPU 组,所需 GPU 翻倍" - Cosmos Framework 原生推理:参数为
--cfgp-size(示例中 4 卡用了--cfgp-size 1)
config.json 中 parallelism 段的 cfg_parallel_shard_degree 默认就是 1,即单卡不做 CFG 切分。
适合场景:序列本身单卡装得下、但你想把单请求时间砍半。
4.2 序列并行(把超长 camera-major 序列切到多卡)
11 路相机 × 201 帧的序列极长,单卡装不下就靠序列并行把序列分片。
- SGLang:
--num-gpus N --ulysses-degree N --sp-degree N,使用 Ulysses 序列并行把 camera-major 序列切到 N 张卡;N 取 2/4/8 - Cosmos Framework:
torchrun --nproc-per-node=4 ... --cp-size 4(context parallel 即序列切分,示例见 assets/sample_data/README.md)
适合场景:多视角、720p 等大序列,这是多卡的"刚需"而非可选。
组合建议:先用序列并行保证"装得下",再视延迟需求叠加 CFG 并行"跑得更快"(GPU 数 = 序列并行数 × CFG 并行数)。
五、带 LiDAR 联合生成:时间预算要乘多少倍?
一旦要求同步生成 LiDAR(128 线旋转激光),负载会明显上升:
- 小序列代价最高:1 路 480p、单卡 H100 每 NFE 从 2.4s 涨到 20s(约 8 倍),端到端从 2m47s 涨到 23m12s;
- 大序列被"摊薄":11 路 720p 从 40s 涨到 50s 每 NFE,端到端 46m28s → 57m47s(4 卡),仅 1.25 倍。
选型含义:LiDAR 联合生成时,GPU 档位要在纯视频基础上再上调一档——例如纯视频 4 卡够用的 11 路 720p,带 LiDAR 时建议直接上 8 卡(34m26s)。
六、GPU 选型决策表:按视角数和分辨率直接抄 ✅
| 你的任务 | 推荐配置 | 参考耗时(端到端) |
|---|---|---|
| 跑通管线:1 路 480p | H100/H200 × 1 | 约 3 分钟 |
| 4 路 480p 日常验证 | H100 × 1~2 | 12m32s / 6m39s |
| 7 路 480p 完整环视 | H100 × 4 | 8m24s |
| 11 路 480p 全视角 | H100 × 4(急用 × 8) | 13m21s / 9m41s |
| 4 路 720p 高质量 | H100 × 4 | 15m21s |
| 11 路 720p 全视角 | H100 × 4 起步,× 8 更佳 | 46m28s / 27m50s |
| 上述 + LiDAR 联合 | 在上表基础上 × 2 卡档 | 11路720p × 8 约 34 分钟 |
| 预算充足的旗舰方案 | GB200 × 4 | 11 路 720p 约 22m29s |
💡 H200 与 H100 速度几乎一致但显存大 76%,如果你常跑 11 路 720p,H200 同卡数下更不容易撞显存墙。
七、部署避坑清单 🛠️
- 首次请求很慢:第一次请求会触发 transformer 编译(warmup),后续请求才快,别误判为"GPU 不够";
- 调大超时:7 路相机请求可能超过默认 600 秒,vLLM-Omni 需设置
VLLM_OMNI_VIDEO_SYNC_TIMEOUT=1800等环境变量并加--init-timeout 1800(完整命令见 README.md 的 Quick Start); - 安全开关:
--no-guardrails会关闭文本/视频安全检查,生产环境慎用; - 输入对齐:生成 LiDAR 必须提供与相机时序对齐的高程图控制数据(assets/sample_data/daytime_scene/lidar/ 下有示例压缩包);
- 检查点验证:下载后可用 assets/sample_data/SHA256SUMS 校验样例数据完整性,模型管线结构见 model_index.json,权重来源见 checkpoint.json。
一句话总结
小序列单卡跑 480p 验证,大序列 4 卡序列并行兜底,11 路 720p 带 LiDAR 直接上 8 卡;想要单请求更快,再叠一层 CFG 并行。 把官方 README.md 的性能表贴在工位上,按"视角数 × 分辨率 × 是否带 LiDAR"三个维度查表,就不会选错 GPU 了。

