如何为Cosmos3-Nano-Transfer-Auto选择GPU?从单卡到8卡CFG并行与序列并行部署实战

原创2026-10-29 11:28:521,393 阅读
文章标签:人工智能多模态媒体生成自动驾驶大模型

如何为Cosmos3-Nano-Transfer-Auto选择GPU?从单卡到8卡CFG并行与序列并行部署实战

Cosmos3-Nano-Transfer-Auto 是 NVIDIA 面向自动驾驶 Physical AI 的 16B 多模态世界生成模型,可根据文本提示与 WSM 场景控制图,同步生成最多 11 路车载相机视频与 LiDAR 点云。本文带你按视角数与分辨率做 GPU 选型:单张 H100 能跑什么规格、2/4/8 卡性能如何翻倍,以及 CFG 并行与序列并行两种多卡策略怎么选,文末附一张可直接照抄的选型决策表。

Cosmos3-Nano-Transfer-Auto 模型概览图:Cosmos3 产品系中高亮的 Transfer-Auto 检查点

该模型基于 README.md 中说明的 Mixture-of-Transformers(MoT)架构,权重分布在 transformer/ 下的 6 个分片 safetensors 中,配套 vae/(视频编解码)、lidar_vae/(LiDAR 编码器)与 text_tokenizer/。下面直接进入选型。

一、先看装不装得下:16B 参数的显存估算 💡

选 GPU 前先估显存,这是最容易被新手忽略的一步:

  • 模型权重:16B 参数,bfloat16 精度下约 32 GB(见 config.json 中 "precision": "bfloat16")。
  • 激活值:多视角视频生成的显存大头。1 路 480p 视频单卡轻松装下;而 11 路 720p、201 帧的 camera-major 长序列,激活与中间张量远超单卡显存——这正是需要"序列并行"把序列切到多卡的根本原因。

常见 GPU 的规格参考(官方测试硬件为 GB200、H100、H200、H20):

GPU 显存 特点
H100 80 GB 算力与显存均衡,单卡可跑 480p 多视角
H200 141 GB 速度接近 H100,优势是大显存,720p 大视角更从容
GB200(Blackwell) 186 GB 单卡性能约为 H100 的 2 倍
H20 96 GB 显存大但算力低,官方数据多为 4~8 卡场景

经验法则:480p 单视角起步用 H100/H200 单卡即可;720p 或多于 7 路视角,优先考虑 4 卡起步;要生成 11 路 720p,2 卡是底线,4~8 卡更稳妥。

二、单卡部署实测:哪些规格一张 H100 就跑得动 📊

官方在 README.md 中给出基于 vLLM-Omni 的实测数据:35 步去噪 + CFG,每步跑两次前向共 70 次 NFE,生成 201 帧。单张 H100(80 GB)的端到端时间如下(不含 LiDAR):

视角数 分辨率 单卡 H100 耗时 结论
1 480p 2 分 47 秒 ✅ 很轻松
1 720p 11 分 41 秒 ✅ 可用
4 480p 12 分 32 秒 ✅ 可用
4 720p 50 分 58 秒 ⚠️ 能跑但偏慢
7 480p 23 分 28 秒 ⚠️ 偏慢
11 720p 不支持(表中为 "-") ❌ 必须多卡

可以看出:单卡不是不能跑多视角,而是 11 路 720p 这类大负载会直接 OOM 或不被支持。如果你的任务只是"验证管线跑通",单卡 480p 是性价比最高的组合。

Cosmos3-Nano-Transfer-Auto 多传感器生成概览动图:多路相机视频与 LiDAR 同步输出

三、2 / 4 / 8 卡性能对照:加速比到底有多少 ⚡

官方性能表(不含 LiDAR,端到端耗时,H100):

规格 1 卡 2 卡 4 卡 8 卡
1 路 480p 2m47s 1m29s 0m56s 0m41s
4 路 480p 12m32s 6m39s 3m52s 2m42s
7 路 480p 23m28s 13m47s 8m24s 6m08s
11 路 480p 38m33s 22m08s 13m21s 9m41s
4 路 720p 50m58s 27m54s 15m21s 9m38s
11 路 720p 不支持 84m38s 46m28s 27m50s

三条实用结论:

  1. 1→2 卡加速约 1.9 倍,接近线性,是性价比最高的一步;
  2. 4→8 卡加速比明显下降:小序列(1 路 480p)仅从 0m56s 降到 0m41s(约 1.4 倍),而大序列(11 路 720p)从 46m28s 降到 27m50s(约 1.65 倍)——8 卡更适合大序列,而不是小任务;
  3. GB200 单卡 ≈ 2 张 H100:1 路 480p 单卡 1m22s;11 路 720p 用 4 张 GB200 只要 22m29s,比 8 张 H100 还快。

如果你的任务是批量生成(如合成数据产线),记得多卡除了"切序列",还可以做数据并行同时服务多个请求,吞吐还能再翻一倍。

四、CFG 并行 vs 序列并行:两种多卡策略怎么选 🎯

这是本项目的核心知识点。多卡加速有两条正交的路线:

4.1 CFG 并行(把"条件/无条件"两条分支拆到不同卡)

CFG(Classifier-Free Guidance)下,每个去噪步要跑两次前向(有提示 + 无提示),这就是"70 NFE = 35 步 × 2"的由来。CFG 并行让两条分支各占一张卡,等于单请求耗时直接减半,代价是 GPU 数量翻倍。

  • vLLM-Omni:2 卡启动时加 --cfg-parallel-size 2
  • SGLang:加 --enable-cfg-parallel,官方说明它会"将两条 guidance 分支放到不同 GPU 组,所需 GPU 翻倍"
  • Cosmos Framework 原生推理:参数为 --cfgp-size(示例中 4 卡用了 --cfgp-size 1)

config.json 中 parallelism 段的 cfg_parallel_shard_degree 默认就是 1,即单卡不做 CFG 切分。

适合场景:序列本身单卡装得下、但你想把单请求时间砍半。

4.2 序列并行(把超长 camera-major 序列切到多卡)

11 路相机 × 201 帧的序列极长,单卡装不下就靠序列并行把序列分片。

  • SGLang:--num-gpus N --ulysses-degree N --sp-degree N,使用 Ulysses 序列并行把 camera-major 序列切到 N 张卡;N 取 2/4/8
  • Cosmos Framework:torchrun --nproc-per-node=4 ... --cp-size 4(context parallel 即序列切分,示例见 assets/sample_data/README.md)

适合场景:多视角、720p 等大序列,这是多卡的"刚需"而非可选。

组合建议:先用序列并行保证"装得下",再视延迟需求叠加 CFG 并行"跑得更快"(GPU 数 = 序列并行数 × CFG 并行数)。

五、带 LiDAR 联合生成:时间预算要乘多少倍?

一旦要求同步生成 LiDAR(128 线旋转激光),负载会明显上升:

  • 小序列代价最高:1 路 480p、单卡 H100 每 NFE 从 2.4s 涨到 20s(约 8 倍),端到端从 2m47s 涨到 23m12s;
  • 大序列被"摊薄":11 路 720p 从 40s 涨到 50s 每 NFE,端到端 46m28s → 57m47s(4 卡),仅 1.25 倍。

选型含义:LiDAR 联合生成时,GPU 档位要在纯视频基础上再上调一档——例如纯视频 4 卡够用的 11 路 720p,带 LiDAR 时建议直接上 8 卡(34m26s)。

六、GPU 选型决策表:按视角数和分辨率直接抄 ✅

你的任务 推荐配置 参考耗时(端到端)
跑通管线:1 路 480p H100/H200 × 1 约 3 分钟
4 路 480p 日常验证 H100 × 1~2 12m32s / 6m39s
7 路 480p 完整环视 H100 × 4 8m24s
11 路 480p 全视角 H100 × 4(急用 × 8) 13m21s / 9m41s
4 路 720p 高质量 H100 × 4 15m21s
11 路 720p 全视角 H100 × 4 起步,× 8 更佳 46m28s / 27m50s
上述 + LiDAR 联合 在上表基础上 × 2 卡档 11路720p × 8 约 34 分钟
预算充足的旗舰方案 GB200 × 4 11 路 720p 约 22m29s

💡 H200 与 H100 速度几乎一致但显存大 76%,如果你常跑 11 路 720p,H200 同卡数下更不容易撞显存墙。

七、部署避坑清单 🛠️

  1. 首次请求很慢:第一次请求会触发 transformer 编译(warmup),后续请求才快,别误判为"GPU 不够";
  2. 调大超时:7 路相机请求可能超过默认 600 秒,vLLM-Omni 需设置 VLLM_OMNI_VIDEO_SYNC_TIMEOUT=1800 等环境变量并加 --init-timeout 1800(完整命令见 README.md 的 Quick Start);
  3. 安全开关:--no-guardrails 会关闭文本/视频安全检查,生产环境慎用;
  4. 输入对齐:生成 LiDAR 必须提供与相机时序对齐的高程图控制数据(assets/sample_data/daytime_scene/lidar/ 下有示例压缩包);
  5. 检查点验证:下载后可用 assets/sample_data/SHA256SUMS 校验样例数据完整性,模型管线结构见 model_index.json,权重来源见 checkpoint.json。

一句话总结

小序列单卡跑 480p 验证,大序列 4 卡序列并行兜底,11 路 720p 带 LiDAR 直接上 8 卡;想要单请求更快,再叠一层 CFG 并行。 把官方 README.md 的性能表贴在工位上,按"视角数 × 分辨率 × 是否带 LiDAR"三个维度查表,就不会选错 GPU 了。

登录后查看全文
Cosmos3-Nano-Transfer-Auto