TaoMate-H3 分布式并行内幕:TP2×Ulysses4 序列并行如何跑满 8 卡 H20

原创2026-10-26 09:50:52953 阅读

TaoMate-H3 分布式并行内幕:TP2×Ulysses4 序列并行如何跑满 8 卡 H20

TaoMate-H3 是一个基于 MiniMax H3 的低时延流式音视频生成运行时,它的官方验证配置正是一台 8 × H20 96 GB 单机节点。本文带你拆解它内部的分布式并行架构:如何用 TP2 张量并行 + Ulysses4 序列并行把 8 张 GPU 全部吃满,以及在纯 DiT 阶段实现 11.45 倍加速的底层逻辑,适合想了解多卡推理原理的新手快速上手。

一图看懂:TaoMate-H3 的生成效果

先看看这套 8 卡并行方案最终产出什么。下图来自仓库示例 seated_001(30 秒模式,770 帧 / 32.08s,3 个连续请求),左侧是首帧输入,右侧是尾帧输入,中间是由 TaoMate-H3 多卡推理生成的视频帧:

TaoMate-H3 分布式并行生成的首尾帧到视频对比图

这种"边生成边出片"的流式体验,背后正是 TP2×Ulysses4 并行 + 三步去噪 + 持续 KV 缓存的合力。

为什么 8 卡并行是刚需:视频生成的算力账

5 秒的 768p 音视频会展开成一条非常长的 token 序列。扩散模型每个去噪步都要在这条完整序列上跑一次 DiT 前向,其中:

  • 线性层:参数矩阵巨大,单卡显存和算力都吃紧;
  • 注意力:代价随序列长度平方增长,是长视频生成的最大瓶颈。

TaoMate-H3 的策略是两刀并行:用 TP2 切"宽度"(权重/通道),用 Ulysses4 切"长度"(序列/注意力头),两刀相乘正好把 8 张卡全部利用起来。

8 卡切分方案:TP2 × Ulysses4

第 1 刀:TP2 张量并行切权重

张量并行把每层大矩阵拆给 2 张卡各算一半:

  • ColumnParallelLinear:按输出列切分,2 卡各持 1/2 权重(见 linear.py);
  • RowParallelLinear:按输入行切分,局部结果最后做一次 all-reduce 求和还原完整输出。

配套的集合通信封装在 collectives.py 中,tp_all_gather 和 tp_all_reduce 只在同 TP 组的 2 张卡之间通信,范围小、延迟低。

第 2 刀:Ulysses4 序列并行切注意力

Ulysses 是典型的"注意力头并行"方案,核心技巧是两次 all-to-all 交换序列分片与头分片(ulysses.py):

  1. 平时每张卡持有 1/4 的序列 token、全部注意力头(序列并行态);
  2. 进入注意力前,一次 all_to_all_single 把数据换成:完整序列 + 1/4 的注意力头;
  3. 每张卡用 FlashAttention-3 对完整序列算自己那 1/4 头的注意力;
  4. 再一次 all-to-all 换回序列并行态,交给下一层。

这样注意力计算量被均摊到 4 张卡上,同时每卡仍能看到完整上下文——长序列的平方代价被直接除以 4。代码中 Q/K/V 还会融合成一次集合通信(merged_qkv_sequence_to_heads),减少 3 次通信为 1 次。

8 张 GPU 的组网方式

在 runtime/direct.py 中,拓扑按 rank = ulysses_rank × 2 + tp_rank 编排:

卡号 (rank) 0 1 2 3 4 5 6 7
TP 组内位置 tp0 tp1 tp0 tp1 tp0 tp1 tp0 tp1
Ulysses 组内位置 u0 u0 u1 u1 u2 u2 u3 u3
  • 4 个 TP 组:{0,1} {2,3} {4,5} {6,7} —— 相邻 2 卡切权重;
  • 2 个 Ulysses 组:{0,2,4,6} {1,3,5,7} —— 跨 4 卡做序列/头交换。

这个视图被固化成 ParallelContext(parallel.py),所有通信都必须显式传入对应进程组,避免隐式全局通信带来的多余同步。

💡 4 卡模式同理:--gpus 4 会自动降级为 TP2 × Ulysses2,拓扑校验逻辑见 config.py。

一层 Attention 前向:数据在 8 卡间的流动

以 layers.py 中的注意力层为例,一次前向完整走一遍并行链路:

  1. qkv_proj(TP2 列切分)→ 各卡得到本 TP 半区的 QKV;
  2. ulysses_active 时执行 all-to-all → 切换到"全长序列 + 1/4 头";
  3. _packed_sdpa 用 FlashAttention-3 算变长 packed 注意力;
  4. all-to-all 换回序列并行态;
  5. out_proj(TP2 行切分)+ TP 组内 all-reduce 合并 2 卡的部分和;
  6. MLP 的 fc1(列切分)与 fc2(行切分 + all-reduce)再走一轮同样的模式。

每一层的通信都严格限制在 2 张卡(TP)或 4 张卡(Ulysses)内,没有跨全 8 卡的大规模同步,这是它能"跑满"低延迟目标的关键。

源码导读:分布式并行的 5 个关键文件

模块 作用
parallel.py ParallelContext:显式 rank 拓扑定义
collectives.py TP/Ulysses 的 all-gather、all-reduce 封装
ulysses.py all-to-all 序列/头交换与 QKV 融合通信
linear.py 列/行并行线性层(兼容 W8A8 量化路径)
direct.py 进程组建组、模型加载、性能回执

想深入原理时,按这张表逐文件阅读即可。

一键启动:8 卡 H20 推理命令

TaoMate-H3 不需要手动敲 torchrun——入口命令会自己拉起分布式 worker(cli.py 内部以 --nproc-per-node=8 --module taomate_h3.worker 启动,worker 入口见 worker.py):

python -m taomate_h3 \
  --model-root models/MiniMax-H3 \
  --prompt-json examples/prompts_10s.json \
  --duration 10 \
  --resolution 768x1376 \
  --gpus 8 \
  --devices 0,1,2,3,4,5,6,7 \
  --output outputs/demo_10s

提示词文件示例见 examples/prompts_10s.json,每个 5 秒块一条 prompt。注意 --gpus 只接受 4 或 8,拓扑不匹配会直接报错,这是官方刻意的约束——并行方案属于"已验证配置",不做自由组合。

实测数据:TP2×Ulysses4 跑满 8 卡 H20

官方在 8 × H20 96 GB、480x864 画布、10 秒输出、TP2×Ulysses4 配置下的结果(详见 README.md):

指标 TaoMate-H3 MiniMax H3 提升
纯 DiT 时间 14.810 s 169.572 s 11.45×
首个最终块 latent 6.148 s 170.052 s 27.66×
首个可播放视频 17.287 s 183.313 s 10.60×
DiT 峰值显存(每卡) 31.37 GiB 32.03 GiB —

31.37 GiB 的每卡峰值意味着 96 GB 的 H20 还有充足余量容纳流式 KV 缓存;一次 10 秒请求共 24 次生成前向 + 8 次 clean-KV 更新,全部在这套并行拓扑上流水执行。

新手上手建议

  • 🚀 先跑通 8 卡:环境要求 NVIDIA Hopper(SM90)、CUDA 12.8 + PyTorch 2.8,FlashAttention-3 与 vLLM 的 W8A8 算子在启动前会被强制校验(cli.py);
  • ⚡️ 只改设备号不改拓扑:--devices 可指定非 0-7 的卡,但 TP2×Ulysses4 的切分方式不要动;
  • 📊 看性能回执:运行时通过 all_gather_object 汇总各 rank 的耗时与显存峰值(direct.py),排查"某张卡拖后腿"时非常有用;
  • 🔎 想改并行度:建议从 ulysses.py 的 _all_to_all_swap 读起,它是理解整个序列并行的最小入口。

理解了这个"TP2 切宽 × Ulysses4 切长"的组合拳,你再去看其他多模态大模型的多卡推理方案,大部分都能对号入座。

登录后查看全文
TaoMate-H3