TaoMate-H3 分布式并行内幕:TP2×Ulysses4 序列并行如何跑满 8 卡 H20
TaoMate-H3 分布式并行内幕:TP2×Ulysses4 序列并行如何跑满 8 卡 H20
TaoMate-H3 是一个基于 MiniMax H3 的低时延流式音视频生成运行时,它的官方验证配置正是一台 8 × H20 96 GB 单机节点。本文带你拆解它内部的分布式并行架构:如何用 TP2 张量并行 + Ulysses4 序列并行把 8 张 GPU 全部吃满,以及在纯 DiT 阶段实现 11.45 倍加速的底层逻辑,适合想了解多卡推理原理的新手快速上手。
一图看懂:TaoMate-H3 的生成效果
先看看这套 8 卡并行方案最终产出什么。下图来自仓库示例 seated_001(30 秒模式,770 帧 / 32.08s,3 个连续请求),左侧是首帧输入,右侧是尾帧输入,中间是由 TaoMate-H3 多卡推理生成的视频帧:
这种"边生成边出片"的流式体验,背后正是 TP2×Ulysses4 并行 + 三步去噪 + 持续 KV 缓存的合力。
为什么 8 卡并行是刚需:视频生成的算力账
5 秒的 768p 音视频会展开成一条非常长的 token 序列。扩散模型每个去噪步都要在这条完整序列上跑一次 DiT 前向,其中:
- 线性层:参数矩阵巨大,单卡显存和算力都吃紧;
- 注意力:代价随序列长度平方增长,是长视频生成的最大瓶颈。
TaoMate-H3 的策略是两刀并行:用 TP2 切"宽度"(权重/通道),用 Ulysses4 切"长度"(序列/注意力头),两刀相乘正好把 8 张卡全部利用起来。
8 卡切分方案:TP2 × Ulysses4
第 1 刀:TP2 张量并行切权重
张量并行把每层大矩阵拆给 2 张卡各算一半:
ColumnParallelLinear:按输出列切分,2 卡各持 1/2 权重(见 linear.py);RowParallelLinear:按输入行切分,局部结果最后做一次all-reduce求和还原完整输出。
配套的集合通信封装在 collectives.py 中,tp_all_gather 和 tp_all_reduce 只在同 TP 组的 2 张卡之间通信,范围小、延迟低。
第 2 刀:Ulysses4 序列并行切注意力
Ulysses 是典型的"注意力头并行"方案,核心技巧是两次 all-to-all 交换序列分片与头分片(ulysses.py):
- 平时每张卡持有 1/4 的序列 token、全部注意力头(序列并行态);
- 进入注意力前,一次
all_to_all_single把数据换成:完整序列 + 1/4 的注意力头; - 每张卡用 FlashAttention-3 对完整序列算自己那 1/4 头的注意力;
- 再一次 all-to-all 换回序列并行态,交给下一层。
这样注意力计算量被均摊到 4 张卡上,同时每卡仍能看到完整上下文——长序列的平方代价被直接除以 4。代码中 Q/K/V 还会融合成一次集合通信(merged_qkv_sequence_to_heads),减少 3 次通信为 1 次。
8 张 GPU 的组网方式
在 runtime/direct.py 中,拓扑按 rank = ulysses_rank × 2 + tp_rank 编排:
| 卡号 (rank) | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |
|---|---|---|---|---|---|---|---|---|
| TP 组内位置 | tp0 | tp1 | tp0 | tp1 | tp0 | tp1 | tp0 | tp1 |
| Ulysses 组内位置 | u0 | u0 | u1 | u1 | u2 | u2 | u3 | u3 |
- 4 个 TP 组:{0,1} {2,3} {4,5} {6,7} —— 相邻 2 卡切权重;
- 2 个 Ulysses 组:{0,2,4,6} {1,3,5,7} —— 跨 4 卡做序列/头交换。
这个视图被固化成 ParallelContext(parallel.py),所有通信都必须显式传入对应进程组,避免隐式全局通信带来的多余同步。
💡 4 卡模式同理:--gpus 4 会自动降级为 TP2 × Ulysses2,拓扑校验逻辑见 config.py。
一层 Attention 前向:数据在 8 卡间的流动
以 layers.py 中的注意力层为例,一次前向完整走一遍并行链路:
qkv_proj(TP2 列切分)→ 各卡得到本 TP 半区的 QKV;ulysses_active时执行 all-to-all → 切换到"全长序列 + 1/4 头";_packed_sdpa用 FlashAttention-3 算变长 packed 注意力;- all-to-all 换回序列并行态;
out_proj(TP2 行切分)+ TP 组内all-reduce合并 2 卡的部分和;- MLP 的
fc1(列切分)与fc2(行切分 + all-reduce)再走一轮同样的模式。
每一层的通信都严格限制在 2 张卡(TP)或 4 张卡(Ulysses)内,没有跨全 8 卡的大规模同步,这是它能"跑满"低延迟目标的关键。
源码导读:分布式并行的 5 个关键文件
| 模块 | 作用 |
|---|---|
| parallel.py | ParallelContext:显式 rank 拓扑定义 |
| collectives.py | TP/Ulysses 的 all-gather、all-reduce 封装 |
| ulysses.py | all-to-all 序列/头交换与 QKV 融合通信 |
| linear.py | 列/行并行线性层(兼容 W8A8 量化路径) |
| direct.py | 进程组建组、模型加载、性能回执 |
想深入原理时,按这张表逐文件阅读即可。
一键启动:8 卡 H20 推理命令
TaoMate-H3 不需要手动敲 torchrun——入口命令会自己拉起分布式 worker(cli.py 内部以 --nproc-per-node=8 --module taomate_h3.worker 启动,worker 入口见 worker.py):
python -m taomate_h3 \
--model-root models/MiniMax-H3 \
--prompt-json examples/prompts_10s.json \
--duration 10 \
--resolution 768x1376 \
--gpus 8 \
--devices 0,1,2,3,4,5,6,7 \
--output outputs/demo_10s
提示词文件示例见 examples/prompts_10s.json,每个 5 秒块一条 prompt。注意 --gpus 只接受 4 或 8,拓扑不匹配会直接报错,这是官方刻意的约束——并行方案属于"已验证配置",不做自由组合。
实测数据:TP2×Ulysses4 跑满 8 卡 H20
官方在 8 × H20 96 GB、480x864 画布、10 秒输出、TP2×Ulysses4 配置下的结果(详见 README.md):
| 指标 | TaoMate-H3 | MiniMax H3 | 提升 |
|---|---|---|---|
| 纯 DiT 时间 | 14.810 s | 169.572 s | 11.45× |
| 首个最终块 latent | 6.148 s | 170.052 s | 27.66× |
| 首个可播放视频 | 17.287 s | 183.313 s | 10.60× |
| DiT 峰值显存(每卡) | 31.37 GiB | 32.03 GiB | — |
31.37 GiB 的每卡峰值意味着 96 GB 的 H20 还有充足余量容纳流式 KV 缓存;一次 10 秒请求共 24 次生成前向 + 8 次 clean-KV 更新,全部在这套并行拓扑上流水执行。
新手上手建议
- 🚀 先跑通 8 卡:环境要求 NVIDIA Hopper(SM90)、CUDA 12.8 + PyTorch 2.8,FlashAttention-3 与 vLLM 的 W8A8 算子在启动前会被强制校验(cli.py);
- ⚡️ 只改设备号不改拓扑:
--devices可指定非 0-7 的卡,但 TP2×Ulysses4 的切分方式不要动; - 📊 看性能回执:运行时通过
all_gather_object汇总各 rank 的耗时与显存峰值(direct.py),排查"某张卡拖后腿"时非常有用; - 🔎 想改并行度:建议从 ulysses.py 的
_all_to_all_swap读起,它是理解整个序列并行的最小入口。
理解了这个"TP2 切宽 × Ulysses4 切长"的组合拳,你再去看其他多模态大模型的多卡推理方案,大部分都能对号入座。
