InternLumina-U2大规模推理实战:EP专家并行、Ascend NPU适配与分段注意力优化
InternLumina-U2大规模推理实战:EP专家并行、Ascend NPU适配与分段注意力优化
InternLumina-U2 是一个 16B 参数的统一多模态 MoE 模型(16B-A1B,激活参数仅 1B),一个模型同时覆盖文本问答、文生图、图像理解与编辑、视频理解和 3D 理解。本文面向新手,完整讲解它大规模推理背后的三项核心优化:EP 专家并行、Ascend NPU 适配与分段注意力,带你从配置到源码快速上手。
一、先认识模型:16B-A1B 的 MoE 结构
InternLumina-U2 采用 LLaDA2Moe 架构,仓库内提供两套硬件栈训出的权重:
ascend/:在华为 Ascend NPU 上训练的 checkpointnvidia/:在 NVIDIA GPU 上训练的 checkpoint
两套权重共享同一套模型代码框架,核心差异在注意力实现(后文详述)。以下是 ascend/config.json 中最关键的参数:
| 参数 | 值 | 含义 |
|---|---|---|
num_hidden_layers |
20 | 解码层数 |
num_experts |
256 | 每层专家数 |
num_experts_per_tok |
8 | 每个 token 激活的专家数 |
num_shared_experts |
1 | 共享专家数 |
num_codebooks |
8 | 视觉多码本数量(AToken 全离散表示) |
hidden_size |
2048 | 隐层维度 |
_moe_implementation |
fused |
融合 MoE 前向实现 |
权重总规模约 33.8GB(bf16,见 model.safetensors.index.json 中 metadata.total_size),分 7 个分片存放。
💡 关键点:256 个专家 × 20 层是典型"大参数、小激活"的 MoE 形态——总参数 16B,但每个 token 只路由到 8 个路由专家加 1 个共享专家,激活约 1B。这种结构决定了它最适合的并行方式不是张量并行,而是专家并行(Expert Parallelism, EP)。
二、EP 专家并行:把 256 个专家切到多卡
为什么 MoE 大推理要上 EP
EP 的核心思想:每张卡只存放一部分专家,token 按路由结果在卡间交换。对 256 专家/层的模型,EP=8 时单卡只需承载 32 个专家,显存压力立降一个数量级,同时保持每层全部专家"齐全",推理精度不受切分影响。
InternLumina-U2 的 EP 切分计划
切分规则集中定义在 ascend/parallel_plan.py,非常简洁:
对每一层
model.layers.*.mlp.experts下的gate_proj、up_proj、down_proj三组专家权重,沿第 0 维做Shard(0)切分。
计划同时覆盖两种专家存储形态:
- 融合形态(
_moe_implementation: "fused"):三组权重各自是 3D 大张量,直接切分; - 拆分导出形态:专家是
ModuleList,每个专家的*.weight逐个切分。
模型侧通过 modeling_internluminau2.py 中 LLaDA2MoePreTrainedModel.get_parallel_plan() 把该计划暴露给训练/推理框架(veomni 的 ParallelPlan),框架负责实际的权重分片与 all-to-all 通信。
实践注意 📌
- EP 只切专家,不切注意力:QKV 投影、RMSNorm 等非专家参数仍按常规方式分布,所以 EP 数选择主要受专家权重显存与通信带宽约束。
- eager 实现不支持 EP:源码中 LLaDA2MoeExperts 显式断言
_moe_implementation='eager'与ep_enabled互斥。想开 EP,请把config.json中的_moe_implementation保持为fused,走fused_moe_forward融合路径。 - 观察专家负载:模型内置了专家计数工具 enable_expert_tracking / get_expert_stats,推理时打开即可统计每层每个专家被命中的次数,配合
load_balancing_loss_func判断路由是否均衡——负载倾斜会直接拉低 EP 场景下的整体吞吐。
三、Ascend NPU 适配:一行配置切换融合注意力
这是 ascend/ 与 nvidia/ 两套模型代码最本质的差异。
两套注意力实现对照
| 实现 | nvidia/ 支持 | ascend/ 支持 |
|---|---|---|
eager(显式注意力矩阵) |
✅ | ✅ |
sdpa(PyTorch SDPA) |
✅ | ✅ |
flex_attention |
✅ | ✅ |
npu(torch_npu 融合算子) |
❌ | ✅ |
NVIDIA 侧的注册表见 nvidia/modeling_internluminau2.py;Ascend 侧在 ascend/modeling_internluminau2.py 中额外注册了 "npu": LLaDA2MoeNpuAttention。
NPU 路径的关键细节
- 自动路由:模型初始化时检测 NPU 环境,若
_attn_implementation为sdpa会自动改写成npu(LLaDA2MoeModel.init),无需用户手动配置。 - 融合算子:
LLaDA2MoeNpuAttention的 forward 直接调用torch_npu.npu_fusion_attention,Q/K/V 投影、归一化与注意力计算由 NPU 硬件流水线完成,省去显式构造注意力矩阵。 - dtype 对齐:融合算子要求 Q、K、V 同 dtype,而 QK-LayerNorm 可能改变精度,代码中统一转回
query_states.dtype再进入算子(L995-L998)。这是 NPU 适配中典型的"隐性坑",源码里已处理。
💡 新手建议:在 NPU 机器上运行时无需关心上述细节,模型加载后自动走 NPU 路径;只有在日志中看到回退到 eager 才需要检查 torch_npu 环境。
四、分段注意力优化:注意力开销从 S² 降到 ΣL_i²
问题背景
多模态训练与推理常把多条样本拼接(packing)成一条超长序列 S。由于不同样本之间不应互相看见,注意力掩码是严格的块对角矩阵——但默认实现仍要在整块 S×S 矩阵上计算,大量算力浪费在被掩掉的区域。
InternLumina-U2 的解法
分段注意力通过配置项 use_segmented_attention 开启(opt-in,默认路径零开销),核心思路:按 cu_seqlens 给出的分段边界,把一次大注意力拆成每段一次小注意力。
- 数学上这是恒等变换,FLOPs 从 S² 降为 ΣL_i²;
- 实现见 _segmented_sdpa(GPU 侧,逐段调用
scaled_dot_product_attention)与 _segmented_npu_attention(NPU 侧,逐段调用npu_fusion_attention),两套硬件各有一份; - 边界处理很讲究:pack 末尾的 padding 行在分段路径下会对完整 K/V 做注意力,与稠密路径结果严格一致(L736-L750)。
三个工程细节值得学习
- 一次解析,逐层复用:resolve_seg_bounds 在整个 forward 中只把
cu_seqlens从张量转成 Python 元组一次。若放在每层循环里.tolist(),会引入"每层一次设备同步",在梯度检查点重算下还会翻倍。 - 严格模式校验:设置环境变量
SEG_ATTN_STRICT=1后,若开了分段注意力却因条件不满足(如增量解码带 KV cache)无法走分段路径,会直接抛错而不是静默回退到稠密路径——避免"性能对比实验里悄悄没跑分段路径"这类隐蔽问题(use_segmented_attention)。 - 单段 batch 不报错:当 pack 恰好只装下一条样本时,分段路径等价于稠密路径,代码直接放行并计数
_seg_calls,保证"跑过"和"没差别"可以被测试断言区分。
📊 直观理解:若一条 pack 装了 8 条长度 2K 的样本(S=16K),稠密注意力算 2.56 亿次点积,分段后只需 8×400 万 = 320 万,理论加速约 80 倍(实际还受启动开销影响)。
五、推理配置速查清单
| 场景 | 建议配置 | 依据 |
|---|---|---|
| 多卡推理 MoE 主干 | EP 并行 + _moe_implementation: "fused" |
parallel_plan.py |
| Ascend NPU 部署 | 保持默认 sdpa,自动路由到 npu |
LLaDA2MoeModel.init |
| 长序列 pack 推理 | 打开 use_segmented_attention |
modeling_internluminau2.py |
| 排查路由不均衡 | enable_expert_tracking + get_expert_stats |
expert tracking |
| NVIDIA GPU 部署 | sdpa / flex_attention / eager 三选一 |
ATTENTION_CLASSES |
六、总结
InternLumina-U2 的大规模推理优化可以归纳为三句话:
- EP 专家并行:256 个专家按
Shard(0)切到各卡,fused MoE 前向承接通信后的计算,显存与吞吐双赢; - Ascend NPU 深度适配:
npu_fusion_attention融合算子 + 自动路由 + dtype 对齐,NPU 上无需手工调参即可吃到硬件收益; - 分段注意力:利用块对角掩码的数学性质把注意力复杂度从 S² 压到 ΣL_i²,并配有严格的等价性校验机制。
三者都在 modeling_internluminau2.py 中开源可查,配置入口集中在 config.json,是学习多模态 MoE 大模型推理工程的优秀范本。