InternLumina-U2大规模推理实战:EP专家并行、Ascend NPU适配与分段注意力优化

原创2026-10-18 23:06:541,917 阅读
文章标签:大模型人工智能多模态媒体生成基础模型

InternLumina-U2大规模推理实战:EP专家并行、Ascend NPU适配与分段注意力优化

InternLumina-U2 是一个 16B 参数的统一多模态 MoE 模型(16B-A1B,激活参数仅 1B),一个模型同时覆盖文本问答、文生图、图像理解与编辑、视频理解和 3D 理解。本文面向新手,完整讲解它大规模推理背后的三项核心优化:EP 专家并行、Ascend NPU 适配与分段注意力,带你从配置到源码快速上手。

一、先认识模型:16B-A1B 的 MoE 结构

InternLumina-U2 采用 LLaDA2Moe 架构,仓库内提供两套硬件栈训出的权重:

  • ascend/:在华为 Ascend NPU 上训练的 checkpoint
  • nvidia/:在 NVIDIA GPU 上训练的 checkpoint

两套权重共享同一套模型代码框架,核心差异在注意力实现(后文详述)。以下是 ascend/config.json 中最关键的参数:

参数 值 含义
num_hidden_layers 20 解码层数
num_experts 256 每层专家数
num_experts_per_tok 8 每个 token 激活的专家数
num_shared_experts 1 共享专家数
num_codebooks 8 视觉多码本数量(AToken 全离散表示)
hidden_size 2048 隐层维度
_moe_implementation fused 融合 MoE 前向实现

权重总规模约 33.8GB(bf16,见 model.safetensors.index.json 中 metadata.total_size),分 7 个分片存放。

💡 关键点:256 个专家 × 20 层是典型"大参数、小激活"的 MoE 形态——总参数 16B,但每个 token 只路由到 8 个路由专家加 1 个共享专家,激活约 1B。这种结构决定了它最适合的并行方式不是张量并行,而是专家并行(Expert Parallelism, EP)。

二、EP 专家并行:把 256 个专家切到多卡

为什么 MoE 大推理要上 EP

EP 的核心思想:每张卡只存放一部分专家,token 按路由结果在卡间交换。对 256 专家/层的模型,EP=8 时单卡只需承载 32 个专家,显存压力立降一个数量级,同时保持每层全部专家"齐全",推理精度不受切分影响。

InternLumina-U2 的 EP 切分计划

切分规则集中定义在 ascend/parallel_plan.py,非常简洁:

对每一层 model.layers.*.mlp.experts 下的 gate_proj、up_proj、down_proj 三组专家权重,沿第 0 维做 Shard(0) 切分。

计划同时覆盖两种专家存储形态:

  • 融合形态(_moe_implementation: "fused"):三组权重各自是 3D 大张量,直接切分;
  • 拆分导出形态:专家是 ModuleList,每个专家的 *.weight 逐个切分。

模型侧通过 modeling_internluminau2.py 中 LLaDA2MoePreTrainedModel.get_parallel_plan() 把该计划暴露给训练/推理框架(veomni 的 ParallelPlan),框架负责实际的权重分片与 all-to-all 通信。

实践注意 📌

  1. EP 只切专家,不切注意力:QKV 投影、RMSNorm 等非专家参数仍按常规方式分布,所以 EP 数选择主要受专家权重显存与通信带宽约束。
  2. eager 实现不支持 EP:源码中 LLaDA2MoeExperts 显式断言 _moe_implementation='eager' 与 ep_enabled 互斥。想开 EP,请把 config.json 中的 _moe_implementation 保持为 fused,走 fused_moe_forward 融合路径。
  3. 观察专家负载:模型内置了专家计数工具 enable_expert_tracking / get_expert_stats,推理时打开即可统计每层每个专家被命中的次数,配合 load_balancing_loss_func 判断路由是否均衡——负载倾斜会直接拉低 EP 场景下的整体吞吐。

三、Ascend NPU 适配:一行配置切换融合注意力

这是 ascend/ 与 nvidia/ 两套模型代码最本质的差异。

两套注意力实现对照

实现 nvidia/ 支持 ascend/ 支持
eager(显式注意力矩阵) ✅ ✅
sdpa(PyTorch SDPA) ✅ ✅
flex_attention ✅ ✅
npu(torch_npu 融合算子) ❌ ✅

NVIDIA 侧的注册表见 nvidia/modeling_internluminau2.py;Ascend 侧在 ascend/modeling_internluminau2.py 中额外注册了 "npu": LLaDA2MoeNpuAttention。

NPU 路径的关键细节

  1. 自动路由:模型初始化时检测 NPU 环境,若 _attn_implementation 为 sdpa 会自动改写成 npu(LLaDA2MoeModel.init),无需用户手动配置。
  2. 融合算子:LLaDA2MoeNpuAttention 的 forward 直接调用 torch_npu.npu_fusion_attention,Q/K/V 投影、归一化与注意力计算由 NPU 硬件流水线完成,省去显式构造注意力矩阵。
  3. dtype 对齐:融合算子要求 Q、K、V 同 dtype,而 QK-LayerNorm 可能改变精度,代码中统一转回 query_states.dtype 再进入算子(L995-L998)。这是 NPU 适配中典型的"隐性坑",源码里已处理。

💡 新手建议:在 NPU 机器上运行时无需关心上述细节,模型加载后自动走 NPU 路径;只有在日志中看到回退到 eager 才需要检查 torch_npu 环境。

四、分段注意力优化:注意力开销从 S² 降到 ΣL_i²

问题背景

多模态训练与推理常把多条样本拼接(packing)成一条超长序列 S。由于不同样本之间不应互相看见,注意力掩码是严格的块对角矩阵——但默认实现仍要在整块 S×S 矩阵上计算,大量算力浪费在被掩掉的区域。

InternLumina-U2 的解法

分段注意力通过配置项 use_segmented_attention 开启(opt-in,默认路径零开销),核心思路:按 cu_seqlens 给出的分段边界,把一次大注意力拆成每段一次小注意力。

  • 数学上这是恒等变换,FLOPs 从 S² 降为 ΣL_i²;
  • 实现见 _segmented_sdpa(GPU 侧,逐段调用 scaled_dot_product_attention)与 _segmented_npu_attention(NPU 侧,逐段调用 npu_fusion_attention),两套硬件各有一份;
  • 边界处理很讲究:pack 末尾的 padding 行在分段路径下会对完整 K/V 做注意力,与稠密路径结果严格一致(L736-L750)。

三个工程细节值得学习

  1. 一次解析,逐层复用:resolve_seg_bounds 在整个 forward 中只把 cu_seqlens 从张量转成 Python 元组一次。若放在每层循环里 .tolist(),会引入"每层一次设备同步",在梯度检查点重算下还会翻倍。
  2. 严格模式校验:设置环境变量 SEG_ATTN_STRICT=1 后,若开了分段注意力却因条件不满足(如增量解码带 KV cache)无法走分段路径,会直接抛错而不是静默回退到稠密路径——避免"性能对比实验里悄悄没跑分段路径"这类隐蔽问题(use_segmented_attention)。
  3. 单段 batch 不报错:当 pack 恰好只装下一条样本时,分段路径等价于稠密路径,代码直接放行并计数 _seg_calls,保证"跑过"和"没差别"可以被测试断言区分。

📊 直观理解:若一条 pack 装了 8 条长度 2K 的样本(S=16K),稠密注意力算 2.56 亿次点积,分段后只需 8×400 万 = 320 万,理论加速约 80 倍(实际还受启动开销影响)。

五、推理配置速查清单

场景 建议配置 依据
多卡推理 MoE 主干 EP 并行 + _moe_implementation: "fused" parallel_plan.py
Ascend NPU 部署 保持默认 sdpa,自动路由到 npu LLaDA2MoeModel.init
长序列 pack 推理 打开 use_segmented_attention modeling_internluminau2.py
排查路由不均衡 enable_expert_tracking + get_expert_stats expert tracking
NVIDIA GPU 部署 sdpa / flex_attention / eager 三选一 ATTENTION_CLASSES

六、总结

InternLumina-U2 的大规模推理优化可以归纳为三句话:

  1. EP 专家并行:256 个专家按 Shard(0) 切到各卡,fused MoE 前向承接通信后的计算,显存与吞吐双赢;
  2. Ascend NPU 深度适配:npu_fusion_attention 融合算子 + 自动路由 + dtype 对齐,NPU 上无需手工调参即可吃到硬件收益;
  3. 分段注意力:利用块对角掩码的数学性质把注意力复杂度从 S² 压到 ΣL_i²,并配有严格的等价性校验机制。

三者都在 modeling_internluminau2.py 中开源可查,配置入口集中在 config.json,是学习多模态 MoE 大模型推理工程的优秀范本。

登录后查看全文
InternLumina-U2