GLM-5.3-Flash-MXFP4视觉塔优化:2×2下采样卷积改写为矩阵乘法,首次调用省1.2秒
GLM-5.3-Flash-MXFP4视觉塔优化:2×2下采样卷积改写为矩阵乘法,首次调用省1.2秒
GLM-5.3-Flash-MXFP4 是一个面向 AMD Instinct MI355X(gfx950)的 MXFP4 量化 GLM-5.3-Flash 检查点,支持文本与图文(image-to-text)推理服务。这篇 GLM-5.3-Flash-MXFP4 视觉塔优化文章要讲的是一次非常"小"但非常干净的改动:把视觉塔末尾的 2×2 下采样卷积改写为 unfold + linear 的矩阵乘法路径。结果是:新进程首次调用从 4.501 秒降到 3.307 秒(约省 1.2 秒,−26.5%),预热后的 CUDA Graph 执行时间从 63.28 μs 降到 25.62 μs(−59.5%)。下面讲清楚为什么这次改写是合法的、快在哪里、数字是怎么测出来的。
背景:视觉塔最后一块拼图是怎么工作的
处理一张图片时,视觉塔的流程大致是:图片切块(patch)→ 逐块过 Transformer 块 → 最后做一步空间合并(merge),把相邻的 2×2 个 token 压缩成 1 个,再送进语言模型。
GLM-5.3-Flash 的视觉塔在这一步的原始形状是:
| 项目 | 数值 |
|---|---|
| 合并组数量(相当于 batch) | 256 组 |
| 每个 patch 通道数 | 1024 |
| 卷积核 / 步幅 | 2×2 / 2 |
| 输出通道数 | 4096(与语言模型对齐) |
输入是非连续的 NCHW 布局 [256, 1024, 2, 2]:256 个待合并的 2×2 小块,每块 1024 维。
核心洞察:卷积核大小等于步幅时,卷积就是矩阵乘法 👀
这是整个优化最关键的一步推理:
kernel_size = 2,stride = 2padding = 0,dilation = 1,groups = 1
当卷积核大小等于步幅时,卷积滑窗之间互不重叠、互不共享——每个 2×2 小块只被卷积一次。也就是说,卷积的"空间共享"特性在这里完全退化:每个 2×2 patch(1024 × 2 × 2 = 4096 维向量)各自独立完成一个 4096 → 4096 的线性投影。
所以这个"卷积"等价于一次普通矩阵乘法:
[256, 4096] × [4096, 4096]^T + bias → [256, 4096]
SGLang 的 Conv2dLayer 在遇到"kernel 等于 stride"这种形状时,走的正是 unfold + linear 分支:先用 unfold(im2col)把每个 patch 展开成一行特征向量,再交给带 bias 的 GEMM 计算,从而绕开 MIOpen 的卷积 kernel 搜索。
优化前后对比:首次调用与热态执行
| 指标 | 传统 Conv2d 路径 | unfold + linear(GEMM) | 改善 |
|---|---|---|---|
| 新进程首次调用 | 4.501 s | 3.307 s | −26.5%(约 1.2 s) |
| 预热后 CUDA Graph 执行 | 63.28 μs | 25.62 μs | −59.5% |
| 输出相对 RMS 误差 | — | 0.00291(BF16 阈值内,最大绝对误差 0.015625) | 数值一致 |
两处收益的来源可以拆开看:
- 首次调用:Conv2d 路径首次运行会触发 MIOpen 卷积 kernel 的启发式搜索,unfold + linear 直接落到已调优的 GEMM 上,省掉的正是这段"冷启动"。
- 热态执行:从 trace 看,预热后的 Conv2d 序列包含布局转置(transpose)+ 卷积 + 独立的 bias 加法三步;unfold + linear 只有一步布局拷贝 + 一步带 bias 的矩阵乘法,GPU 上实际执行的工作量明显更少。
这些数字是怎么测出来的:可复现的方法
测量刻意做得"保守",避免自欺欺人:
- 首次调用:每次都用独立的、全新 Python 进程,各自使用不同的
HOME/ 缓存目录,按 Conv2d → linear → linear → Conv2d 的顺序交错执行,两侧各取两次均值(4.501 vs 3.307 s)。 - 热态执行:3 轮"未开 profiler"的 CUDA Graph ABBA 计时(native → candidate → candidate → native),排除测量开销本身。
- 数值校验:两条路径加载同一份检查点权重和 bias,输出相对 RMS 误差 0.00291、最大绝对误差 0.015625,均在 BF16 数值阈值内。
环境为 AMD MI355X VF(gfx950)、PyTorch 2.11.0+rocm7.2、SGLang f5d842b。相关模块与资料:
- 测量脚本:reproduction/benchmark_mhc_vision_operators.py
- 研究协议(含误差、重复次数、环境锁定):reproduction/mhc-vision-operator-study.md
- 机器可读测量结果(含每次重复值):assets/mhc-vision-operator-study.json
- 原始 profiler trace:reproduction/mhc-vision-raw/
- 图表渲染脚本:reproduction/render_mhc_vision_operator_study.py
放在整盘棋里看:一次诚实的算子级优化
这次视觉塔下采样改写是 GLM-5.3-Flash-MXFP4 在 MI355X 上的一串算子调优之一,同梯队的还有 KDA 融合 kernel 和 mHC 的 AITER 后端选择。需要说明两点:
- 这是隔离的算子级测量,不是端到端 AgentX 服务吞吐归因,作者刻意没有把百分比"折算"到服务曲线上。
- 改法本身非常通用:凡是 kernel 大小等于步幅、无 padding、单组的 2D 卷积,本质都是一组独立的线性投影,都可以考虑走 unfold + linear 的 GEMM 路径。
小结
- 🎯 判定条件:
kernel == stride且无 padding 的 2×2 卷积 = 每个 patch 一次独立线性投影。 - ⚡ 收益:首次调用 4.501 s → 3.307 s(省约 1.2 秒),热态 63.28 μs → 25.62 μs(−59.5%)。
- ✅ 数值:加载相同权重,输出误差在 BF16 阈值内。
- 🔍 方法:独立进程冷启动 + ABBA CUDA Graph 计时 + 同一权重对拍,全部可复现。
