4GB板卡跑35B大模型:openTPU的MoE专家流式Offload如何让Qwen3.5-35B-A3B上卡推理
4GB板卡跑35B大模型:openTPU的MoE专家流式Offload如何让Qwen3.5-35B-A3B上卡推理
openTPU 是一款完全开源的 AI 加速器(RTL、指令集、模拟器、编译器、性能分析器全在一个仓库)。它最"出格"的一招,是把 35B 参数的 MoE 大模型 Qwen3.5-35B-A3B 塞进一块只有 4GB DDR3 的 FPGA PCIe 板卡做推理——靠的不是更大的显存,而是 MoE 专家流式 Offload:板卡只常驻稠密部分和少量专家槽位,缺失的专家由主机按 token 需求经 PCIe 实时"补货",而所有计算 100% 在卡上完成。实测解码约 5.3 tok/s,输出与模拟器逐比特一致。
左:otpu-chat 在 FPGA 板卡上对话;右:otpu-smi 实时监控板卡利用率与 DRAM 带宽(截图来自 README.md)。
一、先看差距:4GB 显存 vs 35B 参数 📏
先把"不可能"量化出来。板卡是 Inspur YPCB-00338(Kintex-7 xc7k480t,双通道 DDR3-1066,共 4 GiB):
| 层级 | 容量 / 带宽 |
|---|---|
| 板卡 DRAM | 4 GiB,解码时约 14.1–14.5 GB/s(峰值 17.1 GB/s) |
| PCIe Gen1 x8(主机→卡) | 约 1.26–1.34 GB/s(升级 Gen2 x8 后 2.29 GB/s) |
| 主机 SSD | 约 0.51 GB/s |
模型侧(4-bit fp4 权重 + int8 LM head):
| 项目 | 数值 |
|---|---|
| Qwen3.5-35B-A3B 总参数 / 激活参数 | 34.7B / 3.0B |
| 专家池 | 40 个 MoE 层 × 256 个专家,每专家 1.67 MB,共 10240 个,约 17.1 GB |
| 必须常驻板卡的部分 | 约 1.8 GB(注意力、DeltaNet、共享专家、head 等) |
也就是说:4-bit 压缩后,专家池仍是板卡 DRAM 的 4.3 倍。若像 CPU 推理那样把权重整个换进换出磁盘,速度会跌到 1 tok/s 以下。openTPU 抓住的是 MoE 的天然稀疏性——每个 decode token 每层只激活 top-8 个专家(外加 1 个共享专家),只触碰全池的约 10%,其余专家"按需流式供给"即可。
二、核心设计:板卡全权计算,主机只搬字节 🚚
官方文档里有一条铁律(docs/offload.md):"openTPU does all the computing"——主机 CPU 不是计算资源,它只负责存储模型(SSD / page cache / RAM)并作为 DMA 的数据源。每一层 MoE 的执行流程是:
- 路由:路由器矩阵乘在卡上完成,
ARGMAX逐位"击倒"选出 top-8 专家 id; - 上报:id 写入 DRAM 中的 mailbox,主机轮询到请求后开始搬数据;
- 命中先行(hits-first):卡先算手里已有的专家,共享专家/稠密部分也先跑;
- 缺失等待:每个缺失专家对应一条
WAITW指令,卡在自己的运行内原地等目录项; - 流式落地:主机把专家从池文件 DMA 进按层划分的专家槽,落地后写目录;卡算到哪个、立即算哪个,不用等整层到齐。
Lens 性能分析器:把一次解码步骤回放成芯片布局上的指令级时序,颜色区分各单元的忙/等 DRAM/等指令状态(来自 README.md)。
三个关键决策决定了成败:
- 按层槽位 + 衰减使用度淘汰:槽位按 MoE 层均分,淘汰"使用度衰减后最少"的专家,比朴素 LRU 少 miss 9–15%,且天然无竞态(主机只会被动驱逐卡下一轮才用的槽);
- 4-bit 专家是最大杠杆:miss 字节减半、槽位翻倍,比 int8 专家快 2.3–2.9 倍;
- embedding 表放主机:35B 的 int8 词表约 0.5 GB 留在主机,每 token 只流一行到卡,腾出 42 个/层的专家槽,实测 +7.2%、miss 少 14%(docs/offload.md#L1156-L1183)。
解码时由板卡自己的 decode 循环(autodecode)逐 token 采样、回填,主机完全不介入选词,因此卡上输出与 ISA 模拟器逐比特一致——"流式"只改变专家字节的来源,从不改变字节本身。
三、算一笔带宽账:为什么必须"少 miss" 🧮
DRAM : PCIe : SSD ≈ 14 : 1.3 : 0.5,一个 miss 专家在 Gen1 链路上花的传输时间约为其计算时间的 10 倍。设计必须让 miss 尽量少、且藏住藏不住的部分:
- 用真实路由器轨迹(4 篇文本 × 2048 token,CPU 上跑 Hugging Face 模型记录)回放缓存:在板卡槽位规模下,按层 LRU 对 Qwen3.5-35B-A3B 的命中率约 66%(只有 13% 的专家能常驻);
- hits-first 重叠:缺失专家流式进来的同时算已有的,比"等最慢的一个"快约 12%(模拟);
- 事件模型预测 Gen1 4.15 / Gen2 5.77 tok/s,与板卡实测基本吻合。
四、实测:从 2.0 到 5.3 tok/s 的爬升之路 📈
以下是 2026-10-01 前后在板卡上的真实迭代(Qwen3.5-35B-A3B,fp4 专家 + int8 head,完整日志见 docs/offload.md#L894-L953):
| 阶段 | 关键改动 | tok/s(卡上) |
|---|---|---|
| 首次上卡(16 tokens) | 基线:62.4% 命中,155 MB/token 流式 | 2.02 |
BoardDram 单遍 staging |
消除多次拷贝与回弹缓冲,DMA 线程化 | 2.75 |
| 分拆池文件 + 主机 RAM 层 | preadv 直读、page cache 预热、分片首发 |
3.79 |
| 衰减使用度淘汰 | miss 再降 2.4% | 3.95 |
| PCIe Gen2 x8 | 链路 1.70×(2.29 GB/s) | 5.07–5.10 |
| 请求头部优化 | 首个数据 DMA 提前约 110 us | 5.29 |
128 token 长段落稳定在 约 5.3 tok/s,每 token 流式约 170 MB、103 次 miss,链路跑在 1.41 GB/s(docs/offload.md#L4635-L4643)。而"近身模型" LFM2.5-8B-A1B 有 85% 的专家能常驻,命中率 98.5%,解码 10.6–15 tok/s——对几乎放得下的模型,这套流式机制几乎是免费的。
openTPU 用"AI 锦标赛"持续打磨 RTL:每个被接受的改动都要在面积与频率上可量化(截图来自 tools/tourney/)。
五、新手上手:三步让 35B 上卡 🛠️
1️⃣ 打一次专家池文件(约 17 GB,打包后可长期复用):
python3 tools/offload/pack_pool.py models/Qwen3.5-35B-A3B pool.bin init
python3 tools/offload/pack_pool.py models/Qwen3.5-35B-A3B pool.bin pack 0 4
2️⃣ 上卡对话(板卡已烧录 bitstream 的前提下):
otpu-chat --backend board --model qwen35-35b
首次加载约 9 分钟(主机编译模型镜像并写入板卡,主机内存峰值约 13 GB);之后的对话状态行会显示命中率与流式字节,如 · 99% hit · 6.6 MB/tok。
3️⃣ 没有板卡?先用模拟器:
otpu-chat --backend isa --model qwen35-35b
ISA 模拟器完整模仿板卡的 4 GiB DRAM 与流式协议,输出与真卡逐比特一致,是零硬件成本的学习入口。
💡 小贴士:
- 主机 RAM 要给池文件留足空间(35B 约 17 GB,驻留在 page cache 中),被换出到 SSD 会明显变慢;
- 测量与对照工具:tools/offload/moe_card.py、脚本化对话校验 tools/qual/chatmoe.py;
- 流式引擎的默认配置(槽位填满 DRAM、衰减淘汰、layer-major 预填充等)集中在 opentpu/host/streamed.py,主机侧服务逻辑在 opentpu/host/offload.py。
六、还能更快吗?🔭
- Gen2 x8 仍是最大单杠杆:实测 +25–26%,而"每请求单次调用"协议还能再省每 128 token 约 0.6–0.8 s(+2–3%);
- MTP(多 token 预测):在 35B 上已给出 k=1 约 1.25× 的理论上限,移植到 MiniCPM-V 也已验证;
- 主机 RAM 决定 SSD 层表现:80B 级以上模型建议配合 NVMe;120B+ 则需要更大 DRAM 的板卡,换什么策略都救不回来。
七、延伸阅读
- docs/offload.md:本功能的设计与全部实测记录(路由轨迹、缓存模拟、10+ 次板卡 session)
- docs/qwen35.md:Qwen3.5 的 DeltaNet 线性注意力如何映射到 openTPU
- docs/board.md:YPCB-00338 板卡,从时钟到 PCIe
- opentpu/llm/moe.py:卡上执行的 MoE 内核(路由、选专家、槽位计算)
- docs/quant.md:4-bit(fp4)权重格式与精度代价
从"放不下的 35B"到"5.3 tok/s 稳定对话",openTPU 给出的答案是:把 MoE 的稀疏性变成存储层,用一条新指令(WAITW)和按层专家槽把 PCIe 的搬运藏进板卡自己的计算里——而这一切,都写在一个你可以逐行读完的开源仓库里。


