4GB板卡跑35B大模型:openTPU的MoE专家流式Offload如何让Qwen3.5-35B-A3B上卡推理

原创2026-11-02 17:56:351,938 阅读

4GB板卡跑35B大模型:openTPU的MoE专家流式Offload如何让Qwen3.5-35B-A3B上卡推理

openTPU 是一款完全开源的 AI 加速器(RTL、指令集、模拟器、编译器、性能分析器全在一个仓库)。它最"出格"的一招,是把 35B 参数的 MoE 大模型 Qwen3.5-35B-A3B 塞进一块只有 4GB DDR3 的 FPGA PCIe 板卡做推理——靠的不是更大的显存,而是 MoE 专家流式 Offload:板卡只常驻稠密部分和少量专家槽位,缺失的专家由主机按 token 需求经 PCIe 实时"补货",而所有计算 100% 在卡上完成。实测解码约 5.3 tok/s,输出与模拟器逐比特一致。

openTPU板卡推理大模型:otpu-chat对话与otpu-smi带宽监控

左:otpu-chat 在 FPGA 板卡上对话;右:otpu-smi 实时监控板卡利用率与 DRAM 带宽(截图来自 README.md)。

一、先看差距:4GB 显存 vs 35B 参数 📏

先把"不可能"量化出来。板卡是 Inspur YPCB-00338(Kintex-7 xc7k480t,双通道 DDR3-1066,共 4 GiB):

层级 容量 / 带宽
板卡 DRAM 4 GiB,解码时约 14.1–14.5 GB/s(峰值 17.1 GB/s)
PCIe Gen1 x8(主机→卡) 约 1.26–1.34 GB/s(升级 Gen2 x8 后 2.29 GB/s)
主机 SSD 约 0.51 GB/s

模型侧(4-bit fp4 权重 + int8 LM head):

项目 数值
Qwen3.5-35B-A3B 总参数 / 激活参数 34.7B / 3.0B
专家池 40 个 MoE 层 × 256 个专家,每专家 1.67 MB,共 10240 个,约 17.1 GB
必须常驻板卡的部分 约 1.8 GB(注意力、DeltaNet、共享专家、head 等)

也就是说:4-bit 压缩后,专家池仍是板卡 DRAM 的 4.3 倍。若像 CPU 推理那样把权重整个换进换出磁盘,速度会跌到 1 tok/s 以下。openTPU 抓住的是 MoE 的天然稀疏性——每个 decode token 每层只激活 top-8 个专家(外加 1 个共享专家),只触碰全池的约 10%,其余专家"按需流式供给"即可。

二、核心设计:板卡全权计算,主机只搬字节 🚚

官方文档里有一条铁律(docs/offload.md):"openTPU does all the computing"——主机 CPU 不是计算资源,它只负责存储模型(SSD / page cache / RAM)并作为 DMA 的数据源。每一层 MoE 的执行流程是:

  1. 路由:路由器矩阵乘在卡上完成,ARGMAX 逐位"击倒"选出 top-8 专家 id;
  2. 上报:id 写入 DRAM 中的 mailbox,主机轮询到请求后开始搬数据;
  3. 命中先行(hits-first):卡先算手里已有的专家,共享专家/稠密部分也先跑;
  4. 缺失等待:每个缺失专家对应一条 WAITW 指令,卡在自己的运行内原地等目录项;
  5. 流式落地:主机把专家从池文件 DMA 进按层划分的专家槽,落地后写目录;卡算到哪个、立即算哪个,不用等整层到齐。

Lens性能分析器回放Qwen3解码步骤的指令级时序

Lens 性能分析器:把一次解码步骤回放成芯片布局上的指令级时序,颜色区分各单元的忙/等 DRAM/等指令状态(来自 README.md)。

三个关键决策决定了成败:

  • 按层槽位 + 衰减使用度淘汰:槽位按 MoE 层均分,淘汰"使用度衰减后最少"的专家,比朴素 LRU 少 miss 9–15%,且天然无竞态(主机只会被动驱逐卡下一轮才用的槽);
  • 4-bit 专家是最大杠杆:miss 字节减半、槽位翻倍,比 int8 专家快 2.3–2.9 倍;
  • embedding 表放主机:35B 的 int8 词表约 0.5 GB 留在主机,每 token 只流一行到卡,腾出 42 个/层的专家槽,实测 +7.2%、miss 少 14%(docs/offload.md#L1156-L1183)。

解码时由板卡自己的 decode 循环(autodecode)逐 token 采样、回填,主机完全不介入选词,因此卡上输出与 ISA 模拟器逐比特一致——"流式"只改变专家字节的来源,从不改变字节本身。

三、算一笔带宽账:为什么必须"少 miss" 🧮

DRAM : PCIe : SSD ≈ 14 : 1.3 : 0.5,一个 miss 专家在 Gen1 链路上花的传输时间约为其计算时间的 10 倍。设计必须让 miss 尽量少、且藏住藏不住的部分:

  • 用真实路由器轨迹(4 篇文本 × 2048 token,CPU 上跑 Hugging Face 模型记录)回放缓存:在板卡槽位规模下,按层 LRU 对 Qwen3.5-35B-A3B 的命中率约 66%(只有 13% 的专家能常驻);
  • hits-first 重叠:缺失专家流式进来的同时算已有的,比"等最慢的一个"快约 12%(模拟);
  • 事件模型预测 Gen1 4.15 / Gen2 5.77 tok/s,与板卡实测基本吻合。

四、实测:从 2.0 到 5.3 tok/s 的爬升之路 📈

以下是 2026-10-01 前后在板卡上的真实迭代(Qwen3.5-35B-A3B,fp4 专家 + int8 head,完整日志见 docs/offload.md#L894-L953):

阶段 关键改动 tok/s(卡上)
首次上卡(16 tokens) 基线:62.4% 命中,155 MB/token 流式 2.02
BoardDram 单遍 staging 消除多次拷贝与回弹缓冲,DMA 线程化 2.75
分拆池文件 + 主机 RAM 层 preadv 直读、page cache 预热、分片首发 3.79
衰减使用度淘汰 miss 再降 2.4% 3.95
PCIe Gen2 x8 链路 1.70×(2.29 GB/s) 5.07–5.10
请求头部优化 首个数据 DMA 提前约 110 us 5.29

128 token 长段落稳定在 约 5.3 tok/s,每 token 流式约 170 MB、103 次 miss,链路跑在 1.41 GB/s(docs/offload.md#L4635-L4643)。而"近身模型" LFM2.5-8B-A1B 有 85% 的专家能常驻,命中率 98.5%,解码 10.6–15 tok/s——对几乎放得下的模型,这套流式机制几乎是免费的。

openTPU芯片优化锦标赛进度:面积当量与估算主频曲线

openTPU 用"AI 锦标赛"持续打磨 RTL:每个被接受的改动都要在面积与频率上可量化(截图来自 tools/tourney/)。

五、新手上手:三步让 35B 上卡 🛠️

1️⃣ 打一次专家池文件(约 17 GB,打包后可长期复用):

python3 tools/offload/pack_pool.py models/Qwen3.5-35B-A3B pool.bin init
python3 tools/offload/pack_pool.py models/Qwen3.5-35B-A3B pool.bin pack 0 4

2️⃣ 上卡对话(板卡已烧录 bitstream 的前提下):

otpu-chat --backend board --model qwen35-35b

首次加载约 9 分钟(主机编译模型镜像并写入板卡,主机内存峰值约 13 GB);之后的对话状态行会显示命中率与流式字节,如 · 99% hit · 6.6 MB/tok。

3️⃣ 没有板卡?先用模拟器:

otpu-chat --backend isa --model qwen35-35b

ISA 模拟器完整模仿板卡的 4 GiB DRAM 与流式协议,输出与真卡逐比特一致,是零硬件成本的学习入口。

💡 小贴士:

六、还能更快吗?🔭

  • Gen2 x8 仍是最大单杠杆:实测 +25–26%,而"每请求单次调用"协议还能再省每 128 token 约 0.6–0.8 s(+2–3%);
  • MTP(多 token 预测):在 35B 上已给出 k=1 约 1.25× 的理论上限,移植到 MiniCPM-V 也已验证;
  • 主机 RAM 决定 SSD 层表现:80B 级以上模型建议配合 NVMe;120B+ 则需要更大 DRAM 的板卡,换什么策略都救不回来。

七、延伸阅读

  • docs/offload.md:本功能的设计与全部实测记录(路由轨迹、缓存模拟、10+ 次板卡 session)
  • docs/qwen35.md:Qwen3.5 的 DeltaNet 线性注意力如何映射到 openTPU
  • docs/board.md:YPCB-00338 板卡,从时钟到 PCIe
  • opentpu/llm/moe.py:卡上执行的 MoE 内核(路由、选专家、槽位计算)
  • docs/quant.md:4-bit(fp4)权重格式与精度代价

从"放不下的 35B"到"5.3 tok/s 稳定对话",openTPU 给出的答案是:把 MoE 的稀疏性变成存储层,用一条新指令(WAITW)和按层专家槽把 PCIe 的搬运藏进板卡自己的计算里——而这一切,都写在一个你可以逐行读完的开源仓库里。

登录后查看全文
openTPU