40B 总参只激活 2.5B:Flint 稀疏结构省下的到底是什么
40B 总参只激活 2.5B:Flint 稀疏结构省下的到底是什么
一篇 README、一个 BF16 三片 checkpoint、九个量化档位和一个 imatrix——这是 Hugging Face 镜像仓库 unsloth/flint-GGUF 里的全部家当。它背后的 Flint 是 Recursive 于 2026 年 10 月发布的本地编码智能体模型:总参 39.8B,每 token 只激活约 2.5B。"40B-A2.5B"这个数字一出来,最容易被问倒的问题是:稀疏激活到底省了什么?省的是显存吗?是存储吗?
先把结论摆出来:稀疏结构省的是 FLOPs 和每 token 的权重读取量,一字节存储都没省。39.8B 权重必须全部驻留(BF16 下约 80GB,仓库里 BF16/ 下三个分片就是全部家当);而每生成一个 token,模型实际从内存里读的只有 2.5B 参数对应的约 5GB 权重(BF16)。想要真正把"驻留容量"打下来,只能靠量化——这正是这个仓库存在的全部理由。
下面把这笔账拆开算。
稀疏激活:40B 是怎么被"压"成 2.5B 的
仓库 README.md 的 Model specifications 表给出了完整的架构画像:
| 属性 | Flint |
|---|---|
| 架构 | Decoder-only MoE Transformer |
| 总参 | 39.8B |
| 每 token 激活 | ≈2.5B(含 output head,纯主干约 2.2B) |
| 层数 | 49 层:2 层 dense + 47 层 MoE |
| 注意力 | 35 层滑动窗口 + 14 层全注意力 |
| 滑动窗口 | 513 token(当前 token + 前 512 个) |
| 注意力头 | 32 个 query head、4 个 KV head,head dim 128 |
| 专家配置 | 每 MoE 层 256 个 routed expert,每 token 选 6 个,外加一个恒激活的 shared expert |
| 词表 | 150,144 |
| 上下文 | 文档配置 262,144 token |
这套结构里有两个值得注意的设计。第一,"2 dense + 47 MoE"意味着 embedding、早期表征学习和最后的输出阶段是稠密计算,专家路由只发生在中间 47 层——router 本身每层只有 256 个 softmax 权重,开销可以忽略,稀疏收益几乎不付路由成本。第二,注意力是混合式的:35 层只看 513 token 的滑动窗口,14 层做全注意力(且全注意力层不做 RoPE,靠 per-head QK RMSNorm 和 learned attention sinks 稳定长序列)。这套"短视层堆数量、全注意力层保覆盖"的配置,本质也是在给本地硬件省 attention 的 FLOPs。
架构不是拍脑袋定的。Recursive 官方博客披露,其自动化研究系统 Eureka Machine 的架构搜索从一个 35B 总参 / 3B 激活的基线出发,遍历了多种专家数量与宽度组合,最终投影出 40B 总参 / 2.5B 激活这一档——在所有候选里"速度 × 编码性能"综合最优。从 3B 激活进一步压到 2.5B,代价是总参反而从 35B 涨到 40B:也就是说,把省下来的激活预算换成了更多的沉睡专家。每层 256 选 6 的选择率意味着 47 层 MoE 里共约 1.2 万个 routed expert,绝大多数 token 只唤醒其中 6/256。
计算量上的差距是线性的:decode 阶段每 token 的 FLOPs 约等于 2 × 激活参数量。稠密 40B 约 80 GFLOP/token,Flint 约 5 GFLOP/token,理论算力差 16 倍。权重读取量同样按激活参数走:BF16 下稠密 40B 每 token 要从内存搬 80GB,Flint 只搬约 5GB。算力和带宽同比例缩小,这就是"40B-A2.5B"命名的全部含义。
容量与带宽:40B/2.5B 对硬件的两种不同要求
这里必须把两笔账分开,否则"本地跑 40B"是伪命题。
第一笔:驻留容量,按总参算。 MoE 的每个 expert 在任何时刻都可能被路由命中,所以全部专家权重必须留在显存/内存里。39.8B 参数 × 2 byte ≈ 79.6GB,这就是 BF16/flint-BF16-00001-of-00003.gguf 等三个分片的总规模——没有 96GB 以上统一内存的机器,BF16 版直接出局。注意这一步和"激活 2.5B"毫无关系,稀疏结构在这里省了个寂寞。
第二笔:每 token 读取量,按激活参数量算。 Decode 是典型的 memory-bound 阶段,理论吞吐 ≈ 内存带宽 ÷ 每 token 读取字节数。用官方数据反推一遍:M4 Pro MacBook Pro 的统一内存带宽约 273GB/s。如果跑 BF16(每 token 读 ≈5GB),理论上限只有 50 tok/s 出头;而官方实测"短上下文下 M4 Pro 超过 125 tokens/s、RTX Spark 64GB 超过 150 tokens/s"——这个数字只有配上 NVFP4 量化的激活权重(每 token 读取降到 1.5GB 量级)才说得通,且官方注明这是 128k token 长会话的平均值。反过来算稠密模型:同为 4bit 左右的 40B 稠密模型每 token 要读 22–24GB,同一块 M4 Pro 上理论上限只有 11 tok/s 上下。官方宣传"比编码性能相当的 25–40B 稠密模型快 5 倍以上",从带宽账上完全立得住;再叠加自研推理栈(M4/M5 上融合整个 decode 前向的 Metal megakernel、低比特投影/MoE/注意力专用 kernel),还能再拿工程红利。
所以"40B/2.5B"这个比例对硬件的真实要求是:容量门槛看 40B,速度上限看 2.5B。前一项逼你上大内存或上量化,后一项保证上了量化之后速度不掉。
仓库里的量化档位正是对着第一笔账开的刀。当前镜像包含一个 BF16 三片 checkpoint 和九个量化产物,覆盖从 Q8_0 到 IQ1_M 的完整阶梯:
| 文件 | 大致 bpw | 39.8B 理论体积 |
|---|---|---|
| flint-Q8_0.gguf | ≈8.5 | ≈42GB |
| flint-UD-Q6_K_XL.gguf | ≈6.6 | ≈33GB |
| flint-UD-Q5_K_XL.gguf | ≈5.7 | ≈28GB |
| flint-UD-Q4_K_XL.gguf | ≈4.9 | ≈24GB |
| flint-UD-Q3_K_XL.gguf | ≈3.9 | ≈19GB |
| flint-UD-Q2_K_XL.gguf | ≈2.7 | ≈13GB |
| flint-UD-IQ3_XXS.gguf | ≈3.1 | ≈15GB |
| flint-UD-IQ2_XXS.gguf | ≈2.1 | ≈10GB |
| flint-UD-IQ1_M.gguf | ≈1.5 | ≈7.5GB |
(体积按 bpw × 39.8B 估算,供选档参考。)到了 IQ1_M 这一档,40B 总参模型的驻留成本压到 8GB 上下,消费级设备才真正能"全量驻留"。而因为 decode 读取量只与激活权重相关,即便全部塞进 CPU 内存跑,2.5B 激活也保证了速度不至于崩盘——这正是 MoE 模型吃 GGUF 生态最舒服的地方:容量问题交给量化档位,速度问题交给稀疏结构。
编码任务上的优势与短板
Flint 的定位写得很明确:给本地编码智能体用——"调查代码库、修 bug、实现功能、写测试"(README.md)。发布评估采用 temperature 1.0 / top-p 0.95 / top-k 20,agentic 任务报告至少 5 次尝试的 pass@1 均值:
- Terminal-Bench 2.1:54.9%(Terminus 2,联网,通过检索拿到的答案计为失败)
- SWE-bench Pro v2:89.7%(mini-swe-agent,断网)
- SWE-bench Verified:74.2%
官方口径是"总参小于 50B 的 MoE 模型中 agentic 编码基准第一,编码性能可比肩 25–40B 稠密模型但快 5 倍以上"。对本地部署场景,这套分数加 125+ tok/s 的组合意味着一个实际可用的日常编码模型:数据不出机器、无 API 费用,单轮 agentic 循环的等待时间被压缩到接近人工阅读代码的速度。
但架构红利是有对应成本的,短板同样藏在上面的规格表里:
- 长程依赖压在 14 层全注意力上。 35 层滑动窗口每层只看 513 token,跨数千行的重构、跨文件的一致性维护,信息必须经由 14 层全注意力传递。README 也明确提示:262,144 token 是容量上限,不是全长度、全任务均匀准确的保证;官方建议在 512k 支持之下尽量把会话控制在 256k 以内。
- 推理预算消耗。 长思维链会吃掉输出预算,README 建议难题至少预留 32,768 token 的输出空间(含 reasoning),并提示长推理会直接抬延迟。2.5B 激活省下的解码带宽,会被更长的 reasoning 输出重新吃掉一部分——速度快和答得长是两笔账。
- 能力上限与更大模型的差距。 官方自己承认:Flint 可能不如你习惯的大型闭源编码模型那样"自觉",复杂任务需要拆分子任务、给显式指令。SFT 包含安全样本,但仍会产出错误代码、有害内容或不恰当的工具调用;结构化 tool-call 语法挡不住模型选错动作,权限边界必须由应用层自己收。
一句话:稀疏结构给的是"同分快 5 倍",不是"同速多拿分"。
为什么量化在这类模型上收益格外明显
最后一个问题是:为什么 Unsloth 要给一个"本来就为本地而生"的模型做出从 Q8_0 到 IQ1_M 这么宽的量化档?
答案藏在激活参数太少这件事本身。官方在博客里给出了一个反直觉的操作:训练完成后,Eureka Machine 的量化搜索把 output layer(lm_head)压到了 4bit——与"输出层必须保精度"的常规做法相反。原因正是 2.5B 激活:词表 150,144,lm_head 参数量 = 词表 × hidden dim,它在每 token 读取的权重里占比大得反常。对稠密 40B 模型,输出层在每 token 读取量里只占零头,量化它收益有限;对 Flint,量化输出层等于直接削减 decode 主路径的字节数。为补回精度,官方加了一个离线蒸馏阶段:量化模型以 16bit 模型为 teacher,在自己预采样的输出(一个自发现的 coreset)上继续训练,训练步数比 QAT 基线几乎减半,最终 NVFP4 checkpoint 在全部基准上落后 16bit 模型不超过 0.7 分。
Unsloth 这边的仓库做的是同样的事、不同的栈:用 imatrix_unsloth.gguf_file 提供的重要性矩阵做 Dynamic 3.0 动态量化,按张量敏感度分配比特,而不是整模一刀切。仓库里两张基准图分别画了量化体积与 KLD 散度、top-1 精度的关系,选档时基本就是在这两条曲线之间找拐点:
把两笔账合并起来看,MoE 模型上量化的收益结构是双重的:第一,它砍的是稠密 40B 都逃不掉的驻留容量,让 80GB 的 BF16 变成 24GB 甚至 7.5GB,决定"能不能跑";第二,它进一步削减每 token 读取量(BF16 的 ~5GB → 4bit 的 ~1.5GB),直接抬高 decode 吞吐上限,决定"跑多快"。对激活参数已经压到 2.5B 的模型,第二项收益的边际价值比稠密模型更高——因为它的吞吐天花板本来就由激活权重读取量决定,量化是往这个瓶颈上直接开刀。
结语:三层账本
回到标题的问题。Flint 的"40B 总参、2.5B 激活"省下的东西可以拆成三层:
- 省 FLOPs:decode 每 token 计算量从 ~80 GFLOP 降到 ~5 GFLOP,16 倍;
- 省带宽:每 token 权重读取从 ~80GB 降到 ~5GB(BF16),决定 125 tok/s 这类数字能否成立;
- 不省存储:容量账单仍按 39.8B 全额计,靠量化阶梯从 80GB 一路压到 ~7.5GB。
稀疏结构负责让你"跑得快",量化负责让你"装得下",两者正交、缺一不可。而 lm_head 4bit 化 + 蒸馏补偿这个细节提醒所有人:当激活参数少到输出层都能进量化视野时,"哪些权重该保精度"这条传统经验曲线,对 MoE 模型要整个重画。

