40B 总参只激活 2.5B:Flint 到底把哪笔账省下来了
40B 总参只激活 2.5B:Flint 到底把哪笔账省下来了
先看一个"反常识"的现场。
有人在一台 M4 Pro 的 MacBook Pro 上,跑起了一个 400 亿参数的大模型,速度是每秒 125 个 token——差不多是你眨两下眼,它已经写完一小段代码。
老玩家都懂这事有多离谱。同样 400 亿参数的"稠密模型",塞进笔记本基本就是幻灯片:风扇起飞、半天蹦一个字,能不崩就算给面子。
这个模型叫 Flint,来自 Recursive 团队(团队里有田渊栋等知名研究员,发布时在技术圈刷了一波屏)。它的官方介绍里有一句非常关键的话:总参数 398 亿,每个 token 只激活约 25 亿。
40B 的身体,2.5B 的"出手"。省下来的那部分,到底是啥?这才是整件事最有意思的地方。
一、它到底是个啥?一家 40 人的公司,每单活只派 2.5 个人
用大白话讲,Flint 是个专门干编程活的 AI 模型:能翻你的项目代码、找 bug、加功能、写测试,还能自己调用工具、多轮来回折腾。
而它采用的"混合专家"结构(MoE),你可以想象成一家 40 人的公司:
- 公司里坐着 256 位各有所长的专家,加上一位随叫随到的"全科主管";
- 每来一个任务,只挑 6 位最对口的专家 + 主管出面处理,其他人继续喝茶;
- 于是公司规模是 40 人的,但每单活的人力成本只有 2.5 个人。
这就是"稀疏"两个字的全部含义——不是模型变小了,而是每次只叫醒一小部分。
对比一下"稠密模型":那是 40 个人的公司,每来一单活,40 个人全部站起来一起干。听着很热血,但账单也很热血。
二、省下的到底是什么?不是硬盘,是"搬运费"
很多人第一反应是"省显存"。这个说法只对了一半,而且是最不重要的那一半。
真正被省掉的,是每生成一个字,需要从内存里搬多少数据。
大模型吐字的过程,本质上是个"搬运工"的活:算力其实常常闲着,卡住速度的是内存带宽——也就是数据从内存搬到计算单元的那条"传送带"有多宽。
算笔粗账,一目了然:
- 40B 的稠密模型,每吐一个字,理论上要把 400 亿个参数全部过一遍;哪怕压到 4 位精度,也是每字搬大约 20GB;
- Flint 只激活 2.5B,4 位精度下每字大约只搬 1.3GB。
差了十几倍。所以官方敢说:同级别的稠密模型跑出相近的编程分数,Flint 的速度能快 5 倍以上。
一台 M4 Pro 的内存带宽大概是每秒 273GB。你把传送带的宽度除以每字要搬的货,上限就摆在那儿了。稀疏结构省下的,本质是"每字搬运费"。
这也解释了一个常被误解的点:MoE 模型的体积并不会变小——40B 就是 40B,权重一个都不能少,硬盘和内存占用照样按 40B 算;它省的是运行时的心跳和血氧。所以你会看到一个特别拧巴的现象:模型文件 79GB 的 BF16 版本,却能在一台 24GB 内存的机器上"跑得动、跑得快"(靠的是分层的少量读取)。
一句话总结:MoE 省的不是仓库面积,是每天的送货里程。
三、为什么量化在这类模型上,收益格外明显
这是 Flint 身上最值得单独讲的一段。
一般模型的量化,大家盯着"权重压小一点、精度掉一点点"。但 Flint 这种激活参数极小的模型,有个特殊结构:输出层(就是最后把想法翻译成具体词的那一层)在每次搬运中占了很大比重。
打个比方:普通模型的搬运清单里,是几十箱货里的一小箱;而 Flint 的清单本来就短,这一箱就变成了"大头"。
Recursive 于是反着常规来了一手:把输出层压到 4 位。为了把掉的精度捞回来,又加了一道"老师带学生"的工序——让压缩后的模型照着原版 16 位模型的答案反复练(自蒸馏),结果训练步数几乎减半,最终的 4 位版本在各项测试上只比 16 位版低 0.7 分。
这就是"稀疏 + 量化"的化学反应:激活越少,量化省下的那点搬运费,占你总成本的比例就越大。
而 Unsloth 这边做的事情,是把 Flint 压成一整套"按需选择"的 GGUF 版本,从 2 位到 8 位全都有,体积跨度非常夸张:
- 最狠的 IQ1_M:约 10.6GB
- IQ2_XXS:约 11GB
- Q2_K_XL:约 12.6GB
- Q3_K_XL:约 17.2GB(官方说这段是 24GB 内存机器的"甜点位")
- Q4_K_XL:约 23.3GB
- Q5_K_XL:约 27.9GB
- Q6_K_XL:约 33.8GB
- Q8_0:约 39.4GB
- 完整 BF16:约 79.6GB

这张图值得盯着看三十秒。横轴是"你硬盘上要占多大地方",纵轴是"它有多准"。
你会发现曲线前半段特别陡:从 12GB 加到 17GB,准确率涨得非常快;但过了 25GB 之后,曲线开始趴在原地——多花 15GB,换来的提升可能只有一两个百分点。
这就是普通人选档位的全部智慧:别买最贵的,买拐点之后那一档。
四、到底多能打?把成绩单摊开
Flint 主打的是"能自己动手干活的编程助手",所以它考的也不是背课文,而是真实修 bug、跑终端。
官方的成绩单:Terminal-Bench 2.1 拿到 54.9,SWE-bench Pro v2 拿到 89.7,经典款 SWE-bench Verified 是 74.2,代码题 LiveCodeBench v6 是 80.3。
放在同类里看,官方说法是:50B 参数以下,它在"智能体编程"这一档里是最强的 MoE 模型,而且能跟 25B–40B 的稠密模型掰手腕,速度还快好几倍。
细节上还有几个挺讨喜的设计:上下文最长能到 51 万 token,官方建议日常用 25 万左右——相当于一次性把一整个中型项目的代码全塞进去;支持多轮工具调用,能像实习生一样自己开终端、跑命令、看结果、再改。
五、说点实在的:它不是万能选手
夸完了,得讲短板,不然不厚道。
第一,稀疏结构的优势在"专业对口",短板也在"专业对口"。 每次只叫 6 位专家,遇到那种需要"全公司开大会、所有知识交叉碰撞"的任务,它就未必比同体积的稠密模型更全面。
第二,它需要你多给点耐心和指令。 官方自己也承认:Flint 很能干,但比起那些闭源大厂旗舰,它需要更明确的拆分和引导。复杂任务最好自己先切成小块。
第三,长推理会吃掉预算。 想得越久,越可能在给出答案前就把输出额度烧光,然后你会看到一个"话说到一半没了"的结果。
第四,代码一定要自己验。 官方明确提醒:生成的东西要测,涉及重要改动的要人看一眼,工具权限和边界得由应用自己把关——毕竟"格式合规"不等于"行为安全"。
六、想试?门槛可能比你想的低
它已经开源(Apache 2.0),能跑的工具一大堆:llama.cpp、Ollama、LM Studio、Unsloth Desktop、vLLM、SGLang 都有对应路线。
对普通用户最友好的方式是图形界面:macOS、Windows、Linux 上装个 Unsloth Desktop,在模型库里搜一下,选个量化版本下载,点开就能聊。macOS 上的朋友甚至不需要独立显卡,统一内存就是显存。
按官方给的参考:2 位大约 13–15GB 内存,3 位 16–20GB,4 位 26GB,6 位 38GB,8 位 44GB。 一台 32GB 内存的轻薄本,选 Q3 或 Q4,是可以正经干活的程度。
那它适合谁?
- 写代码的人:最对口,本地跑、代码不出门,公司内网也能用;
- 自媒体/内容创作者:可以当个"能读整个资料库"的助手,虽然它的主业是编程;
- 技术爱好者:想亲手摸一摸 MoE 到底是什么手感的人,这是目前性价比最高的样本之一;
- 普通办公白领:说实话,杀鸡用牛刀了,用云端服务更省事。
七、最后聊两句:省下的那 37.5B,其实是省给了谁?
把话说透:40B 里省下的 37.5B,并没有凭空消失,它们安安静静躺在你的硬盘和内存里,只是每次干活时不用全部叫醒。
这背后其实是一种思路的转变——过去大家比"谁的模型更大",现在开始比"谁更会偷懒"。会偷懒的模型,才可能住进你的笔记本、你的手机、你的车载电脑,而不是永远待在机房里。
有个问题挺想听听大家的想法:如果一台一万块的笔记本就能跑出接近云端旗舰的编程水平,你还会每月付订阅费吗?还是说,你更在意的是"数据不出门"这件事本身?
评论区聊聊,你更愿意为"能力"买单,还是为"不用上传"买单?