刚开源就冲上热度榜前列:2.78T 模型塞进 8.24GB 内存,这次真不是标题党
刚开源就冲上热度榜前列:2.78T 模型塞进 8.24GB 内存,这次真不是标题党
“2.78 万亿参数”和“8.24GB 内存”这两个数字放在一起,第一反应通常是营销话术:要么偷偷降精度,要么只加载了一部分层,要么那个 8GB 只是某个中间态的快照。这个项目的价值恰恰在于,它把这三个质疑逐条做成了可复现的测量数据——docs/PERFORMANCE.md 里有 12 档硬 cgroup 限制下的内存阶梯,每一档都跑出了逐字节相同的 token 序列,原始输出躺在 docs/data/memory-ladder.tsv 里。
读完源码之后,我认为更准确的描述是:它没有把 2.78T 塞进 8GB,而是重新定义了“跑一个模型”需要什么常驻。这件事的工程含量,比数字反差本身高得多。
一、把 8.24GB 拆开:一次搬运,而不是一次压缩
先看账本,这是整篇文章唯一需要记住的表:
| 阶段 | 大小 | 变化的原因 |
|---|---|---|
| 全部参数按 bf16 常驻 | 5,560 GB | 参数计数的朴素含义 |
| 官方 checkpoint 落盘 | 1,560 GB | 专家权重本来就是 MXFP4,0.53125 字节/权重 |
| 必须常驻的部分 | 113.49 GB | MoE 稀疏:每个 token 只唤醒 16/896 个专家 |
| 实测峰值 RSS | 8.24 GB | 稠密主干改为流式读取,不再常驻 |
从 bf16 口径算是 675 倍压缩,从 checkpoint 口径算是 189 倍。注意后两行之间的落差不是靠量化补上的——它是靠“把不需要同时存在的东西挪到磁盘上”补上的。
第一层账在 checkpoint 的字节里就写死了。工程里有一份完整的 shard 普查(docs/data/,正文引用见 README “The problem: a model that does not fit” 一节):
shards : 96
total bytes : 1560936091448 (1.56 TB)
experts total : 82,432 (896 routed x 92 MoE layers)
bytes per expert : 17,547,264 exactly
= 33,030,144 params x 0.53125 bytes
routed expert set : 82,432 x 17,547,264 = 1.447 TB
82,432 个路由专家占了整个 checkpoint 的 93%。而每层只选 top-16,92 层路由层意味着一个 token 只碰 1,472 个专家。所以这 1.447TB 是“必须可达、但绝不必常驻”的数据——这句话是整个设计的地基。
第二层账是剩下那 7%:113.49 GB 的常驻集,其中 108.81 GB 是 93 层稠密主干,4.70 GB 是 embedding + lm_head,再加 626MB 的循环状态。这 108.81 GB 的处置方式决定了最终能不能到 8GB:它被 tools/pack_trunk.py 按层重排成一个 109GB 的连续文件,每层落在已知偏移上,一次 pread 就能整层取回。于是内存预算从一个“硬门槛”变成了一个“旋钮”。
这里有个容易被二手文章写错的细节:主干是原样流式的,一个 bit 都没量化。仓库里 docs/data/trunk-quantisation.txt 用真实权重的 31 个注意力投影张量做了 int8/int4 往返实验,结论是 int8 平均相对误差约 1%,int4 约 17%,且 KDA 层和 MLA 层没有哪一类更“耐 4bit”。所以量化的收益(省内存)能靠流式免费拿到,代价(精度)却买不回来——这条取舍被写进了 docs/ROADMAP.md 的 “Explicitly not planned”。
真正 4bit 的只有专家,而且是因为 checkpoint 出厂就是 4bit。k3_matmul_mxfp4 直接吃打包好的 nibble,从不反量化:一个专家 17.55MB,展成 fp32 就是 132MB,一个 token 碰 1,472 个,等于每 token 白写 194 GB。这条数字比任何“极致优化”的形容词都有说服力。
二、“逐字节相同”才是这个项目最硬的声明
内存省下来不难,难的是省下来之后答案不变。docs/PERFORMANCE.md 的阶梯表每一档都用 cgroup 硬限内存,同一份 prompt、同一个二进制:
| RAM | 钉住层数 | 专家缓存 | s/token | 专家命中 | trunk 命中 | 每 token 专家读取 | 峰值 RSS |
|---|---|---|---|---|---|---|---|
| 8 | 0 | 0.49 | 32.69 | 0.0% | 0.0% | 25.83 | 8.24 |
| 32 | 11 | 10.80 | 31.44 | 0.0% | 10.3% | 25.83 | 31.90 |
| 64 | 27 | 23.59 | 28.60 | 0.0% | 25.4% | 25.83 | 63.71 |
| 96 | 43 | 36.39 | 24.40 | 29.9% | 40.5% | 18.11 | 95.51 |
| 128 | 60 | 49.19 | 29.40 | 32.2% | 56.5% | 17.51 | 128.18 |
| 224 | 90 | 108.98 | 19.21 | 43.8% | 84.7% | 14.53 | 223.82 |
十二行,输出全部是同一串 id:
17374,20829,10,427,414,1008,606,142957 → " Paris.",~+ "The Eiffel~
28 倍的内存差距,只改变时钟,不改变答案。这是“不是标题党”最强的物证——因为它是一个计数事实,而不是秒表读数,调度抖动动不了它。
值得单独表扬的是这份文档对自己的苛刻。同样的二进制、同样的 prompt、同一分钟连跑三次,得到 14.78 / 14.67 / 20.14 s/token,均值 16.53、标准差 3.13、离散度 33.1%。作者把这个噪声地板放在每一张表的前面,并明确写下:小于 33% 的单样本差异不算效应;阶梯中段 128GB 那行的“异常”只是离散,不需要解释。能这样写性能文档的项目不多,这也是我愿意认真读它源码的原因。
顺带说一句,二手解读里的偏差相当普遍:有的文章说它用 “Q4_K/Q6_K 分层量化 + AVX2 内核”,有的说它“牺牲长上下文、用滑动窗口保住 KV Cache”。这两条在源码里都不存在——主干是原样 bf16 流式,上下文上限是 32k tokens 且没有 chunked prefill,KV 只属于 24 层 MLA(2.37 MB/position),KDA 那 69 层的状态恒定 626MB。同一时期还出现了几个把“SSD 当显存”做成通用引擎的项目,检索结果经常张冠李戴,把这些东西混成一篇。要判断这类项目,只能回源码。
三、纯 C 重写,为什么在旗舰模型刷屏期成了稀缺供给
Kimi K3 发布后的社区热度是真实的:掘金上“K3 很强但 API 太贵、想本地化部署”的算账贴能拿到两万八的阅读,另一批实测贴讨论配额、前端能力和长任务。这波讨论的共同落点不是“模型多强”,而是**“我能不能在自己的机器上碰它”**。而这个仓库给出的答案是:不需要 GPU、不需要 BLAS、不需要框架运行时。
依赖只有 libm 和 OpenMP,六个 C 文件编译出一个 179,736 字节的二进制(k3_run):
make -j # seconds. Seven C files, a compiler and OpenMP
make test # under a minute
make test 这一段是它区别于“demo 仓库”的地方:不需要 1.56TB 权重,不需要网络,不需要 Python,一分钟内跑完算子 fixture、safetensors 读取、config 读取、专家缓存,以及一个与发布模型同张量图的 13 层小模型的端到端 oracle:
GATE 1 teacher forcing : 32/32 positions match tf_pred
GATE 2 greedy decode : 20/20 generated tokens match full_ids
GATE 3 incremental : 20/20 generated tokens match full_ids
VERDICT: ENGINE MATCHES THE REFERENCE EXACTLY
先证明引擎正确,再决定要不要下 1.56TB——这个顺序本身就是一种工程态度。
为了让“纯 C”不只是“没有依赖”的同义词,代码里做了几件不讨巧的事:
-ffp-contract=off。默认允许编译器把乘加熔成 FMA,FMA 只舍入一次、更精确,但标量路径和 AVX2 路径就会给出不同结果。这里宁可放弃这点精度,也要保证硬件能力不会改变输出。- 定点累加顺序。
k3_dot4用 4 个 double 累加器按i % 4分区,收尾固定成(a0+a1)+(a2+a3),注释直接写 “the parentheses are the contract”。AVX2 分支里_mm256_add_pd(_mm256_mul_pd(...))明确不用_mm256_fmadd_pd,原因写在旁边:那样“更准”,但会和标量路径不一致。 - 用哈希而不是容差验证。容差检查会放过一个悄悄重排求和顺序的内核,所以基准测试对输出做 FNV-1a 位模式哈希,AVX2 版和标量版各建一次再比对。
- 配置读取器拒绝猜。缺字段直接报错并列出所有缺失项,因为一个“看起来能跑”的默认值会让模型变成另一个架构:
full_attn_layers缺失时若默认成空,93 层全走 KDA,24 层全局注意力消失,模型照样吐流利英文。 - 三条不变量写在公共头
include/k3/k3.h的开头,每条都配了“写错就会改变输出”的 fixture:A_log按 head 而非按 channel 索引;MLA 用 NoPE 但那 64 维 rope 槽位仍然存在且仍要缓存;MoE 的路由 bias 只影响选择,组合权重取未加 bias 的 sigmoid 分数。
跨平台这块也不是嘴上说说:src/io/k3_portable_io.h 里为 Windows 单独实现了 O_DIRECT(走 FILE_FLAG_NO_BUFFERING,且必须在 open() 时介入)、pread(用 ReadFile 的 OVERLAPPED 偏移,因为它不像 SetFilePointerEx + ReadFile 那样共享可变文件指针)、posix_memalign(_aligned_malloc)和 getrusage。CHANGELOG 里还留了一个很典型的坑:_aligned_malloc 必须配 _aligned_free,POSIX 的 posix_memalign 没这个限制,所以代码编得过、跑得过,直到分配器元数据被真正用上才 STATUS_HEAP_CORRUPTION。
四、真正的瓶颈不是 CPU,是那条 NVMe
这是全文最反直觉、也最容易被忽略的一节。作者在模型自身维度上压测,最小配置下一个 token 的时间构成大约是:
36 秒读主干 + 11 秒读专家 + 10 秒算术——八成的 token 时间在等磁盘。所以后半篇文章谈的不是 kernel,是 I/O。
机制很干净:每个 token 要完整重读 108.81 GB 的稠密主干(93 层,固定顺序),而只读约 25.83 GB 的专家(16/896)。前者是 4.2 倍的字节量、2.9 倍的时间。于是调优结论只有一句:先把内存喂给 trunk,再谈专家缓存。
固定 128GB 预算、只改切分比例的六点扫描给出 1.69 倍差距(28.38 → 16.80 s/token,trunk 从 12.3GB 提到 110GB),而且最快的那个配置专家缓存命中率是 0.0%。作者没有把 1.69 倍当成定论:单样本、33% 噪声地板、曲线还有两处反转,靠的是两个独立预算下十二个点的秩相关(Spearman ρ = −0.886 @128GB,−0.714 @32GB)和机制本身。这种“方向确定、幅度待复现”的表述,比一个漂亮的倍数可信。
专家缓存为什么这么弱?因为 K3 的路由器用 Quantile Balancing 训练,故意把专家使用压平,没有热点子集给 LRU 去捡。实测从 28 个槽位到 1,344 个槽位,驻留命中率一直是 0.0%,每 token 读取量一个小数位都没动。
用 tests/fixtures/expert_trace.bin 里 100,096 次真实专家请求回放,更能看清这条曲线:LRU 从 8GB 到 64GB 缓存容量涨了 8 倍,收益为零;而 Belady 最优解在同一区间从 39.4% 稳步爬到 61.7%。局部性确实存在,只是 LRU 拿不到。这个结论任何人几秒钟就能自己复现:
python3 tools/sim_cache.py tests/fixtures/expert_trace.bin
同一个文件还诚实标注了这是上界而非预测:trace 录于全量重算解码,同一批专家被重复触达约 68 次;稳态增量解码的复用远没有这么多,实际会更差。
主干解析访问这一侧则在细节上做了不少功课。读层不是单条顺序 pread,而是切成 64 MiB 块(K3_TRUNK_ALIGN 的整数倍,保证 O_DIRECT 对齐)用 OpenMP 并发发出,把设备队列深度从 1 抬起来;钉住哪些层也从“前缀”改成了“最大优先”——前缀策略会先钉住 2.34GB 的最大层,导致环形缓冲的槽位按它定尺寸,等这层根本不需要走环形缓冲时,预算还在为一个用不上的槽位付费。K3_PIN_PREFIX=1 可以切回旧行为,方便对照。
五、极限验证与它自己承认的边界
真正把这套设计压到边缘的是一次移植验证:NVIDIA Jetson Orin Nano Super,6 个可见 CPU 核,aarch64,标量/ARM C 路径 + OpenMP,没有 CUDA 实现,主干走内置 NVMe,专家走外置机械硬盘。四次一 token 推理,全部 93/93 层完成、零专家丢弃:
| 运行 | token | 峰值 RSS | 耗时 |
|---|---|---|---|
| 1 | 17374 ( Paris) |
2,760,306,688 B | 948.52 s |
| 2 | 17374 |
2,759,565,312 B | 949.81 s |
| 3 | 17374 |
2,762,563,584 B | 950.69 s |
| 4 | 17374 |
2,761,093,120 B | 948.72 s |
峰值 2.573 GiB、平均 15 分 49 秒一 token,四次完整 float32 logit dump 的 SHA-256 相同。报告位置在 docs/results/jetson-orin-nano-super/README.md,连“第一次 sanitizer 扫描发现合成 bf16 数据的严格对齐边界问题、修完后补跑第四次”这种过程都写进去了。
但同一份文档也把话说死了:这不是交互性能声明,是 proof of life。项目对自身边界的表述在 README 和 ROADMAP 里同样克制:
- 8GB 档是“能跑且答案对”,不是“能用”,30 秒一个 token;
ultra预设明确标注为 proof-of-life 路径,会流式读 embedding 行和 lm_head 分块;- 上下文上限 32k tokens,但没有 chunked prefill,21k token 的 prompt 在合理时间内跑不完;
--incremental的 KV 每 position 约 2.37MB,16k 位置就是约 39GB,所以 8GB 档基本告别长上下文——引擎会提前算好并拒绝,而不是一小时后被 OOM 杀掉;- 批处理只有贪心解码,
--chat才可选 temperature/top-p/seed; - 没有 serving、没有工具调用、没有视觉。K3 本身是多模态的,视觉塔 27 层、约 0.4B 参数、权重约 0.9GB,列在 ROADMAP 第 7 位。
六、接下来两周,最值得盯的两个工程信号
从 CHANGELOG.md 的 Unreleased 段和 docs/ROADMAP.md 的排序看,这个项目已经从“能不能跑”进入了“能不能用”,而判断它会不会停在“漂亮的实验”这一步,有两个明确信号。
信号一:chunked prefill 是否落地。 ROADMAP 把它排在第 1 位,理由写得很直白:prefill 目前是对整个 prompt 的一次前向,24 层 MLA 的注意力对序列长度是平方级,所以“上限 32k”和“21k 跑不完”同时成立。抬高上限是必要的,已经做了;让它可用才是下一步。相关的铺垫其实已经在 Unreleased 里出现了:--gen 0 --incremental --save-state 现在会真的跑完 prefill 并把 KV 与循环状态存盘,配合 --load-state 可以把“系统提示词/长文档”预热一次、复用多次。这是 chunked prefill 之前最实用的替代路径。
信号二:那批单样本数据会不会被三次重复的复现数据替换。 ROADMAP 第 2 条直接承认:噪声地板 33%,而几乎所有已发布数字都是单样本;benchmarks/memory-ladder.sh 和 benchmarks/split-sweep.sh 已经默认 3 次重复并输出 mean/sd/spread,缺的只是把 12 档阶梯和 12 组切分重跑一遍、替换 docs/data/ 里的表。一个项目愿不愿意花机时把自己的结论重测一遍,是它和“跑分截图”之间的分水岭。
除此之外,Unreleased 里还有几个信号值得顺手关注:--chat 实现了官方 XTML 会话格式(不是退回 ChatML 或手写 prompt),并且给出了一个很实用的观测——一次五词回答的 150 个 token 里,有 119 个是 <think> 块,所以 --no-think 是流式主干下最大的速度杠杆;--stop-id 让生成在命中指定 token 时立刻停止,同时保证 --save-state/--load-state 从模型真实产出的位置续接;--trunk-ring N 把预取队列深度从写死的 2 变成参数;还有一批安全加固,用 tests/unit/test_st_faults 构造被篡改的 shard 副本,逐个断言整数溢出、越界读、未初始化内存求和这些失效模式都被大声拒绝而不是静默产出错误 token。
回到标题。这个项目真正稀缺的地方,不是“8GB 跑 2.78T”这个反差,而是它把反差拆成了可审计的四步账本、十二档 cgroup 限制下的逐字节一致输出、一个 176KB 的二进制、以及一份主动写下“我的数字有 33% 噪声、1.69 倍没复现”的性能文档。前者可以写成标题,后者才撑得住标题。




