刚开源就冲上热度榜前列:2.78T 模型塞进 8.24GB 内存,这次真不是标题党

原创2026-11-05 22:38:161,818 阅读
文章标签:大模型人工智能推理引擎本地部署推理模型

刚开源就冲上热度榜前列:2.78T 模型塞进 8.24GB 内存,这次真不是标题党

“2.78 万亿参数”和“8.24GB 内存”这两个数字放在一起,第一反应通常是营销话术:要么偷偷降精度,要么只加载了一部分层,要么那个 8GB 只是某个中间态的快照。这个项目的价值恰恰在于,它把这三个质疑逐条做成了可复现的测量数据——docs/PERFORMANCE.md 里有 12 档硬 cgroup 限制下的内存阶梯,每一档都跑出了逐字节相同的 token 序列,原始输出躺在 docs/data/memory-ladder.tsv 里。

读完源码之后,我认为更准确的描述是:它没有把 2.78T 塞进 8GB,而是重新定义了“跑一个模型”需要什么常驻。这件事的工程含量,比数字反差本身高得多。

一、把 8.24GB 拆开:一次搬运,而不是一次压缩

先看账本,这是整篇文章唯一需要记住的表:

阶段 大小 变化的原因
全部参数按 bf16 常驻 5,560 GB 参数计数的朴素含义
官方 checkpoint 落盘 1,560 GB 专家权重本来就是 MXFP4,0.53125 字节/权重
必须常驻的部分 113.49 GB MoE 稀疏:每个 token 只唤醒 16/896 个专家
实测峰值 RSS 8.24 GB 稠密主干改为流式读取,不再常驻

从 bf16 口径算是 675 倍压缩,从 checkpoint 口径算是 189 倍。注意后两行之间的落差不是靠量化补上的——它是靠“把不需要同时存在的东西挪到磁盘上”补上的。

第一层账在 checkpoint 的字节里就写死了。工程里有一份完整的 shard 普查(docs/data/,正文引用见 README “The problem: a model that does not fit” 一节):

shards            : 96
total bytes       : 1560936091448  (1.56 TB)
experts total     : 82,432   (896 routed x 92 MoE layers)
bytes per expert  : 17,547,264  exactly
                    = 33,030,144 params x 0.53125 bytes
routed expert set : 82,432 x 17,547,264 = 1.447 TB

82,432 个路由专家占了整个 checkpoint 的 93%。而每层只选 top-16,92 层路由层意味着一个 token 只碰 1,472 个专家。所以这 1.447TB 是“必须可达、但绝不必常驻”的数据——这句话是整个设计的地基。

第二层账是剩下那 7%:113.49 GB 的常驻集,其中 108.81 GB 是 93 层稠密主干,4.70 GB 是 embedding + lm_head,再加 626MB 的循环状态。这 108.81 GB 的处置方式决定了最终能不能到 8GB:它被 tools/pack_trunk.py 按层重排成一个 109GB 的连续文件,每层落在已知偏移上,一次 pread 就能整层取回。于是内存预算从一个“硬门槛”变成了一个“旋钮”。

四步阶梯:从 bf16 的 5.56TB 一路降到笔记本可跑的常驻集,两端输出完全相同

这里有个容易被二手文章写错的细节:主干是原样流式的,一个 bit 都没量化。仓库里 docs/data/trunk-quantisation.txt 用真实权重的 31 个注意力投影张量做了 int8/int4 往返实验,结论是 int8 平均相对误差约 1%,int4 约 17%,且 KDA 层和 MLA 层没有哪一类更“耐 4bit”。所以量化的收益(省内存)能靠流式免费拿到,代价(精度)却买不回来——这条取舍被写进了 docs/ROADMAP.md 的 “Explicitly not planned”。

真正 4bit 的只有专家,而且是因为 checkpoint 出厂就是 4bit。k3_matmul_mxfp4 直接吃打包好的 nibble,从不反量化:一个专家 17.55MB,展成 fp32 就是 132MB,一个 token 碰 1,472 个,等于每 token 白写 194 GB。这条数字比任何“极致优化”的形容词都有说服力。

二、“逐字节相同”才是这个项目最硬的声明

内存省下来不难,难的是省下来之后答案不变。docs/PERFORMANCE.md 的阶梯表每一档都用 cgroup 硬限内存,同一份 prompt、同一个二进制:

RAM 钉住层数 专家缓存 s/token 专家命中 trunk 命中 每 token 专家读取 峰值 RSS
8 0 0.49 32.69 0.0% 0.0% 25.83 8.24
32 11 10.80 31.44 0.0% 10.3% 25.83 31.90
64 27 23.59 28.60 0.0% 25.4% 25.83 63.71
96 43 36.39 24.40 29.9% 40.5% 18.11 95.51
128 60 49.19 29.40 32.2% 56.5% 17.51 128.18
224 90 108.98 19.21 43.8% 84.7% 14.53 223.82

十二行,输出全部是同一串 id:

17374,20829,10,427,414,1008,606,142957   →   " Paris.",~+            "The Eiffel~

28 倍的内存差距,只改变时钟,不改变答案。这是“不是标题党”最强的物证——因为它是一个计数事实,而不是秒表读数,调度抖动动不了它。

12 档内存预算下峰值 RSS 的实测曲线,横轴是预算,纵轴是实测占用

值得单独表扬的是这份文档对自己的苛刻。同样的二进制、同样的 prompt、同一分钟连跑三次,得到 14.78 / 14.67 / 20.14 s/token,均值 16.53、标准差 3.13、离散度 33.1%。作者把这个噪声地板放在每一张表的前面,并明确写下:小于 33% 的单样本差异不算效应;阶梯中段 128GB 那行的“异常”只是离散,不需要解释。能这样写性能文档的项目不多,这也是我愿意认真读它源码的原因。

顺带说一句,二手解读里的偏差相当普遍:有的文章说它用 “Q4_K/Q6_K 分层量化 + AVX2 内核”,有的说它“牺牲长上下文、用滑动窗口保住 KV Cache”。这两条在源码里都不存在——主干是原样 bf16 流式,上下文上限是 32k tokens 且没有 chunked prefill,KV 只属于 24 层 MLA(2.37 MB/position),KDA 那 69 层的状态恒定 626MB。同一时期还出现了几个把“SSD 当显存”做成通用引擎的项目,检索结果经常张冠李戴,把这些东西混成一篇。要判断这类项目,只能回源码。

三、纯 C 重写,为什么在旗舰模型刷屏期成了稀缺供给

Kimi K3 发布后的社区热度是真实的:掘金上“K3 很强但 API 太贵、想本地化部署”的算账贴能拿到两万八的阅读,另一批实测贴讨论配额、前端能力和长任务。这波讨论的共同落点不是“模型多强”,而是**“我能不能在自己的机器上碰它”**。而这个仓库给出的答案是:不需要 GPU、不需要 BLAS、不需要框架运行时。

依赖只有 libm 和 OpenMP,六个 C 文件编译出一个 179,736 字节的二进制(k3_run):

make -j            # seconds. Seven C files, a compiler and OpenMP
make test          # under a minute

make test 这一段是它区别于“demo 仓库”的地方:不需要 1.56TB 权重,不需要网络,不需要 Python,一分钟内跑完算子 fixture、safetensors 读取、config 读取、专家缓存,以及一个与发布模型同张量图的 13 层小模型的端到端 oracle:

GATE 1  teacher forcing : 32/32 positions match tf_pred
GATE 2  greedy decode   : 20/20 generated tokens match full_ids
GATE 3  incremental     : 20/20 generated tokens match full_ids
VERDICT: ENGINE MATCHES THE REFERENCE EXACTLY

先证明引擎正确,再决定要不要下 1.56TB——这个顺序本身就是一种工程态度。

为了让“纯 C”不只是“没有依赖”的同义词,代码里做了几件不讨巧的事:

  • -ffp-contract=off。默认允许编译器把乘加熔成 FMA,FMA 只舍入一次、更精确,但标量路径和 AVX2 路径就会给出不同结果。这里宁可放弃这点精度,也要保证硬件能力不会改变输出。
  • 定点累加顺序。k3_dot4 用 4 个 double 累加器按 i % 4 分区,收尾固定成 (a0+a1)+(a2+a3),注释直接写 “the parentheses are the contract”。AVX2 分支里 _mm256_add_pd(_mm256_mul_pd(...)) 明确不用 _mm256_fmadd_pd,原因写在旁边:那样“更准”,但会和标量路径不一致。
  • 用哈希而不是容差验证。容差检查会放过一个悄悄重排求和顺序的内核,所以基准测试对输出做 FNV-1a 位模式哈希,AVX2 版和标量版各建一次再比对。
  • 配置读取器拒绝猜。缺字段直接报错并列出所有缺失项,因为一个“看起来能跑”的默认值会让模型变成另一个架构:full_attn_layers 缺失时若默认成空,93 层全走 KDA,24 层全局注意力消失,模型照样吐流利英文。
  • 三条不变量写在公共头 include/k3/k3.h 的开头,每条都配了“写错就会改变输出”的 fixture:A_log 按 head 而非按 channel 索引;MLA 用 NoPE 但那 64 维 rope 槽位仍然存在且仍要缓存;MoE 的路由 bias 只影响选择,组合权重取未加 bias 的 sigmoid 分数。

一个 176KB 的二进制,跑一个 1.56TB 的模型;旁边是它和测试二进制的体积对比

跨平台这块也不是嘴上说说:src/io/k3_portable_io.h 里为 Windows 单独实现了 O_DIRECT(走 FILE_FLAG_NO_BUFFERING,且必须在 open() 时介入)、pread(用 ReadFile 的 OVERLAPPED 偏移,因为它不像 SetFilePointerEx + ReadFile 那样共享可变文件指针)、posix_memalign(_aligned_malloc)和 getrusage。CHANGELOG 里还留了一个很典型的坑:_aligned_malloc 必须配 _aligned_free,POSIX 的 posix_memalign 没这个限制,所以代码编得过、跑得过,直到分配器元数据被真正用上才 STATUS_HEAP_CORRUPTION。

四、真正的瓶颈不是 CPU,是那条 NVMe

这是全文最反直觉、也最容易被忽略的一节。作者在模型自身维度上压测,最小配置下一个 token 的时间构成大约是:

最小配置下单 token 的时间构成:36 秒读 trunk、11 秒读专家、10 秒算术

36 秒读主干 + 11 秒读专家 + 10 秒算术——八成的 token 时间在等磁盘。所以后半篇文章谈的不是 kernel,是 I/O。

机制很干净:每个 token 要完整重读 108.81 GB 的稠密主干(93 层,固定顺序),而只读约 25.83 GB 的专家(16/896)。前者是 4.2 倍的字节量、2.9 倍的时间。于是调优结论只有一句:先把内存喂给 trunk,再谈专家缓存。

固定 128GB 预算、只改切分比例的六点扫描给出 1.69 倍差距(28.38 → 16.80 s/token,trunk 从 12.3GB 提到 110GB),而且最快的那个配置专家缓存命中率是 0.0%。作者没有把 1.69 倍当成定论:单样本、33% 噪声地板、曲线还有两处反转,靠的是两个独立预算下十二个点的秩相关(Spearman ρ = −0.886 @128GB,−0.714 @32GB)和机制本身。这种“方向确定、幅度待复现”的表述,比一个漂亮的倍数可信。

专家缓存为什么这么弱?因为 K3 的路由器用 Quantile Balancing 训练,故意把专家使用压平,没有热点子集给 LRU 去捡。实测从 28 个槽位到 1,344 个槽位,驻留命中率一直是 0.0%,每 token 读取量一个小数位都没动。

LRU 在 8GB 到 64GB 缓存区间完全走平,而 Belady 最优解一路爬升,说明局部性存在但 LRU 够不到

用 tests/fixtures/expert_trace.bin 里 100,096 次真实专家请求回放,更能看清这条曲线:LRU 从 8GB 到 64GB 缓存容量涨了 8 倍,收益为零;而 Belady 最优解在同一区间从 39.4% 稳步爬到 61.7%。局部性确实存在,只是 LRU 拿不到。这个结论任何人几秒钟就能自己复现:

python3 tools/sim_cache.py tests/fixtures/expert_trace.bin

同一个文件还诚实标注了这是上界而非预测:trace 录于全量重算解码,同一批专家被重复触达约 68 次;稳态增量解码的复用远没有这么多,实际会更差。

主干解析访问这一侧则在细节上做了不少功课。读层不是单条顺序 pread,而是切成 64 MiB 块(K3_TRUNK_ALIGN 的整数倍,保证 O_DIRECT 对齐)用 OpenMP 并发发出,把设备队列深度从 1 抬起来;钉住哪些层也从“前缀”改成了“最大优先”——前缀策略会先钉住 2.34GB 的最大层,导致环形缓冲的槽位按它定尺寸,等这层根本不需要走环形缓冲时,预算还在为一个用不上的槽位付费。K3_PIN_PREFIX=1 可以切回旧行为,方便对照。

五、极限验证与它自己承认的边界

真正把这套设计压到边缘的是一次移植验证:NVIDIA Jetson Orin Nano Super,6 个可见 CPU 核,aarch64,标量/ARM C 路径 + OpenMP,没有 CUDA 实现,主干走内置 NVMe,专家走外置机械硬盘。四次一 token 推理,全部 93/93 层完成、零专家丢弃:

运行 token 峰值 RSS 耗时
1 17374 ( Paris) 2,760,306,688 B 948.52 s
2 17374 2,759,565,312 B 949.81 s
3 17374 2,762,563,584 B 950.69 s
4 17374 2,761,093,120 B 948.72 s

峰值 2.573 GiB、平均 15 分 49 秒一 token,四次完整 float32 logit dump 的 SHA-256 相同。报告位置在 docs/results/jetson-orin-nano-super/README.md,连“第一次 sanitizer 扫描发现合成 bf16 数据的严格对齐边界问题、修完后补跑第四次”这种过程都写进去了。

但同一份文档也把话说死了:这不是交互性能声明,是 proof of life。项目对自身边界的表述在 README 和 ROADMAP 里同样克制:

  • 8GB 档是“能跑且答案对”,不是“能用”,30 秒一个 token;
  • ultra 预设明确标注为 proof-of-life 路径,会流式读 embedding 行和 lm_head 分块;
  • 上下文上限 32k tokens,但没有 chunked prefill,21k token 的 prompt 在合理时间内跑不完;
  • --incremental 的 KV 每 position 约 2.37MB,16k 位置就是约 39GB,所以 8GB 档基本告别长上下文——引擎会提前算好并拒绝,而不是一小时后被 OOM 杀掉;
  • 批处理只有贪心解码,--chat 才可选 temperature/top-p/seed;
  • 没有 serving、没有工具调用、没有视觉。K3 本身是多模态的,视觉塔 27 层、约 0.4B 参数、权重约 0.9GB,列在 ROADMAP 第 7 位。

六、接下来两周,最值得盯的两个工程信号

从 CHANGELOG.md 的 Unreleased 段和 docs/ROADMAP.md 的排序看,这个项目已经从“能不能跑”进入了“能不能用”,而判断它会不会停在“漂亮的实验”这一步,有两个明确信号。

信号一:chunked prefill 是否落地。 ROADMAP 把它排在第 1 位,理由写得很直白:prefill 目前是对整个 prompt 的一次前向,24 层 MLA 的注意力对序列长度是平方级,所以“上限 32k”和“21k 跑不完”同时成立。抬高上限是必要的,已经做了;让它可用才是下一步。相关的铺垫其实已经在 Unreleased 里出现了:--gen 0 --incremental --save-state 现在会真的跑完 prefill 并把 KV 与循环状态存盘,配合 --load-state 可以把“系统提示词/长文档”预热一次、复用多次。这是 chunked prefill 之前最实用的替代路径。

信号二:那批单样本数据会不会被三次重复的复现数据替换。 ROADMAP 第 2 条直接承认:噪声地板 33%,而几乎所有已发布数字都是单样本;benchmarks/memory-ladder.sh 和 benchmarks/split-sweep.sh 已经默认 3 次重复并输出 mean/sd/spread,缺的只是把 12 档阶梯和 12 组切分重跑一遍、替换 docs/data/ 里的表。一个项目愿不愿意花机时把自己的结论重测一遍,是它和“跑分截图”之间的分水岭。

除此之外,Unreleased 里还有几个信号值得顺手关注:--chat 实现了官方 XTML 会话格式(不是退回 ChatML 或手写 prompt),并且给出了一个很实用的观测——一次五词回答的 150 个 token 里,有 119 个是 <think> 块,所以 --no-think 是流式主干下最大的速度杠杆;--stop-id 让生成在命中指定 token 时立刻停止,同时保证 --save-state/--load-state 从模型真实产出的位置续接;--trunk-ring N 把预取队列深度从写死的 2 变成参数;还有一批安全加固,用 tests/unit/test_st_faults 构造被篡改的 shard 副本,逐个断言整数溢出、越界读、未初始化内存求和这些失效模式都被大声拒绝而不是静默产出错误 token。

回到标题。这个项目真正稀缺的地方,不是“8GB 跑 2.78T”这个反差,而是它把反差拆成了可审计的四步账本、十二档 cgroup 限制下的逐字节一致输出、一个 176KB 的二进制、以及一份主动写下“我的数字有 33% 噪声、1.69 倍没复现”的性能文档。前者可以写成标题,后者才撑得住标题。

登录后查看全文
kimi-k3-in-c