MNN-Pocket-0.3B INT4量化解析:W4A16 QAT近乎无损,173MB模型仅掉0.41分

原创2026-11-11 21:12:371,954 阅读
文章标签:人工智能大模型基础模型本地部署模型量化

MNN-Pocket-0.3B INT4量化解析:W4A16 QAT近乎无损,173MB模型仅掉0.41分

MNN-Pocket-0.3B 是一款与 MNN 推理引擎协同设计的端侧小语言模型,其 INT4(W4A16)QAT 量化版本仅占 173 MB,却在 11 项中英基准上平均只比 BF16 原版少 0.41 分(49.59 vs 50.00),堪称"近乎无损"的量化范本。本文带你弄懂 W4A16 是什么、QAT 为什么能保精度、以及这个 173MB 的模型在真机上能跑多快。

一文读懂:W4A16 量化到底在说什么?

"INT4 量化" 听起来很专业,其实拆开看很简单:

术语 含义 通俗解释
W4 Weight 4-bit 把权重(模型参数)压缩成 4 位整数存储
A16 Activation 16-bit 计算时的激活值仍保持 16 位精度
QAT Quantization-Aware Training 量化感知训练:训练时就模拟量化误差

打个比方:W4A16 相当于"书用压缩纸印,读的时候还是原样展开"——存储压缩、计算保真。相比把激活值也压到 4 位(W4A4),W4A16 对硬件要求更低,精度也更稳,特别适合手机、平板这类端侧设备。

MNN-Pocket-0.3B 本体约 3 亿参数,原生精度为 bfloat16(架构细节见 config.json)。官方发布的 MNN 端侧版本则采用 INT4(W4A16,block 64) 格式,即每 64 个权重为一组做块量化,进一步控制精度损失。

QAT 为什么"近乎无损"?

传统做法 PTQ(训练后量化)是模型训完再硬压,误差是"事后补救";而 QAT 让模型在训练阶段就"提前体验"量化误差,学会把权重分布调整到对量化更友好的形态。效果差距往往就体现在这里。

MNN-Pocket-0.3B 的实测数据很有说服力:

版本 11 项基准平均分 模型体积
MNN-Pocket-0.3B(BF16) 50.00 ~600 MB
MNN-Pocket-0.3B-MNN(INT4 QAT) 49.59 ~173 MB

体积缩小约 7 倍,平均只掉 0.41 分——这就是 QAT 的价值。

分科目成绩:哪些任务没掉?哪些掉了?

看平均分还不够,逐科拆解更直观(摘自 README-cn.md 的完整评测表):

评测集 BF16 原版 INT4 QAT 差值
C-Eval 38.86 40.27 +1.41 ↑
IFEval 73.20 74.12 +0.92 ↑
MBPP 37.20 38.20 +1.00 ↑
MATH500 35.40 35.40 0.00
HumanEval 53.66 53.66 0.00
CMMLU 40.11 39.65 -0.46
MMLU-Redux 44.00 43.40 -0.60
BBH 47.38 46.63 -0.75
IFEval-zh 74.59 72.49 -2.10
GSM8K 54.36 52.84 -1.52
MGSM-zh 51.20 48.80 -2.40

几个值得注意的信号:

  • 📈 部分科目反而涨分(C-Eval、IFEval、MBPP):说明量化引入的轻微噪声起到了类似"数据增广"的正则化作用,这在 QAT 模型中并不罕见
  • 💻 代码任务(HumanEval)完全不掉:说明量化对这类结构化生成任务影响很小
  • 🧮 数学任务(MGSM-zh)掉分最多(-2.40):多步算术对数值精度更敏感,符合直觉

对新手来说可以记住一个结论:QAT 之后的 INT4 模型,日常指令跟随、信息抽取、轻量对话等任务上基本可以当 BF16 版用。

173MB 模型的真机速度:466 tokens/s

量化不只是省空间,4 位权重更意味着更少的内存读写,端侧推理直接提速。官方在 512 token 上下文下测得的吞吐(INT4 版本):

设备 后端 Prefill (tok/s) Decode (tok/s)
iPad Pro M5 Metal 8,721 466
iPad Pro M5 CPU 2,228 231
骁龙 8 Gen 5 OpenCL 3,403 138
骁龙 8 Gen 5 CPU 930 251

对比一下人类阅读速度大约 5-10 个汉字/秒,466 tokens/s 的解码速度意味着模型生成内容快得多,交互体验可以做到"即问即答",远超 200 tok/s 的实时交互目标线。配合最长 32K 的上下文支持,这个 173MB 的小模型在端侧已经能胜任不少真实场景。

模型家族速览:该下载哪个?

MNN-Pocket 系列按用途划分了多个版本,新手可按需选择:

版本 定位 适合谁
MNN-Pocket-0.3B BF16 指令模型(本仓库) 研究、微调、Transformers/llama.cpp 推理
MNN-Pocket-0.3B-MNN INT4(W4A16)QAT 端侧版 手机/平板端侧部署(推荐)
MNN-Pocket-0.3B-GGUF GGUF 格式(F16/Q8_0/Q4_1) llama.cpp 生态用户
MNN-Pocket-0.3B-Base 预训练基座 想自己微调的进阶用户

如果你只是想在端侧跑一个又快又小的中文助手,直接选 INT4 的 MNN 版本即可,无需自己折腾量化流程。

快速上手:三步跑起 INT4 模型

1️⃣ 克隆 MNN 推理引擎(运行时与导出工具都在其中)

git clone --depth 1 https://github.com/alibaba/MNN.git

2️⃣ 编译运行时

cd MNN
mkdir build && cd build
cmake .. -DMNN_LOW_MEMORY=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true
make -j

3️⃣ 运行 INT4 模型(把路径换成你下载的 MNN-Pocket-0.3B-MNN 版本)

./llm_demo /path/to/MNN-Pocket-0.3B-MNN/config.json prompt.txt

💡 提示:本仓库 model.safetensors 是 BF16 权重,配合 chat_template.jinja 中的 ChatML 对话模板使用;端侧部署请认准 INT4 量化版本,体积仅 173 MB。

总结

MNN-Pocket-0.3B 展示了小模型 + QAT 量化的完整闭环:

  • ✅ 体积:INT4(W4A16, block 64)QAT 版本仅 173 MB,约为 BF16 的 1/7
  • ✅ 精度:11 项基准平均仅降 0.41 分,部分科目不降反升
  • ✅ 速度:iPad Pro M5 上解码 466 tok/s,轻松越过实时交互门槛
  • ✅ 易用:官方直接发布 MNN 端侧版本,无需自己量化

对于端侧助手、信息抽取和轻量 agent 流程,这个"装在口袋里"的模型已经足够能打。模型基于 Apache License 2.0 开源(见 LICENSE.txt),可以安心商用。

登录后查看全文
MNN-Pocket-0.3B