MNN-Pocket-0.3B INT4量化解析:W4A16 QAT近乎无损,173MB模型仅掉0.41分
MNN-Pocket-0.3B INT4量化解析:W4A16 QAT近乎无损,173MB模型仅掉0.41分
MNN-Pocket-0.3B 是一款与 MNN 推理引擎协同设计的端侧小语言模型,其 INT4(W4A16)QAT 量化版本仅占 173 MB,却在 11 项中英基准上平均只比 BF16 原版少 0.41 分(49.59 vs 50.00),堪称"近乎无损"的量化范本。本文带你弄懂 W4A16 是什么、QAT 为什么能保精度、以及这个 173MB 的模型在真机上能跑多快。
一文读懂:W4A16 量化到底在说什么?
"INT4 量化" 听起来很专业,其实拆开看很简单:
| 术语 | 含义 | 通俗解释 |
|---|---|---|
| W4 | Weight 4-bit | 把权重(模型参数)压缩成 4 位整数存储 |
| A16 | Activation 16-bit | 计算时的激活值仍保持 16 位精度 |
| QAT | Quantization-Aware Training | 量化感知训练:训练时就模拟量化误差 |
打个比方:W4A16 相当于"书用压缩纸印,读的时候还是原样展开"——存储压缩、计算保真。相比把激活值也压到 4 位(W4A4),W4A16 对硬件要求更低,精度也更稳,特别适合手机、平板这类端侧设备。
MNN-Pocket-0.3B 本体约 3 亿参数,原生精度为 bfloat16(架构细节见 config.json)。官方发布的 MNN 端侧版本则采用 INT4(W4A16,block 64) 格式,即每 64 个权重为一组做块量化,进一步控制精度损失。
QAT 为什么"近乎无损"?
传统做法 PTQ(训练后量化)是模型训完再硬压,误差是"事后补救";而 QAT 让模型在训练阶段就"提前体验"量化误差,学会把权重分布调整到对量化更友好的形态。效果差距往往就体现在这里。
MNN-Pocket-0.3B 的实测数据很有说服力:
| 版本 | 11 项基准平均分 | 模型体积 |
|---|---|---|
| MNN-Pocket-0.3B(BF16) | 50.00 | ~600 MB |
| MNN-Pocket-0.3B-MNN(INT4 QAT) | 49.59 | ~173 MB |
体积缩小约 7 倍,平均只掉 0.41 分——这就是 QAT 的价值。
分科目成绩:哪些任务没掉?哪些掉了?
看平均分还不够,逐科拆解更直观(摘自 README-cn.md 的完整评测表):
| 评测集 | BF16 原版 | INT4 QAT | 差值 |
|---|---|---|---|
| C-Eval | 38.86 | 40.27 | +1.41 ↑ |
| IFEval | 73.20 | 74.12 | +0.92 ↑ |
| MBPP | 37.20 | 38.20 | +1.00 ↑ |
| MATH500 | 35.40 | 35.40 | 0.00 |
| HumanEval | 53.66 | 53.66 | 0.00 |
| CMMLU | 40.11 | 39.65 | -0.46 |
| MMLU-Redux | 44.00 | 43.40 | -0.60 |
| BBH | 47.38 | 46.63 | -0.75 |
| IFEval-zh | 74.59 | 72.49 | -2.10 |
| GSM8K | 54.36 | 52.84 | -1.52 |
| MGSM-zh | 51.20 | 48.80 | -2.40 |
几个值得注意的信号:
- 📈 部分科目反而涨分(C-Eval、IFEval、MBPP):说明量化引入的轻微噪声起到了类似"数据增广"的正则化作用,这在 QAT 模型中并不罕见
- 💻 代码任务(HumanEval)完全不掉:说明量化对这类结构化生成任务影响很小
- 🧮 数学任务(MGSM-zh)掉分最多(-2.40):多步算术对数值精度更敏感,符合直觉
对新手来说可以记住一个结论:QAT 之后的 INT4 模型,日常指令跟随、信息抽取、轻量对话等任务上基本可以当 BF16 版用。
173MB 模型的真机速度:466 tokens/s
量化不只是省空间,4 位权重更意味着更少的内存读写,端侧推理直接提速。官方在 512 token 上下文下测得的吞吐(INT4 版本):
| 设备 | 后端 | Prefill (tok/s) | Decode (tok/s) |
|---|---|---|---|
| iPad Pro M5 | Metal | 8,721 | 466 |
| iPad Pro M5 | CPU | 2,228 | 231 |
| 骁龙 8 Gen 5 | OpenCL | 3,403 | 138 |
| 骁龙 8 Gen 5 | CPU | 930 | 251 |
对比一下人类阅读速度大约 5-10 个汉字/秒,466 tokens/s 的解码速度意味着模型生成内容快得多,交互体验可以做到"即问即答",远超 200 tok/s 的实时交互目标线。配合最长 32K 的上下文支持,这个 173MB 的小模型在端侧已经能胜任不少真实场景。
模型家族速览:该下载哪个?
MNN-Pocket 系列按用途划分了多个版本,新手可按需选择:
| 版本 | 定位 | 适合谁 |
|---|---|---|
| MNN-Pocket-0.3B | BF16 指令模型(本仓库) | 研究、微调、Transformers/llama.cpp 推理 |
| MNN-Pocket-0.3B-MNN | INT4(W4A16)QAT 端侧版 | 手机/平板端侧部署(推荐) |
| MNN-Pocket-0.3B-GGUF | GGUF 格式(F16/Q8_0/Q4_1) | llama.cpp 生态用户 |
| MNN-Pocket-0.3B-Base | 预训练基座 | 想自己微调的进阶用户 |
如果你只是想在端侧跑一个又快又小的中文助手,直接选 INT4 的 MNN 版本即可,无需自己折腾量化流程。
快速上手:三步跑起 INT4 模型
1️⃣ 克隆 MNN 推理引擎(运行时与导出工具都在其中)
git clone --depth 1 https://github.com/alibaba/MNN.git
2️⃣ 编译运行时
cd MNN
mkdir build && cd build
cmake .. -DMNN_LOW_MEMORY=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true
make -j
3️⃣ 运行 INT4 模型(把路径换成你下载的 MNN-Pocket-0.3B-MNN 版本)
./llm_demo /path/to/MNN-Pocket-0.3B-MNN/config.json prompt.txt
💡 提示:本仓库 model.safetensors 是 BF16 权重,配合 chat_template.jinja 中的 ChatML 对话模板使用;端侧部署请认准 INT4 量化版本,体积仅 173 MB。
总结
MNN-Pocket-0.3B 展示了小模型 + QAT 量化的完整闭环:
- ✅ 体积:INT4(W4A16, block 64)QAT 版本仅 173 MB,约为 BF16 的 1/7
- ✅ 精度:11 项基准平均仅降 0.41 分,部分科目不降反升
- ✅ 速度:iPad Pro M5 上解码 466 tok/s,轻松越过实时交互门槛
- ✅ 易用:官方直接发布 MNN 端侧版本,无需自己量化
对于端侧助手、信息抽取和轻量 agent 流程,这个"装在口袋里"的模型已经足够能打。模型基于 Apache License 2.0 开源(见 LICENSE.txt),可以安心商用。