AREX-Turbo-4bit 性能调优清单:从 3.6GB 内存到 60.9 tok/s 的优化全路径
AREX-Turbo-4bit 性能调优清单:从 3.6GB 内存到 60.9 tok/s 的优化全路径
AREX-Turbo-4bit 是 BAAI/AREX-Turbo 多模态大模型的 MLX 4-bit 量化版本,专为 Apple Silicon 推理而生。它把 bf16 原始模型 9.2GB 的内存占用压到 3.677 GB,解码速度从 18.2 tok/s 提升到 60.9 tok/s(M2 Pro 实测),而质量几乎无损。本文带你完整走一遍这条性能优化路径:为什么快、快在哪、质量是否保得住,以及你可以直接照做的调优清单。
📊 先看结果:4 档量化 vs 原始精度的性能对比
所有数据来自 README.md 中在 M2 Pro(32 GB) 上、128-token 解码、贪心解码策略下的实测:
| 版本 | 有效位宽 (bpw) | 解码速度 | 峰值内存 | 磁盘体积 |
|---|---|---|---|---|
| 4-bit(本项目) | 5.347 | 60.9 tok/s | 3.677 GB | 2.9 GB |
| 6-bit | 7.2 | 44.5 tok/s | 4.917 GB | 3.8 GB |
| 8-bit | 9.053 | 34.7 tok/s | 6.152 GB | 4.8 GB |
| bf16(原始模型) | — | 18.2 tok/s | 9.229 GB | — |
💡 一句话总结:速度是 bf16 的 3.3 倍,内存只有其 40%,而且质量差距在统计噪声范围内(见下文)。
🔍 速度从哪来?三大核心优化拆解
1️⃣ 4-bit Affine 分组量化(group_size = 64)
在 config.json 中可以看到量化核心参数:
"quantization": { "bits": 4, "group_size": 64, "mode": "affine" }
- 4-bit:每个权重只存 4 位数值,体积直接砍到 1/4
- group_size 64:每 64 个权重共享一组缩放因子(
scales),在压缩率和精度间取得平衡 - affine 模式:
weight × scale + bias的仿射表示,反量化只需一次乘加,推理开销极低
量化后的权重分布可以在 model.safetensors.index.json 中验证——每个 *.weight 都伴随 *.scales 和 *.biases 条目。
2️⃣ 视觉塔故意保留 bf16("聪明地省")
注意有效位宽是 5.347 而非 4——这是刻意为之:mlx-vlm 只量化语言模型,视觉编码器保持 bf16:
language_model: QuantizedLinear x186, QuantizedEmbedding x1 <- 4-bit
vision_tower : Linear x50, LayerNorm x25, Conv3d x1 <- bf16
视觉编码器权重占比小,但对量化误差异常敏感。保留它几乎不增加内存,却保住了图像/视频理解的稳定性——用 0.347 bpw 的"代价"换取视觉质量,这是本模型最值得学习的量化策略。
3️⃣ 混合注意力架构:天然省显存
config.json 的 layer_types 显示 32 层采用 3:1 混合结构:每 3 层 linear_attention(线性注意力 / Mamba 式 SSM),第 4 层才是 full_attention,并配合 full_attention_interval: 4。
- 线性注意力层的 KV 状态不随上下文长度膨胀,长文本推理时内存几乎恒定
- 该模型支持 256K 上下文(
max_position_embeddings: 262144),正是这种架构让"长上下文 + 低内存"得以兼得
✅ 压缩后质量保得住吗?三层证据
这是 4-bit 量化最常被质疑的点。项目方给出了分层评测(详见 README.md):
| 评测层 | 指标 | 4-bit 结果 | 结论 |
|---|---|---|---|
| 分布保真 | Perplexity ratio | 1.1158(3.3663 vs 3.0171) | 输出分布略有偏移 |
| 分布保真 | Top-1 一致率 | 92.65% | 绝大多数位置预测一致 |
| 任务正确率 | 8 道可验证短题 | 8/8(bf16 为 7/8) | 正确率不降反升 |
| 盲测质量 | LLM 评委打分(1-5) | 4.583 vs 4.778 | 差距 0.195 小于评委噪声 0.233 |
⚠️ 一个常见误区:BLEU 从 8-bit 的 82.65 掉到 4-bit 的 49.52 不代表"质量变差"。它衡量的是与 bf16 输出的相似性——4-bit 模型回答
17 × 23时直接给出391,而 bf16 先写了一长串推导。答案更好,BLEU 反而更低。判断量化质量要看任务正确率 + 盲测,这两项 4-bit 都过关。
🛠️ 三步上手:部署与推理
第 1 步:安装推理框架
pip install mlx-vlm
第 2 步:本地获取模型(仓库为只读镜像,请勿修改)
git clone https://gitcode.com/hf_mirrors/mlx-community/AREX-Turbo-4bit
第 3 步:加载并生成
from mlx_vlm import load, generate
from mlx_vlm.prompt_utils import apply_chat_template
model, processor = load("mlx-community/AREX-Turbo-4bit")
prompt = apply_chat_template(processor, config, "What can you do?", num_images=0)
print(generate(model, processor, prompt, max_tokens=256).text)
多模态能力开箱即用:把 num_images=1 并传入 image=<a href="https://link.gitcode.com/i/ccb7cbe5b74f31fab5125e4eb6d9fed7" target="_blank">"path.jpg"] 即可做图片理解,视频同理。对话格式由 [chat_template.jinja 定义,支持图像/视频/工具调用的完整消息协议。
📁 项目文件导读
| 文件 | 作用 |
|---|---|
| model.safetensors | 模型权重(4-bit 量化后的本体) |
| model.safetensors.index.json | 权重索引与量化 scales/biases 映射 |
| config.json | 核心配置:量化参数、混合注意力层、256K 上下文 |
| chat_template.jinja | 多模态对话模板(图像/视频/工具) |
| processor_config.json | 视觉处理器参数(图片/视频分块) |
| tokenizer_config.json | 分词器配置,含图像/视频特殊 token |
| vocab.json | 词表(248,320 词元) |
| configuration.json | 框架与任务元信息(PyTorch 格式、text-generation) |
| preprocessor_config.json / video_preprocessor_config.json | 图像 / 视频预处理参数 |
⚙️ 性能调优清单(可直接照做)
- [ ] 优先选 4-bit:速度与内存收益最大(3.3× 加速),且评测证实质量无显著损失;内存宽裕且对细节敏感时再考虑 6-bit / 8-bit
- [ ] 贪心解码做基线:
temperature=0.0下结果确定,便于复现与对比(本项目所有数据均为贪心解码) - [ ] 控制
max_tokens:解码是内存和时延的主要变量,按场景设上限(如 256/512) - [ ] 长上下文放心用:混合线性注意力让 KV 状态不随长度爆炸,256K 窗口下内存仍可控
- [ ] 图像处理参数勿乱改:
min_pixels/max_pixels、patch_size等(见 processor_config.json)与训练时对齐,改动会直接影响视觉质量 - [ ] 在自己的硬件上复测:60.9 tok/s 是 M2 Pro 数据,其他芯片请以本机实测为准
⚠️ 已知边界
项目方坦诚标注了未测项:未跑 MMLU/GSM8K 等标准基准;Agent/工具调用能力(原始模型的核心定位)未在本转换中评测;视觉路径仅做了样例图一致性检查、未打分。如果你的场景是 Agent 深度研究,请用自己的数据先验证再上生产。
🎯 总结
AREX-Turbo-4bit 展示了一条教科书级的端侧大模型优化路径:分组 4-bit 量化压语言模型 + bf16 保视觉塔 + 混合线性注意力省显存,最终在 Apple Silicon 上实现 3.6GB 内存、60.9 tok/s 的推理体验,而任务正确率与盲测质量均与原始 bf16 模型无统计显著差异。对于想在 Mac 上跑多模态 Agent 模型的用户,这份"清单式"的量化方案值得一抄。