optiq lab还是mlx-lm?对比Astrea-R8-Chat-9B-OptiQ-4bit的两种本地调用路径
optiq lab还是mlx-lm?对比Astrea-R8-Chat-9B-OptiQ-4bit的两种本地调用路径
Astrea-R8-Chat-9B-OptiQ-4bit 是一个专为 Mac(Apple Silicon)量化的 9B 创作型多模态模型,用 MLX 框架本地运行。本文对比它的两条本地调用路径——optiq lab 与 mlx-lm——从安装、启动、功能到速度逐项拆解,帮新手一次选对。🍎
先认识模型:一张参数表看懂它
这个检查点来自 HemmingwayAI/Astrea-R8-Chat-9B(基于 Qwen3.5-9B 微调,擅长聊天与小说创作),经过 OptiQ 混合精度量化后,磁盘占用从 18.8 GB(bf16)降到约 8.0 GB:
| 属性 | 数值 |
|---|---|
| 基础模型 | Qwen3.5-9B 微调(聊天 + 创作写作) |
| 语言塔精度 | 混合 4/8-bit:116 层 4-bit,134 层 8-bit(共 250 层) |
| 视觉塔 | bf16,独立存放在 optiq_vision.safetensors |
| 磁盘占用 | 语言塔 7.10 GB + 视觉塔 0.91 GB |
| 上下文长度 | 262,144 tokens |
| 量化分组 | group size 64 |
💡 "4bit" 命名沿用 llama.cpp 混合量化的叫法,指主要精度而非加权平均。每层具体用 4-bit 还是 8-bit,可在 optiq/metadata.json 的
per_layer字段逐层查看,量化配置则记录在 config.json 中。
语言塔权重分片存放在 model-00001-of-00002.safetensors 和 model-00002-of-00002.safetensors,权重索引见 model.safetensors.index.json。
两条本地调用路径:一分钟看懂
同一个模型,可以走 OptiQ 生态,也可以走 标准 mlx-lm 库,差别在于"功能完整度 vs 轻简易用":
路径一:optiq lab(功能全:文字 + 图片 + 加速)
OptiQ 是 MLX 原生工具链,专门处理这类混合精度模型。它的优势是:
- ✅ 支持图片输入:视觉塔(bf16 sidecar)由 OptiQ 加载,mlx-lm 原生加载路径用不到它
- ✅ n-gram draft 加速:实测在 24 GB M4 上,代码编辑类任务从 16.6 tok/s 提升到 44.9 tok/s(2.7 倍)
- ✅ lab 交互式工作台:一条命令打开本地对话界面,支持聊天与图片
- ✅ serve 服务模式:为所有对接
optiq serve的应用提供推理服务
pip install mlx-optiq
# 本地工作台(文字 + 图片)
optiq lab --model mlx-community/Astrea-R8-Chat-9B-OptiQ-4bit
# 服务化部署 + n-gram 加速
optiq serve --model mlx-community/Astrea-R8-Chat-9B-OptiQ-4bit --ngram-draft 16
路径二:mlx-lm(轻量:纯文本、易嵌入脚本)
如果只需要文字能力,标准 MLX 社区库 mlx-lm 就能直接加载语言塔,API 极简,非常适合写脚本、做集成:
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Astrea-R8-Chat-9B-OptiQ-4bit")
messages = [{"role": "user", "content": "Open a short story set on a night ferry."}]
prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
print(generate(model, tokenizer, prompt=prompt, max_tokens=400))
⚠️ 注意:mlx-lm 路径只有文本能力,图片功能需要走 optiq 路径。
两种路径功能对比:到底怎么选
| 维度 | optiq lab / serve | mlx-lm |
|---|---|---|
| 文字对话 | ✅ | ✅ |
| 图片理解 | ✅(自动加载视觉塔) | ❌ |
| n-gram draft 加速 | ✅ --ngram-draft 16 |
❌ |
| 服务化 / 应用对接 | ✅ optiq serve |
需自行封装 |
| 脚本嵌入灵活度 | 中 | ✅ 高(标准库 API) |
| 安装 | pip install mlx-optiq |
pip install mlx-lm |
一句话选择指南:
- 想体验完整的多模态能力、要图片输入或加速 → optiq lab / optiq serve ⚡
- 只想在 Python 脚本里快速跑纯文本生成 → mlx-lm
生成参数与质量说明
默认采样配置见 generation_config.json:temperature=0.2、top_p=0.95、开启采样,输出风格偏稳定。对话格式由 chat_template.jinja 定义,首次调用时框架会自动应用,无需手动处理。
官方转换后验证过:常识问答("法国首都")、简单计算、代码题、创作类提问,以及"看图描述红方块/蓝圆/数字 42"的图片测试,量化版与原模型表现一致。另外该检查点没有 MTP 头,--mtp 参数不适用。
常见问题(FAQ)
Q:为什么 mlx-lm 加载后图片功能不见了? A:视觉塔以 bf16 单独存放在 optiq_vision.safetensors(333 个张量),这是 OptiQ 的 sidecar 布局,只有 optiq 路径会加载它。
Q:磁盘需要多大空间? A:模型本体约 8.0 GB,首次运行时框架会按模型名自动下载并缓存,建议预留 10 GB 以上空间。
Q:262K 上下文在本地能用满吗? A:取决于内存。24 GB 统一内存的 Mac 可轻松跑长文创作;越长的上下文占用越多内存,建议按需设置。
总结
Astrea-R8-Chat-9B-OptiQ-4bit 用 8 GB 换来一个"能聊天、会看图、可加速"的本地创作模型。🎯 要完整体验选 optiq lab,要轻量集成选 mlx-lm——两条路径加载的是同一份权重,按你的使用场景选一条即可,不用重复下载模型。