生产部署指南:用optiq serve快速搭建Astrea-R8-Chat-9B-OptiQ-4bit本地推理服务
生产部署指南:用optiq serve快速搭建Astrea-R8-Chat-9B-OptiQ-4bit本地推理服务
本指南面向 Astrea-R8-Chat-9B-OptiQ-4bit,教你用一条 optiq serve 命令在 Apple Silicon Mac 上快速搭建本地推理服务:无需 PyTorch、无需云端,一条命令即可提供文本对话与图片理解能力,并可通过 n-gram drafting 将生成速度提升至最高 2.7 倍。
认识 Astrea-R8-Chat-9B-OptiQ-4bit
Astrea-R8-Chat-9B-OptiQ-4bit 是一款为 Mac 优化的创意写作大模型:它是 Qwen3.5-9B 的聊天/小说向微调版(Astrea-R8-Chat-9B),经过 OptiQ 混合精度量化后转换为 MLX 格式,专为 Apple Silicon 本地运行设计。
| 属性 | 数值 |
|---|---|
| 基座模型 | Qwen3.5-9B 微调(面向聊天与创意写作) |
| 语言塔精度 | 混合 4/8-bit(250 层张量:116 层 4-bit + 134 层 8-bit) |
| 视觉塔 | bf16,独立存放在 optiq_vision.safetensors(333 个张量) |
| 磁盘占用 | 约 8.0 GB(语言塔 7.10 GB + 视觉塔 0.91 GB),比 bf16 原始版 18.8 GB 缩小一半以上 |
| 最大上下文 | 262,144 tokens |
| 量化分组 | group_size = 64 |
💡 一个 checkpoint 同时支持文本 + 图片输入:语言塔被量化到混合 4/8-bit 以省内存,视觉塔保留 bf16 以保证图像理解精度。量化元数据详见 optiq/metadata.json。
关于 "4bit" 的命名:它沿用了 llama.cpp 的混合量化命名惯例——"4bit" 指占主导的精度,而非加权平均值。
为什么选择 optiq serve 做本地部署
optiq serve 是 MLX 生态工具 mlx-optiq 提供的一键推理服务命令,它把"量化、部署、加速"整合成一条 CLI,适合想要快速上线而不想搭复杂环境的新手:
- ✅ 完全本地:模型在 Mac 上离线推理,数据不出机器
- ✅ 一个端口对接所有客户端:聊天界面、图片理解应用,以及所有兼容 optiq serve 的 App 都能直连
- ✅ 开箱加速:内置
--ngram-draft参数,可显著加速编辑类任务 - ✅ 零 GPU 依赖:基于 MLX 框架,直接吃满 Apple Silicon 的统一内存
第一步:安装 mlx-optiq 工具包
确保你的 Mac 已装好 Python 环境,然后执行:
pip install mlx-optiq
安装完成后,optiq 命令即可在终端使用。
第二步:一键启动本地推理服务
打开终端,运行以下命令:
optiq serve --model mlx-community/Astrea-R8-Chat-9B-OptiQ-4bit --ngram-draft 16
参数说明:
--model:模型标识。首次运行时会自动下载并缓存约 8 GB 的模型文件,之后启动秒级加载--ngram-draft 16:启用 n-gram drafting 加速(16 为草稿步数),对"改参数、批量编辑"类任务提速明显
启动后,所有兼容 optiq serve 的客户端即可通过本地服务发起对话。
n-gram drafting:最快速的提速方法 ⚡️
官方在 24 GB 内存的 M4 上实测(batch 1,贪心解码,各取三次运行中位数):
| 任务类型 | 普通模式 | --ngram-draft 16 |
|---|---|---|
| 编辑(跨文件重命名一个参数并返回) | 16.6 tok/s | 44.9 tok/s(2.7 倍) |
| 代码生成 | 16.7 tok/s | 18.0 tok/s(1.08 倍) |
| 长提示词续写(1024 token 提示) | 16.6 tok/s | 16.2 tok/s(0.98 倍) |
结论很清晰:任务越"重复"(大量沿用已有文本),n-gram drafting 收益越大;纯创造性写作则基本持平,几乎无副作用。生产环境建议默认带上 --ngram-draft 16。
验证服务:用 optiq lab 快速试跑
不想接外部客户端时,可以用官方实验环境直接验证模型是否正常:
optiq lab --model mlx-community/Astrea-R8-Chat-9B-OptiQ-4bit
在 lab 里随便发一句提示(比如"写一个夜航船开头"),能流畅返回文本、且图片输入也能被正确描述,说明服务部署成功。
关键配置文件速查 📦
部署后如需排查或调优,仓库内这些文件值得了解:
| 文件 | 作用 |
|---|---|
| README.md | 模型说明、量化方案与部署命令 |
| config.json | 模型架构与量化配置(qwen3_5、4-bit 混合量化) |
| generation_config.json | 默认采样参数:temperature 0.2、top_p 0.95 |
| chat_template.jinja | 聊天模板,支持图片/视频占位符与工具调用 |
| tokenizer_config.json | 分词器配置,model_max_length 为 262144 |
| optiq_vision.safetensors | 视觉塔权重(bf16 侧车文件) |
| preprocessor_config.json | 图像预处理参数(Qwen3VL 处理器) |
| video_preprocessor_config.json | 视频预处理参数 |
| model.safetensors.index.json | 语言塔权重分片索引 |
常见问题 FAQ
问:我的 Mac 内存够吗? 权重本身约 8 GB,加上运行时激活缓存,建议 16 GB 起步;官方实测环境为 24 GB M4,24 GB 及以上体验更从容。
问:可以加 --mtp 参数吗?
不可以。该 checkpoint 没有 MTP 头,--mtp 参数对其不生效,请勿添加。
问:图片理解会不会因为量化变差? 视觉塔没有量化(保持 bf16 存于 optiq_vision.safetensors),官方验证中它能正确描述图中的色块与数字,视觉能力基本无损。
问:默认生成风格偏保守吗? 默认 generation_config.json 中 temperature 仅 0.2、top_p 0.95,属于偏确定性输出。若写小说想要更发散的文风,可在客户端适当调高 temperature。
总结
Astrea-R8-Chat-9B-OptiQ-4bit 把一个 9B 级的创意写作 + 视觉理解模型,以 8 GB 的体积塞进了你的 Mac。部署路径只有三步:pip install mlx-optiq → optiq serve --model mlx-community/Astrea-R8-Chat-9B-OptiQ-4bit --ngram-draft 16 → 用 optiq lab 验证。全程本地、离线、可复现,是 Apple Silicon 用户快速落地大模型推理服务的省心方案。