Fara1.5-9B-OptiQ-4bit部署指南:2条命令搭建OpenAI兼容的本地推理服务
Fara1.5-9B-OptiQ-4bit部署指南:2条命令搭建OpenAI兼容的本地推理服务
想在 MacBook 上跑一个能"看图干活"的 AI 智能体?Fara1.5-9B-OptiQ-4bit 是一个基于 Apple Silicon 的 MLX 4bit 混合精度量化模型,只需 2 条命令,就能把它变成一个 OpenAI 兼容的本地推理服务——数据不出本机、不需要 PyTorch、不需要云 API。本指南面向新手,带你从零完成部署与调用。
🧠 模型是什么?一分钟看懂
| 项目 | 说明 |
|---|---|
| 基座模型 | microsoft/Fara1.5-9B(Qwen3.5 架构) |
| 定位 | 计算机操作(computer-use)/ 网页智能体(web-agent)视觉语言模型 |
| 量化方式 | OptiQ 混合精度 4/8-bit,平均每权重约 5.21 bit |
| 磁盘占用 | 约 7.5G |
| 视觉塔 | 独立保留 bf16 精度(optiq/optiq_vision.safetensors) |
| 推理框架 | MLX(Apple 官方加速框架),纯本地运行 |
💡 简单理解:它把 9B 参数模型"压缩"到 4bit 左右,体积缩小近一半,而视觉部分保持高精度不损失"眼力"。你既能拿它做纯文本对话,也能发图片让它完成截图识别、网页操作等智能体任务。
📂 目录结构速览
仓库非常精简,核心就是模型权重加几个配置文件:
| 文件 | 作用 |
|---|---|
| model-00001-of-00002.safetensors、model-00002-of-00002.safetensors | 语言模型主体权重(分片存储) |
| optiq/optiq_vision.safetensors | bf16 精度的视觉塔权重(sidecar) |
| config.json | 模型架构与逐层量化配置(quantization 字段定义了每一层的 4/8-bit 分配) |
| optiq_metadata.json | 量化元信息:目标 5.0 bpw、实际达成 5.21 bpw 等 |
| tokenizer.json、tokenizer_config.json | 分词器 |
| chat_template.jinja | 对话模板 |
| kv_config.json | KV Cache 的逐层位宽配置 |
| generation_config.json | 默认生成参数 |
🚀 2条命令快速部署(Apple Silicon 本地)
前置条件:一台 Mac(M 系列芯片)+ 已安装 Python 3.9+。
第 1 条:安装 optiq 工具包
pip install -U optiq
optiq 是 MLX 原生的量化与推理工具包,安装后即可加载这个模型并启动服务。
第 2 条:一键启动 OpenAI 兼容服务
optiq serve --model mlx-community/Fara1.5-9B-OptiQ-4bit
执行后,optiq 会自动下载(或复用缓存)模型权重,并在本地起一个推理服务。服务就绪后:
- OpenAI 兼容端点:
http://localhost:8000/v1 - 首次启动会加载权重,稍等片刻即可;之后启动秒级完成。
🔌 调用 OpenAI 兼容接口
服务起来之后,任何支持 OpenAI 协议的工具(如各种 OpenAI SDK)只需把 base_url 指向本地即可:
model:mlx-community/Fara1.5-9B-OptiQ-4bitbase_url:http://localhost:8000/v1
发一条文本请求
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "mlx-community/Fara1.5-9B-OptiQ-4bit",
"messages": [{"role": "user", "content": "用一句话介绍你自己"}]
}'
发一张图片(computer-use 视觉路径)
该模型的招牌能力是"看图操作":在消息的 content 数组中加入 image_url 部分(如一张网页截图 + 指令"点击登录按钮"),模型就会输出对应的操作动作。具体字段结构与 OpenAI 多模态消息格式一致。
⚙️ 进阶:本地加载与兼容说明
- 模型文件若已在本地(如 clone 了本仓库),可直接把
--model参数指向本地目录路径,避免重复下载。 - 加载器兼容性(见 README.md):
mlx-optiq可加载文本 + 视觉 + MTP 完整能力;标准mlx-lm仅支持纯文本路径。想发挥视觉能力,就用optiq serve这条路线。 - 量化细节:optiq_metadata.json 记录了量化采用 config_transfer 方式——逐层位宽方案直接继承自同架构的 Qwen3.5-9B OptiQ 量化,无需额外的敏感度分析,这也解释了为什么 config.json 中的
quantization字段精确到每一层。 - KV Cache 压缩:kv_config.json 对 8 个 full-attention 层的 KV Cache 做了 4/8-bit 混合配置,可进一步节省显存,利于长上下文。
🛠️ 常见问题(FAQ)
Q:支持非 Mac 设备吗? A:本仓库是 MLX 权重格式,面向 Apple Silicon 设计,在 Intel Mac 或 Linux/Windows 上无法直接运行。
Q:内存要求多少? A:权重约 7.5G(磁盘),实际运行建议 16GB 统一内存起步;视觉 + 长上下文任务给足内存更从容。
Q:端口 8000 被占用怎么办?
A:关闭占用端口的进程后重启,或在 optiq serve 命令中指定其他端口参数。
Q:为什么纯文本也能跑?
A:同一个仓库支持双模式——标准 mlx-lm 走纯文本路径,optiq serve 则同时加载视觉塔,实现完整的 image + text 输入。
✅ 小结
| 步骤 | 命令 |
|---|---|
| 1. 安装工具包 | pip install -U optiq |
| 2. 启动服务 | optiq serve --model mlx-community/Fara1.5-9B-OptiQ-4bit |
只需上面 2 条命令,你就在 Mac 本地拥有了一个 OpenAI 兼容的 AI 推理端点:私有数据不出机器、免 API 费用、还能发图片做 computer-use 智能体任务。对于想在个人设备上体验"会看屏幕的 AI"的同学,Fara1.5-9B-OptiQ-4bit 是上手成本最低的本地方案之一。