D1A-E4B-it QAT 4-bit 完全入门:5.3GB 苹果芯片本地模型,会做决策、会聊天、还能看照片听语音

原创2026-11-01 13:57:161,741 阅读
文章标签:人工智能大模型模型量化本地部署多模态NLP

D1A-E4B-it QAT 4-bit 完全入门:5.3GB 苹果芯片本地模型,会做决策、会聊天、还能看照片听语音

D1A-E4B-it QAT 4-bit 是一个专为苹果芯片(Apple Silicon)打造的本地 AI 模型:总占用约 5.3GB,既能像 ChatGPT 一样聊天,又能对文档"做决策",还能理解照片、语音片段和视频。它基于 Google 的 Gemma 4 E4B 模型,采用 4-bit QAT(量化感知训练)权重,配合 MLX 框架运行,适合想在 MacBook 或 Mac 上离线、私有化部署智能服务的用户。

一、D1A 是什么?"做决策"和"聊天"有什么区别?

普通大语言模型回答问题靠生成文字,答案可能天马行空。而 D1A 决策模型的思路不同:

给它一段文档和几个问题,它直接为每个选项返回一个校准过的概率,一次前向推理就出结果,不生成任何文字——所以每个答案保证是合法选项。

举个例子,用户投诉"鞋子迟到两周、尺码不对,而且账单上扣了两笔款",你问它该由哪个团队处理(退货 / 物流 / 账单),D1A 会给出类似 billing(账单)0.40,shipping(物流)0.37 的概率,而不是输出一段需要你再解析的话。

这种"答案即选项"的特性,让它非常适合做自动分流、工单路由、PR(代码合并请求)打标这类需要稳定、可校验输出的场景。

二、三大核心功能:决策、聊天、多模态

一个模型,三种用法,靠三个 API 端点切换:

功能 端点 说明
🧠 做决策 /v1/systemone 文档 + 问题 → 每个选项的校准概率
💬 聊天 /v1/chat/completions OpenAI 兼容格式,支持流式输出
📷 看照片听语音 /v1/systemone/media 支持图片、音频、视频输入

多模态部分很实用:图片支持 JPEG、PNG、WebP;音频支持 WAV、FLAC、OGG(30 秒以内);视频支持 MP4、MOV、WebM(32MB 以内,均匀采样 16 帧)。比如拍一张快递箱的照片,问它"包裹是否破损?",它直接返回概率化的"是/否"。

而聊天模式下,系统会自动关掉 D1A 决策适配器,此时它就是纯正的 Gemma 4 E4B-it QAT 模型——同一个权重,既是决策引擎也是聊天助手。

三、为什么叫 QAT 4-bit?5.3GB 省在哪了

文件体积一目了然:

合计约 5.3GB,比同系列的 8-bit 版本(7.0GB)小得多。

关键是"QAT"这三个字母。常见做法是先把模型训成高精度,再压缩成 4-bit(会损失精度);而 QAT 是训练时就按 4-bit 来训练。这个仓库直接原样使用了 Google 官方量化感知训练出的 int4 权重(google/gemma-4-E4B-it-qat-w4a16-ct):全部 343 个 int4 线性层逐位一致,反量化误差为 0,没有从高精度"四舍五入"过。

还有一个容易被忽略的细节:D1A 适配器是专门在这套 4-bit 主干上重新训练的,而不是沿用旧版本——因为直接把 8-bit 时代的适配器搬过来,准确率会下降、9.6% 的明确答案会改变。d1a_config.json 里记录了指向这套主干的训练来源与校准数据。

四、仓库结构速览

文件 作用
model.safetensors 4.4GB 的 4-bit 主干权重(Gemma 4 E4B-it QAT)
adapter/ LoRA 决策适配器(rank 16,133MB),未合并进主干
head.safetensors 指针头(pointer head),输出各选项概率
d1a_config.json 校准温度 1.66 等推理配置
media/ 视觉与音频编码器(0.9GB)
config.json 模型架构与量化配置(4-bit、group 32)
chat_template.jinja 聊天提示模板

其中 d1a_config.json 里的校准温度 1.66 值得一看:它是在 3178 条样本上拟合出来的,让模型输出的概率"说真话"——模型说 80% 把握时,实际正确率确实接近 80%。这对需要依据概率做自动判断的场景非常重要。

五、快速开始:三步在 Mac 上跑起来

第 1 步:安装运行环境。 需要 Python 和 d1a 工具库(含 serve、mlx、media 扩展):

pip install "d1a[serve,mlx,media]"

第 2 步:启动本地服务(模型约 5.3GB,M1 Max 等 16GB 内存机型即可流畅运行):

python -m d1a.serving.serve --run <模型仓库名> --port 8009

第 3 步:发请求试试。

🧠 做一次决策(问它投诉该分给哪个团队):

curl -s localhost:8009/v1/systemone -H 'content-type: application/json' -d '{
  "state": "Shoes arrived two weeks late and in the wrong size. Also I see two charges on my card.",
  "questions": {"team": {"type": "choice", "instructions": "Which team should handle this?",
                         "criteria": {"returns": null, "shipping": null, "billing": null}}}
}'

💬 聊个天(适配器自动关闭,即 Gemma 4 E4B-it QAT 本体在回复):

curl -s localhost:8009/v1/chat/completions -H 'content-type: application/json' -d '{
  "messages": [{"role": "user", "content": "Name three things to check when a parcel arrives damaged."}]
}'

📷 看照片判断包裹是否破损:同一个 /v1/systemone/media 端点,加上 media 字段(图片 base64 编码即可)。

如果不想起服务,也可以直接在 Python 里一行调用:D1A.load("...").decide(state, questions)。

六、实测成绩与已知局限

官方在 Apple M1 Max 上对比了 8-bit 版本(v0.6),结论是整体打平,但有得有失:

  • 变强的地方:PR 标签测试集 +1.6 分、PR 严重度 +6.0 分、影响范围(blast radius)+7.2 分、路由任务 +1.7 / +1.5 分
  • 变弱的地方:一个外部 typesafe 基准 −7.8 分(这是 4-bit 主干带来的,非重训练导致)
  • 速度:与 8-bit 版几乎持平,体积却从 7.0GB 降到 5.3GB
  • 多模态:14 个演示请求的 28 个答案中,26 个与 8-bit 版完全一致

需要留意的限制:

  • 问题(questions)必须用英文提问,但被分析的文档可以是英文或日文
  • 多模态能力目前仅在 14 个演示请求上验证过,属于零样本状态
  • 项目仍标注为实验性(experimental),自动化代理调用需经过 D1A 的安全阈值把关

七、新手上手路线建议

  1. 先玩聊天:成本最低,感受一下本地运行的速度与流畅度(OpenAI 兼容格式,现有工具链基本能直接接上)
  2. 再试决策:准备一个自己熟悉的分类场景(客服工单、文档打标),用"选择题 + 概率"思维设计问题
  3. 最后上多模态:从图片开始(最简单),再到 30 秒以内的语音片段
  4. 看配置排问题:概率总偏"自信"时,先看 d1a_config.json 的温度参数;行为异常时对照 adapter/adapter_config.json 确认适配器状态

写在最后:D1A-E4B-it QAT 4-bit 展示了"小模型 + 量化感知训练 + 苹果芯片"这条路线的潜力——5.3GB 的体积、毫秒级的决策响应、数据完全不出本机,对隐私敏感或想摆脱 API 依赖的开发者来说,值得放进你的工具箱试一试。

登录后查看全文
d1a-e4b-it-qat-4bit