d1-Omni-2B-GGUF快速上手:一条llama.cpp命令3步部署本地决策推理服务
d1-Omni-2B-GGUF快速上手:一条llama.cpp命令3步部署本地决策推理服务
d1-Omni-2B-GGUF 是 Liquid AI 开源多模态决策模型 d1-Omni-2B 的 GGUF 量化版本,专为 CPU 与 GPU 本地离线推理设计。只需用一条 llama.cpp 命令即可启动本地决策推理服务:对文本、图片、音频甚至视频提问,模型一次前向传播即返回校准答案,无需逐 token 生成,延迟更低、结果更稳定。
🎯 为什么值得关注:2B 决策模型 + GGUF 生态
与传统"逐字生成"的大语言模型不同,d1-Omni-2B 是一个决策模型(decision model),构建于 LFM3-Omni-2B 之上:
- ⚡ 一次前向出结果:不生成 token,一次前向传播直接返回校准(calibrated)答案,响应快、延迟稳定;
- 🧩 三类标准题型:内置
noul(是/否判断)、choice(选项选择)、score(量表打分),答案天然映射到业务字段,省去提示词工程和解析; - 🌐 真正的多模态:同时理解文本、图片、视频帧与音频,问题甚至可以用语音直接提出;
- 📦 GGUF 量化分发:提供 Q8_0 / F16 / BF16 三种精度,2B 参数量级让普通 PC 也能流畅运行。
更多架构与使用细节见仓库中的 README.md。
📁 仓库文件清单
| 文件 | 说明 |
|---|---|
| d1-Omni-2B-Q8_0.gguf | Q8_0 量化主模型(日常推荐,速度与精度平衡) |
| d1-Omni-2B-F16.gguf | F16 半精度浮点主模型(更高精度、占用更大) |
| d1-Omni-2B-BF16.gguf | BF16(bfloat16)主模型 |
| mmproj-d1-Omni-2B-Q8_0.gguf | Q8_0 版多模态投影器(mmproj),图片/视频理解所必需 |
| mmproj-d1-Omni-2B-F16.gguf | F16 版多模态投影器 |
| mmproj-d1-Omni-2B-BF16.gguf | BF16 版多模态投影器 |
| LICENSE | LFM Open License v1.0 许可证 |
主模型与 mmproj 文件请按相同精度配对使用。
🚀 3步部署:从安装到上线
第1步:安装 llama.cpp 运行环境
需要 llama.cpp v0.8.0(b11960)及以上版本(低版本不支持该模型)。
💡 若计划处理视频输入,还需在
PATH中安装ffmpeg(视频按帧读取)。
第2步:一条命令启动本地推理服务
llama-server -hf LiquidAI/d1-Omni-2B-GGUF:Q8_0 -b 8192 -ub 8192
参数说明:
| 参数 | 示例值 | 作用 |
|---|---|---|
-hf |
LiquidAI/d1-Omni-2B-GGUF:Q8_0 |
指定模型与量化版本,自动拉取主模型及 mmproj 文件 |
-b |
8192 |
批次大小。一个问题连同其状态与媒体会被一次性读取,必须足够容纳 |
-ub |
8192 |
上下文预算。图片最多占用其一半:设为 8192 时,每张图片保有 4096 token 的完整预算;调小则会降低该预算 |
服务默认在 http://127.0.0.1:8080 启动,决策请求统一发往 /v1/systemone 端点。
第3步:发送第一个决策问题
以一段客服工单为例,同时问 3 个不同类型的问题:
curl http://127.0.0.1:8080/v1/systemone -H "Content-Type: application/json" -d '{
"state": "I was charged twice this month, please refund one of them.",
"questions": {
"refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"},
"team": {"type": "choice", "instructions": "Which team should handle this?",
"criteria": {"billing": "Charges, refunds, invoices", "technical": "App or site faults",
"fraud": "Suspected unauthorised use"}},
"urgency": {"type": "score", "instructions": "How urgent is this?",
"criteria": ["Can wait", "Today", "Blocking the customer now"]}
}
}'
服务端一次响应即可同时给出三个问题的校准答案——退款判断、工单分派、紧急程度打分,全部在一个批次内完成。
🧩 noul / choice / score:三类问题的正确用法
| 题型 | 适用场景 | 说明 |
|---|---|---|
noul |
是/否判断 | 如"客户是否在要求退款?",直接给出判断结论 |
choice |
选项分类 | 在 criteria 给出的选项中选一个;选项附带简短释义帮助模型理解 |
score |
量表打分 | 在有序的 criteria 刻度上给分,如紧急程度、情绪平静度 |
⚠️ 注意:多选("multiple": true)、信息抽取(extraction)、数值估计(estimates)与目标框(boxes)目前尚不支持。
🌐 多模态输入:不止文本
除纯文本外,d1-Omni-2B 还支持以下输入组合(媒体以 base64 数据传入):
| 输入组合 | 传参方式 | 备注 |
|---|---|---|
| 图片 + 文本 | images 字段传 base64 图片 |
每张图最多占一半 -ub 预算 |
| 音频 + 文本 | files 字段传 base64 音频 |
可判断说话内容类型、语气平静度等 |
| 视频 + 文本 | files 字段传 base64 视频 |
视频按帧读取,需系统装有 ffmpeg |
| 语音提问 | instructions 传 input_audio |
用语音说出问题本身 |
💡 小技巧:当图片、视频或音频本身就是完整状态时,
state字段可以直接设为null。
❓ 常见问题(FAQ)
Q1:该选哪个量化版本? 日常使用推荐 Q8_0,速度与精度平衡最好;对精度要求更高、显存/内存充足时可选 F16 或 BF16。
Q2:图片、视频无法识别?
检查两点:① mmproj 文件是否与主模型同精度且已随模型一并拉取;② 处理视频时 ffmpeg 是否在 PATH 中。
Q3:对版本有什么要求? llama.cpp v0.8.0(b11960)及以上,低版本不支持该模型架构。
⚖️ 许可证说明
本项目采用 LFM Open License v1.0 许可证(见 LICENSE),允许在遵守条款的前提下使用与再分发,商用前建议仔细阅读完整条款。
📌 回顾一下:d1-Omni-2B-GGUF 让"本地多模态决策"变得前所未有的简单——安装 llama.cpp、一条命令启动服务、向 /v1/systemone 提问,三步即可在自家机器上跑起一个又快又稳的决策推理服务,数据全程不出本机。