d1-Omni-2B-GGUF快速上手:一条llama.cpp命令3步部署本地决策推理服务

原创2026-11-08 21:45:141,996 阅读
文章标签:大模型多模态音频本地部署模型量化

d1-Omni-2B-GGUF快速上手:一条llama.cpp命令3步部署本地决策推理服务

d1-Omni-2B-GGUF 是 Liquid AI 开源多模态决策模型 d1-Omni-2B 的 GGUF 量化版本,专为 CPU 与 GPU 本地离线推理设计。只需用一条 llama.cpp 命令即可启动本地决策推理服务:对文本、图片、音频甚至视频提问,模型一次前向传播即返回校准答案,无需逐 token 生成,延迟更低、结果更稳定。

🎯 为什么值得关注:2B 决策模型 + GGUF 生态

与传统"逐字生成"的大语言模型不同,d1-Omni-2B 是一个决策模型(decision model),构建于 LFM3-Omni-2B 之上:

  • ⚡ 一次前向出结果:不生成 token,一次前向传播直接返回校准(calibrated)答案,响应快、延迟稳定;
  • 🧩 三类标准题型:内置 noul(是/否判断)、choice(选项选择)、score(量表打分),答案天然映射到业务字段,省去提示词工程和解析;
  • 🌐 真正的多模态:同时理解文本、图片、视频帧与音频,问题甚至可以用语音直接提出;
  • 📦 GGUF 量化分发:提供 Q8_0 / F16 / BF16 三种精度,2B 参数量级让普通 PC 也能流畅运行。

更多架构与使用细节见仓库中的 README.md。

📁 仓库文件清单

文件 说明
d1-Omni-2B-Q8_0.gguf Q8_0 量化主模型(日常推荐,速度与精度平衡)
d1-Omni-2B-F16.gguf F16 半精度浮点主模型(更高精度、占用更大)
d1-Omni-2B-BF16.gguf BF16(bfloat16)主模型
mmproj-d1-Omni-2B-Q8_0.gguf Q8_0 版多模态投影器(mmproj),图片/视频理解所必需
mmproj-d1-Omni-2B-F16.gguf F16 版多模态投影器
mmproj-d1-Omni-2B-BF16.gguf BF16 版多模态投影器
LICENSE LFM Open License v1.0 许可证

主模型与 mmproj 文件请按相同精度配对使用。

🚀 3步部署:从安装到上线

第1步:安装 llama.cpp 运行环境

需要 llama.cpp v0.8.0(b11960)及以上版本(低版本不支持该模型)。

💡 若计划处理视频输入,还需在 PATH 中安装 ffmpeg(视频按帧读取)。

第2步:一条命令启动本地推理服务

llama-server -hf LiquidAI/d1-Omni-2B-GGUF:Q8_0 -b 8192 -ub 8192

参数说明:

参数 示例值 作用
-hf LiquidAI/d1-Omni-2B-GGUF:Q8_0 指定模型与量化版本,自动拉取主模型及 mmproj 文件
-b 8192 批次大小。一个问题连同其状态与媒体会被一次性读取,必须足够容纳
-ub 8192 上下文预算。图片最多占用其一半:设为 8192 时,每张图片保有 4096 token 的完整预算;调小则会降低该预算

服务默认在 http://127.0.0.1:8080 启动,决策请求统一发往 /v1/systemone 端点。

第3步:发送第一个决策问题

以一段客服工单为例,同时问 3 个不同类型的问题:

curl http://127.0.0.1:8080/v1/systemone -H "Content-Type: application/json" -d '{
  "state": "I was charged twice this month, please refund one of them.",
  "questions": {
    "refund":  {"type": "noul", "instructions": "Is the customer asking for a refund?"},
    "team":    {"type": "choice", "instructions": "Which team should handle this?",
                "criteria": {"billing": "Charges, refunds, invoices", "technical": "App or site faults",
                             "fraud": "Suspected unauthorised use"}},
    "urgency": {"type": "score", "instructions": "How urgent is this?",
                "criteria": ["Can wait", "Today", "Blocking the customer now"]}
  }
}'

服务端一次响应即可同时给出三个问题的校准答案——退款判断、工单分派、紧急程度打分,全部在一个批次内完成。

🧩 noul / choice / score:三类问题的正确用法

题型 适用场景 说明
noul 是/否判断 如"客户是否在要求退款?",直接给出判断结论
choice 选项分类 在 criteria 给出的选项中选一个;选项附带简短释义帮助模型理解
score 量表打分 在有序的 criteria 刻度上给分,如紧急程度、情绪平静度

⚠️ 注意:多选("multiple": true)、信息抽取(extraction)、数值估计(estimates)与目标框(boxes)目前尚不支持。

🌐 多模态输入:不止文本

除纯文本外,d1-Omni-2B 还支持以下输入组合(媒体以 base64 数据传入):

输入组合 传参方式 备注
图片 + 文本 images 字段传 base64 图片 每张图最多占一半 -ub 预算
音频 + 文本 files 字段传 base64 音频 可判断说话内容类型、语气平静度等
视频 + 文本 files 字段传 base64 视频 视频按帧读取,需系统装有 ffmpeg
语音提问 instructions 传 input_audio 用语音说出问题本身

💡 小技巧:当图片、视频或音频本身就是完整状态时,state 字段可以直接设为 null。

❓ 常见问题(FAQ)

Q1:该选哪个量化版本? 日常使用推荐 Q8_0,速度与精度平衡最好;对精度要求更高、显存/内存充足时可选 F16 或 BF16。

Q2:图片、视频无法识别? 检查两点:① mmproj 文件是否与主模型同精度且已随模型一并拉取;② 处理视频时 ffmpeg 是否在 PATH 中。

Q3:对版本有什么要求? llama.cpp v0.8.0(b11960)及以上,低版本不支持该模型架构。

⚖️ 许可证说明

本项目采用 LFM Open License v1.0 许可证(见 LICENSE),允许在遵守条款的前提下使用与再分发,商用前建议仔细阅读完整条款。


📌 回顾一下:d1-Omni-2B-GGUF 让"本地多模态决策"变得前所未有的简单——安装 llama.cpp、一条命令启动服务、向 /v1/systemone 提问,三步即可在自家机器上跑起一个又快又稳的决策推理服务,数据全程不出本机。

登录后查看全文
d1-Omni-2B-GGUF