单次决策仅需5.7ms:d1-2B基准测试与H100/MI325X/Apple Silicon速度数据深度解析

原创2026-11-01 12:30:551,756 阅读
文章标签:人工智能大模型多模态基础模型计算机视觉机器学习

单次决策仅需5.7ms:d1-2B基准测试与H100/MI325X/Apple Silicon速度数据深度解析

🚀 d1-2B 是 Liquid AI 推出的毫秒级决策模型(decision model),基于 LFM3-VL-2B 构建,面向文本、图片和视频输入,在 NVIDIA H100 上单次决策仅需 5.7ms、AMD MI325X 上仅需 3.8ms。本文完整解读它的基准测试成绩、三平台速度数据以及为什么它能做到"一次前向传播就出答案"。

d1-2B 决策模型 Liquid AI 官方横幅

5.7ms 的决策模型:d1-2B 是什么?

d1-2B 不是一个聊天模型,而是一个专用决策模型,它的定位很清晰:

  • 输入:一个"状态"(文本或 JSON)+ 图片/视频 + 任意数量的命名问题
  • 输出:带概率的定型答案(是/否、分类、评分、数值、日期、文本片段、目标框),一次前向传播直接读出,不生成任何 token
  • 规格:1.92B 参数、128K 上下文、128K 词表,支持 16 种语言

模型架构规格可在 config.json 中查看:24 层混合结构由 13 层门控短卷积、5 层滑动窗口注意力、6 层全局注意力组成。这种"卷积为主、注意力为辅"的设计正是它速度优势的来源之一。

三平台速度基准测试:H100 / MI325X / Apple M5 Pro

以下是官方公布的完整速度数据。测试条件为:bf16 精度、model.compile() 编译后的热调用、20 次调用的中位数,H100 与 M5 Pro 取 3 轮中的最优成绩(首次编译耗时约 1 分钟)。

硬件 单问题 3 个问题 5K token 状态 384px 图片 单框定位 多框定位 64 状态/次
NVIDIA H100 PCIe 5.7 ms 7.6 ms 52 ms 12.3 ms 16.1 ms 24.4 ms 1,132 次/秒
AMD MI325X 3.8 ms 5.6 ms 44 ms 8.7 ms 11.2 ms 16.5 ms 1,699 次/秒
Apple M5 Pro (mps) 18.6 ms 26.5 ms 753 ms 45.2 ms 53.5 ms 100 ms 109 次/秒

📊 怎么读这张表?

  1. 多问几乎是"白送"的:H100 上单问题 5.7ms,一次问 3 个也只涨到 7.6ms——多个命名问题共享同一次前向,边际成本极低。这正是 system_one 接口的设计意图。
  2. AMD MI325X 全场最快:单问题 3.8ms,比 H100 快约 1/3;批量吞吐 1,699 次/秒也是三者最高。AMD ROCm 栈上 LFM3 做了针对卷积路径的深度优化(见 depthwise.py 中对 MI325X 卷积融合的说明)。
  3. Apple Silicon 适合轻量场景:M5 Pro 上单问题 18.6ms、384px 图片 45.2ms,边缘设备跑通完全可行;但 5K token 长文本状态耗时 753ms,长文档处理建议留给数据中心的 GPU。
  4. 吞吐视角:H100 单卡每秒可完成 1,132 个独立决策请求(每次打包 64 个状态),相当于传统对话模型"逐 token 生成"场景下的百倍量级。

深度解析:为什么一次决策只要几毫秒?

① 不生成 token,直接"读"答案

传统 LLM 做分类要先生成一段文字再解析,而 d1-2B 在一次前向传播的 logits 中直接读出校准后的概率(如 P(yes)=0.99),无需采样、无自回归循环。推理入口 system_one 与批量入口 system_one_batch 实现在 modeling_d1_lfm3_vl.py 与 modeling_d1.py。

② 卷积主导的混合架构

13/24 的层是门控短卷积(因果深度卷积,本地感受野、计算量与序列位置无关),只有 11 层真正做注意力,且其中 5 层是 256 窗口的滑动注意力。这让长序列下的计算成本远低于全注意力 Transformer。

③ 面向推理的编译优化

model.compile() 不只是简单的 torch.compile 封装,lfm3.py 和 runner.py 里做了一整套工程优化:

  • 权重冻结编译(inductor freezing):把权重当常量烘焙进图,MI325X 上 3 问题读取从 6.2ms 降到 5.5ms,64 状态吞吐 1,390→1,427 次/秒;
  • 投影层融合(fuse_projections):多个共享输入的线性层合并为一次矩阵乘;
  • 视觉塔免重编译:所有图片尺寸共用一张计算图,避免每种尺寸约 10 秒的重编译开销;
  • CPU/GPU 同步消除:patch grid 等形状信息留在主机侧预计算。

快之外:精度是否被牺牲?

没有。在官方超过 100 项决策/视觉基准的评测中,d1-2B 以 70.2 的平均分领先开源 d1 系列:

模型 平均分 决策类代表 视觉类代表
d1-2B 70.2 DecisionBench 77.1、JevBench 77.9 CV-Bench 86.1、MMBench 87.9
d1-Omni-2B 67.7 DecisionBench 76.4 CV-Bench 84.0
d1-3B 65.4 DecisionBench 73.1 CV-Bench 82.1
d1-omni-600M 42.8 DecisionBench 58.7 CV-Bench 40.8

也就是说,d1-2B 用不到 d1-3B 三分之二的参数量,在大部分单项基准上拿到更高分——"更小、更快、更强"是这次开源的核心卖点。

🛠️ 上手与选型建议

安装与加载(依赖 transformers ≥5.19):

pip install "transformers>=5.19" torch torchvision pillow

选型上可以这样对号入座:

  • 数据中心高吞吐:AMD MI325X(最快)或 H100(生态最成熟)+ model.compile() + bf16;
  • 长文本/长状态流水线:优先 GPU,M5 Pro 上 5K token 状态会明显变慢;
  • 边缘/本地原型验证:Apple M5 Pro 或任意 mps 设备,单问题 18.6ms 已足够交互;
  • 调优技巧:一次调用携带多个命名问题(set_size 默认 16,调大更快但文本精度略降);用 system_one_batch 打包批量请求。

完整基准数据与评测口径见 README.md 的 Performance 章节,问题类型与输出字段定义(noul、choice、score、box、boxes 等)也在那里有详细说明。

总结

维度 数据
单次决策延迟 H100 5.7ms / MI325X 3.8ms / M5 Pro 18.6ms
批量吞吐(64 状态/次) H100 1,132/s / MI325X 1,699/s
精度 平均 70.2 分,开源 d1 系列第一
参数量 / 上下文 1.92B / 128K
核心机制 单次前向传播读答案,零 token 生成

d1-2B 证明了"决策"和"生成"可以走两条完全不同的技术路线:当任务只是路由、审核、分类、抽取、定位时,毫秒级响应 + 校准概率 + 批量打包的组合,比对话式模型快一到两个数量级。如果你的 pipeline 里有大量"是非题",值得一试。

登录后查看全文
d1-2B