单次决策仅需5.7ms:d1-2B基准测试与H100/MI325X/Apple Silicon速度数据深度解析
单次决策仅需5.7ms:d1-2B基准测试与H100/MI325X/Apple Silicon速度数据深度解析
🚀 d1-2B 是 Liquid AI 推出的毫秒级决策模型(decision model),基于 LFM3-VL-2B 构建,面向文本、图片和视频输入,在 NVIDIA H100 上单次决策仅需 5.7ms、AMD MI325X 上仅需 3.8ms。本文完整解读它的基准测试成绩、三平台速度数据以及为什么它能做到"一次前向传播就出答案"。
5.7ms 的决策模型:d1-2B 是什么?
d1-2B 不是一个聊天模型,而是一个专用决策模型,它的定位很清晰:
- 输入:一个"状态"(文本或 JSON)+ 图片/视频 + 任意数量的命名问题
- 输出:带概率的定型答案(是/否、分类、评分、数值、日期、文本片段、目标框),一次前向传播直接读出,不生成任何 token
- 规格:1.92B 参数、128K 上下文、128K 词表,支持 16 种语言
模型架构规格可在 config.json 中查看:24 层混合结构由 13 层门控短卷积、5 层滑动窗口注意力、6 层全局注意力组成。这种"卷积为主、注意力为辅"的设计正是它速度优势的来源之一。
三平台速度基准测试:H100 / MI325X / Apple M5 Pro
以下是官方公布的完整速度数据。测试条件为:bf16 精度、model.compile() 编译后的热调用、20 次调用的中位数,H100 与 M5 Pro 取 3 轮中的最优成绩(首次编译耗时约 1 分钟)。
| 硬件 | 单问题 | 3 个问题 | 5K token 状态 | 384px 图片 | 单框定位 | 多框定位 | 64 状态/次 |
|---|---|---|---|---|---|---|---|
| NVIDIA H100 PCIe | 5.7 ms | 7.6 ms | 52 ms | 12.3 ms | 16.1 ms | 24.4 ms | 1,132 次/秒 |
| AMD MI325X | 3.8 ms | 5.6 ms | 44 ms | 8.7 ms | 11.2 ms | 16.5 ms | 1,699 次/秒 |
| Apple M5 Pro (mps) | 18.6 ms | 26.5 ms | 753 ms | 45.2 ms | 53.5 ms | 100 ms | 109 次/秒 |
📊 怎么读这张表?
- 多问几乎是"白送"的:H100 上单问题 5.7ms,一次问 3 个也只涨到 7.6ms——多个命名问题共享同一次前向,边际成本极低。这正是
system_one接口的设计意图。 - AMD MI325X 全场最快:单问题 3.8ms,比 H100 快约 1/3;批量吞吐 1,699 次/秒也是三者最高。AMD ROCm 栈上 LFM3 做了针对卷积路径的深度优化(见 depthwise.py 中对 MI325X 卷积融合的说明)。
- Apple Silicon 适合轻量场景:M5 Pro 上单问题 18.6ms、384px 图片 45.2ms,边缘设备跑通完全可行;但 5K token 长文本状态耗时 753ms,长文档处理建议留给数据中心的 GPU。
- 吞吐视角:H100 单卡每秒可完成 1,132 个独立决策请求(每次打包 64 个状态),相当于传统对话模型"逐 token 生成"场景下的百倍量级。
深度解析:为什么一次决策只要几毫秒?
① 不生成 token,直接"读"答案
传统 LLM 做分类要先生成一段文字再解析,而 d1-2B 在一次前向传播的 logits 中直接读出校准后的概率(如 P(yes)=0.99),无需采样、无自回归循环。推理入口 system_one 与批量入口 system_one_batch 实现在 modeling_d1_lfm3_vl.py 与 modeling_d1.py。
② 卷积主导的混合架构
13/24 的层是门控短卷积(因果深度卷积,本地感受野、计算量与序列位置无关),只有 11 层真正做注意力,且其中 5 层是 256 窗口的滑动注意力。这让长序列下的计算成本远低于全注意力 Transformer。
③ 面向推理的编译优化
model.compile() 不只是简单的 torch.compile 封装,lfm3.py 和 runner.py 里做了一整套工程优化:
- 权重冻结编译(inductor freezing):把权重当常量烘焙进图,MI325X 上 3 问题读取从 6.2ms 降到 5.5ms,64 状态吞吐 1,390→1,427 次/秒;
- 投影层融合(
fuse_projections):多个共享输入的线性层合并为一次矩阵乘; - 视觉塔免重编译:所有图片尺寸共用一张计算图,避免每种尺寸约 10 秒的重编译开销;
- CPU/GPU 同步消除:patch grid 等形状信息留在主机侧预计算。
快之外:精度是否被牺牲?
没有。在官方超过 100 项决策/视觉基准的评测中,d1-2B 以 70.2 的平均分领先开源 d1 系列:
| 模型 | 平均分 | 决策类代表 | 视觉类代表 |
|---|---|---|---|
| d1-2B | 70.2 | DecisionBench 77.1、JevBench 77.9 | CV-Bench 86.1、MMBench 87.9 |
| d1-Omni-2B | 67.7 | DecisionBench 76.4 | CV-Bench 84.0 |
| d1-3B | 65.4 | DecisionBench 73.1 | CV-Bench 82.1 |
| d1-omni-600M | 42.8 | DecisionBench 58.7 | CV-Bench 40.8 |
也就是说,d1-2B 用不到 d1-3B 三分之二的参数量,在大部分单项基准上拿到更高分——"更小、更快、更强"是这次开源的核心卖点。
🛠️ 上手与选型建议
安装与加载(依赖 transformers ≥5.19):
pip install "transformers>=5.19" torch torchvision pillow
选型上可以这样对号入座:
- 数据中心高吞吐:AMD MI325X(最快)或 H100(生态最成熟)+
model.compile()+ bf16; - 长文本/长状态流水线:优先 GPU,M5 Pro 上 5K token 状态会明显变慢;
- 边缘/本地原型验证:Apple M5 Pro 或任意
mps设备,单问题 18.6ms 已足够交互; - 调优技巧:一次调用携带多个命名问题(
set_size默认 16,调大更快但文本精度略降);用system_one_batch打包批量请求。
完整基准数据与评测口径见 README.md 的 Performance 章节,问题类型与输出字段定义(noul、choice、score、box、boxes 等)也在那里有详细说明。
总结
| 维度 | 数据 |
|---|---|
| 单次决策延迟 | H100 5.7ms / MI325X 3.8ms / M5 Pro 18.6ms |
| 批量吞吐(64 状态/次) | H100 1,132/s / MI325X 1,699/s |
| 精度 | 平均 70.2 分,开源 d1 系列第一 |
| 参数量 / 上下文 | 1.92B / 128K |
| 核心机制 | 单次前向传播读答案,零 token 生成 |
d1-2B 证明了"决策"和"生成"可以走两条完全不同的技术路线:当任务只是路由、审核、分类、抽取、定位时,毫秒级响应 + 校准概率 + 批量打包的组合,比对话式模型快一到两个数量级。如果你的 pipeline 里有大量"是非题",值得一试。
