批处理、视频输入、表单提取:让d1-2B效率翻倍的6个实用技巧
批处理、视频输入、表单提取:让d1-2B效率翻倍的6个实用技巧
d1-2B 是 LiquidAI 开源的多模态决策模型,专为文本分类、表单提取、图片/视频理解场景设计,一次前向传播即可返回校准后的答案,无需逐 token 生成。本文分享 6 个实用技巧:用 system_one_batch 做批处理、一次调用问多个问题、视频输入、结构化表单提取、编译加速,帮你把吞吐和速度翻倍。
先说结论:d1-2B 的速度优势来自"零生成"——答案直接从一次 forward 的 logits 上读出(runner.py),所以没有采样参数要调。官方实测:单问题在 NVIDIA H100 上约 5.7 ms,一次调用 64 个状态可达 1,132 次/秒(README.md)。下面的技巧就是把这些潜力全部释放出来。
技巧1:用 system_one_batch 做批处理
逐条调用是性能杀手。system_one_batch 可以把很多 (state, questions<a href="https://link.gitcode.com/i/8b694aec3110564c4f5efc93a76b3e43" target="_blank">, media]) 请求放进一次调用里,模型自动做 padding 合并成批次推理([api.py):
tickets = ["Where is my parcel?", "The app crashes on settings."]
for out in model.system_one_batch([(t, {"team": q}) for t in tickets]):
print(out["answers"]["team"]["choice"])
内部细节值得知道:
- 引擎会把序列右对齐 padding 成最多
token_budget(默认 65,536 个 token)的批次,长度相近的请求自动编到一组,单请求超过预算才会独占一个批次(runner.py); - 每个请求的状态只读一次,多问题共享同一次前向,这就是"批量摊薄成本"的原理。
效果参考:同样是分类路由任务,单条 5.7 ms vs 64 条一批 1,132/s(H100),吞吐差距是数量级的。
技巧2:一个状态一次问多个命名问题
很多人习惯"一个问题一次调用",这其实最浪费。d1-2B 的设计就是:同一个状态、任意多个命名问题、一次前向全部回答。
questions = {
"refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"},
"team": {"type": "choice", "instructions": "Which team should handle this?",
"criteria": {"billing": "Charges, refunds", "technical": "App faults"}},
"urgency": {"type": "score", "instructions": "How urgent is this ticket?",
"criteria": ["low", "medium", "high"]},
}
out = model.system_one("Charged twice, parcel lost. Refund please.", questions)
三个问题只花 7.6 ms(H100),而分开调三次要 17 ms 以上。问题类型涵盖 noul(是/否)、choice(单选/多选)、score(分级)、text/number/date(提取)、box/boxes(定位),完整清单见 README.md 的 Question types 表格。
💡 进阶:调大
set_size参数可以让更多问题在 state 之后打包成组读取,"更大更快,但文本精度略有代价"(api.py)。追求极致吞吐时可实验 16 以上的值。
技巧3:视频输入,让模型看懂时序动作
d1-2B 不只读单帧图片——media 参数支持把视频按帧喂进去(media.py):
out = model.system_one(None, {
"action": {"type": "choice", "instructions": "What is the person doing?",
"criteria": {"pouring": "Pouring liquid", "reading": "Reading a document"}},
}, media=[{"type": "video", "video": [frame1, frame2, ...], "fps": 24}])
实用要点:
- 视频以帧列表 + 帧率的形式传入,
fps告诉模型真实时间流速; - 抽帧数量有保护上限:
min_frames4 帧、max_frames768 帧,单帧 token 有max_video_tokens(默认 768)封顶(video_processing_lfm3_vl.py),长视频不会爆 token; state可以传None,让视频本身成为整个待决策的状态;- 需要控制图片分辨率时,环境变量
D1_VISION_MAX_PIXELS可覆盖检查点默认的像素预算(runner.py)。
技巧4:表单提取,一次抽出文本、数字、日期
发票、单据、表单场景是 d1-2B 的强项。用 text、number、date 类型的命名问题,一次调用抽出所有字段:
out = model.system_one(invoice_text, {
"payee": {"type": "text", "instructions": "Who issued the invoice?"},
"total": {"type": "number", "instructions": "How much is due?"},
"due": {"type": "date", "instructions": "By when must it be paid?"},
})
# payee: "ACME SA" total: 1234.5 due: "2026-04-03"
三个工程上很值钱的特性:
| 特性 | 说明 |
|---|---|
| 带 span 定位 | 每个字段返回 span,标出它在原文中的位置,方便人工复核 |
| 缺失自动判 None | found 概率低于 0.5 时,该字段返回 None 而不是乱猜(api.py) |
| 数字/日期自动解析 | "1 234,50 EUR" 这种写法会解析成数值 1234.5 并带上单位;日期统一转 ISO 8601(parsing.py) |
把 state 直接传成 JSON 对象也完全可以,模型能读懂结构化状态并指出字段所在的 JSON 路径(json_spans.py)。
技巧5:compile 编译,首调后稳定在毫秒级
部署时加一行 model.compile(),可把语言模型前向和视觉编码器都用 torch.compile 融合(runner.py):
model = AutoModel.from_pretrained("LiquidAI/d1-2B", trust_remote_code=True).to(device)
model.compile() # 首次调用约需 1 分钟编译,之后稳定提速
注意事项:
- 第一次调用要等约一分钟(编译期),适合常驻服务;
attention不是causal模式时,避免使用mode="reduce-overhead"这类会录制 CUDA Graph 的模式(runner.py);- 官方速度表(bf16、预热后中位数):H100 上 box 定位 16.1 ms、视频 384px 图片 12.3 ms;AMD MI325X 更快,单问题仅 3.8 ms。
技巧6:校准阈值 + 看 usage,把决策做得更稳
d1-2B 返回的是带概率的答案,配合 calibration.json 里的校准表,输出已经是校准过的概率(calibration.py)。三个落地建议:
- 用真实数据标定阈值——
noul类型返回 P(yes),choice返回每个选项的概率,别一律拍 0.5,按你业务的精确率/召回率目标调; choice可加 "I don't know" 选项,并用abstain_below参数让低置信时自动弃权(api.py);- 每次调用都返回
usage,其中input_tokens帮你监控成本,output_tokens恒为 0——这是零生成架构的标志,也意味着不存在"生成到一半出错"的问题。
6 个技巧速查表
| 技巧 | 关键 API/参数 | 效率收益 |
|---|---|---|
| 批处理 | system_one_batch |
H100 达 1,132 状态/秒 |
| 多问合一 | 命名 questions 字典 |
3 问一次前向,仅 7.6 ms |
| 问题打包 | set_size |
更大组更快,吞吐优先时可调大 |
| 视频输入 | media + fps |
时序动作理解,自动限帧防爆 |
| 表单提取 | text/number/date |
一次调用抽全字段,带 span 和缺失判断 |
| 编译加速 | model.compile() |
常驻服务稳定毫秒级 |
更多参数说明、支持语言(含中文等 17 种)和基准成绩,可查阅 README.md 与 config.json;提示词与读出逻辑的完整实现见 prompt.py。
d1-2B 不是聊天模型,而是流水线里"需要下判断"的那一步:路由分诊、意图分类、内容审核、单据抽取、视觉质检。把上面 6 个技巧用起来,单卡吞吐翻几倍并不夸张。
