批处理、视频输入、表单提取:让d1-2B效率翻倍的6个实用技巧

原创2026-11-01 10:01:441,937 阅读
文章标签:人工智能大模型多模态基础模型计算机视觉机器学习

批处理、视频输入、表单提取:让d1-2B效率翻倍的6个实用技巧

d1-2B 是 LiquidAI 开源的多模态决策模型,专为文本分类、表单提取、图片/视频理解场景设计,一次前向传播即可返回校准后的答案,无需逐 token 生成。本文分享 6 个实用技巧:用 system_one_batch 做批处理、一次调用问多个问题、视频输入、结构化表单提取、编译加速,帮你把吞吐和速度翻倍。

d1-2B 多模态决策模型项目横幅

先说结论:d1-2B 的速度优势来自"零生成"——答案直接从一次 forward 的 logits 上读出(runner.py),所以没有采样参数要调。官方实测:单问题在 NVIDIA H100 上约 5.7 ms,一次调用 64 个状态可达 1,132 次/秒(README.md)。下面的技巧就是把这些潜力全部释放出来。

技巧1:用 system_one_batch 做批处理

逐条调用是性能杀手。system_one_batch 可以把很多 (state, questions<a href="https://link.gitcode.com/i/8b694aec3110564c4f5efc93a76b3e43" target="_blank">, media]) 请求放进一次调用里,模型自动做 padding 合并成批次推理([api.py):

tickets = ["Where is my parcel?", "The app crashes on settings."]
for out in model.system_one_batch([(t, {"team": q}) for t in tickets]):
    print(out["answers"]["team"]["choice"])

内部细节值得知道:

  • 引擎会把序列右对齐 padding 成最多 token_budget(默认 65,536 个 token)的批次,长度相近的请求自动编到一组,单请求超过预算才会独占一个批次(runner.py);
  • 每个请求的状态只读一次,多问题共享同一次前向,这就是"批量摊薄成本"的原理。

效果参考:同样是分类路由任务,单条 5.7 ms vs 64 条一批 1,132/s(H100),吞吐差距是数量级的。

技巧2:一个状态一次问多个命名问题

很多人习惯"一个问题一次调用",这其实最浪费。d1-2B 的设计就是:同一个状态、任意多个命名问题、一次前向全部回答。

questions = {
    "refund":  {"type": "noul",   "instructions": "Is the customer asking for a refund?"},
    "team":    {"type": "choice", "instructions": "Which team should handle this?",
                "criteria": {"billing": "Charges, refunds", "technical": "App faults"}},
    "urgency": {"type": "score",  "instructions": "How urgent is this ticket?",
                "criteria": ["low", "medium", "high"]},
}
out = model.system_one("Charged twice, parcel lost. Refund please.", questions)

三个问题只花 7.6 ms(H100),而分开调三次要 17 ms 以上。问题类型涵盖 noul(是/否)、choice(单选/多选)、score(分级)、text/number/date(提取)、box/boxes(定位),完整清单见 README.md 的 Question types 表格。

💡 进阶:调大 set_size 参数可以让更多问题在 state 之后打包成组读取,"更大更快,但文本精度略有代价"(api.py)。追求极致吞吐时可实验 16 以上的值。

技巧3:视频输入,让模型看懂时序动作

d1-2B 不只读单帧图片——media 参数支持把视频按帧喂进去(media.py):

out = model.system_one(None, {
    "action": {"type": "choice", "instructions": "What is the person doing?",
               "criteria": {"pouring": "Pouring liquid", "reading": "Reading a document"}},
}, media=[{"type": "video", "video": [frame1, frame2, ...], "fps": 24}])

实用要点:

  • 视频以帧列表 + 帧率的形式传入,fps 告诉模型真实时间流速;
  • 抽帧数量有保护上限:min_frames 4 帧、max_frames 768 帧,单帧 token 有 max_video_tokens(默认 768)封顶(video_processing_lfm3_vl.py),长视频不会爆 token;
  • state 可以传 None,让视频本身成为整个待决策的状态;
  • 需要控制图片分辨率时,环境变量 D1_VISION_MAX_PIXELS 可覆盖检查点默认的像素预算(runner.py)。

技巧4:表单提取,一次抽出文本、数字、日期

发票、单据、表单场景是 d1-2B 的强项。用 text、number、date 类型的命名问题,一次调用抽出所有字段:

out = model.system_one(invoice_text, {
    "payee": {"type": "text",   "instructions": "Who issued the invoice?"},
    "total": {"type": "number", "instructions": "How much is due?"},
    "due":   {"type": "date",   "instructions": "By when must it be paid?"},
})
# payee: "ACME SA"   total: 1234.5   due: "2026-04-03"

三个工程上很值钱的特性:

特性 说明
带 span 定位 每个字段返回 span,标出它在原文中的位置,方便人工复核
缺失自动判 None found 概率低于 0.5 时,该字段返回 None 而不是乱猜(api.py)
数字/日期自动解析 "1 234,50 EUR" 这种写法会解析成数值 1234.5 并带上单位;日期统一转 ISO 8601(parsing.py)

把 state 直接传成 JSON 对象也完全可以,模型能读懂结构化状态并指出字段所在的 JSON 路径(json_spans.py)。

技巧5:compile 编译,首调后稳定在毫秒级

部署时加一行 model.compile(),可把语言模型前向和视觉编码器都用 torch.compile 融合(runner.py):

model = AutoModel.from_pretrained("LiquidAI/d1-2B", trust_remote_code=True).to(device)
model.compile()  # 首次调用约需 1 分钟编译,之后稳定提速

注意事项:

  • 第一次调用要等约一分钟(编译期),适合常驻服务;
  • attention 不是 causal 模式时,避免使用 mode="reduce-overhead" 这类会录制 CUDA Graph 的模式(runner.py);
  • 官方速度表(bf16、预热后中位数):H100 上 box 定位 16.1 ms、视频 384px 图片 12.3 ms;AMD MI325X 更快,单问题仅 3.8 ms。

技巧6:校准阈值 + 看 usage,把决策做得更稳

d1-2B 返回的是带概率的答案,配合 calibration.json 里的校准表,输出已经是校准过的概率(calibration.py)。三个落地建议:

  1. 用真实数据标定阈值——noul 类型返回 P(yes),choice 返回每个选项的概率,别一律拍 0.5,按你业务的精确率/召回率目标调;
  2. choice 可加 "I don't know" 选项,并用 abstain_below 参数让低置信时自动弃权(api.py);
  3. 每次调用都返回 usage,其中 input_tokens 帮你监控成本,output_tokens 恒为 0——这是零生成架构的标志,也意味着不存在"生成到一半出错"的问题。

6 个技巧速查表

技巧 关键 API/参数 效率收益
批处理 system_one_batch H100 达 1,132 状态/秒
多问合一 命名 questions 字典 3 问一次前向,仅 7.6 ms
问题打包 set_size 更大组更快,吞吐优先时可调大
视频输入 media + fps 时序动作理解,自动限帧防爆
表单提取 text/number/date 一次调用抽全字段,带 span 和缺失判断
编译加速 model.compile() 常驻服务稳定毫秒级

更多参数说明、支持语言(含中文等 17 种)和基准成绩,可查阅 README.md 与 config.json;提示词与读出逻辑的完整实现见 prompt.py。

d1-2B 不是聊天模型,而是流水线里"需要下判断"的那一步:路由分诊、意图分类、内容审核、单据抽取、视觉质检。把上面 6 个技巧用起来,单卡吞吐翻几倍并不夸张。

登录后查看全文
d1-2B