多任务扩展 donut_fine_tuning_food_composition_id:自定义 Task Token,把成分识别升级为营养成分表全能提取器
多任务扩展 donut_fine_tuning_food_composition_id:自定义 Task Token,把成分识别升级为营养成分表全能提取器
donut_fine_tuning_food_composition_id 是一个基于 Donut 文档理解模型(naver-clova-ix/donut-base)微调而来的开源视觉语言模型,专门用于从食品或药品包装图片中识别成分与营养成分,并把结果自动整理成结构化 JSON。本文以「自定义 Task Token 的多任务扩展」为主线,带你理解它是如何用少量特殊 Token,把简单的成分识别升级为一个可复用的营养成分表全能提取器。
📌 先搞懂:这个项目能做什么?
简单来说,你喂给它一张包装图,它就能吐出一份「成分名 + 剂量」的 JSON 数据。它不是通用 OCR,而是**带语义结构的文档问答(document-question-answering)**模型。
它的模型骨架由两部分组成(见 config.json):
- 编码器:
donut-swin(Swin Transformer),负责「看懂」图片 - 解码器:
mBART,负责「写出」结构化的答案
这种「看图 → 生成文本」的设计,正是 Donut 系列的核心思路,也是它能做多任务扩展的根基。
💡 核心原理:Task Token 提示机制
传统 OCR 只负责「读字」,而 Donut 用一个 Task Token(任务提示词) 来决定「读什么、按什么格式读」。
调用时,只需把任务提示 <s_kmpsi> 作为解码器输入,模型就会顺着这个提示,输出对应任务的结构化结果。核心调用逻辑(参考 README.md 的 How to use 一节):
task_prompt = "<s_kmpsi>"
decoder_input_ids = processor.tokenizer(
task_prompt, add_special_tokens=False, return_tensors="pt"
).input_ids
outputs = model.generate(
pixel_values.to(device),
decoder_input_ids=decoder_input_ids.to(device),
...
)
换个 Task Token,就等于换了一套「提取规则」。这就是多任务扩展的关键。
🔧 自定义 Task Token 详解
本项目把「营养成分表提取」拆成了一组层次化 Token,定义在 added_tokens.json 与 tokenizer_config.json 中:
| Token 对 | 中文含义 | 作用 |
|---|---|---|
<s_kmpsi> / </s_kmpsi> |
任务提示(komposisi=成分) | 触发整个成分提取任务 |
<s_komposisi> / </s_komposisi> |
成分列表区块 | 包裹所有成分条目 |
<s_obat> / </s_obat> |
成分名称(obat=成分/药品) | 标记成分名 |
<s_takaran> / </s_takaran> |
剂量/含量(takaran=分量) | 标记数值+单位 |
<s_desc> / </s_desc> |
描述区块 | 输出补充说明 |
<sep/> |
分隔符 | 分隔不同成分条目 |
此外,词表中还预留了 <s_iitcdip>、<s_synthdog> 等未启用的 Task Token(见 special_tokens_map.json),它们就是未来扩展新任务时的「预留插座」。
⚙️ 输出结构与 JSON 解析
模型生成的原始序列大致长这样:
<s_kmpsi><s_komposisi><s_obat>Vitamin E</s_obat><s_takaran>30 I.U.</s_takaran><sep/>
<s_obat>Tiamin HCl (B1)</s_obat><s_takaran>100 mg</s_takaran>...</s_komposisi>
<s_desc></s_desc></s_kmpsi>
经过 processor.token2json 解析后,就变成干净的字典(完整示例见 README.md 的 Output Example):
{
'komposisi': [
{'obat': 'Vitamin E', 'takaran': '30 I.U.'},
{'obat': 'Tiamin HCl (B1)', 'takaran': '100 mg'},
{'obat': 'Sianokobalamin (B12)', 'takaran': '100 mcg'}
],
'desc': ''
}
生成时的关键参数(如 decoder_start_token_id)记录在 generation_config.json 中,确保解码从正确的 Task Token 起步。
🚀 多任务扩展思路:从「成分识别」到「全能提取器」
想把它从单一的成分识别,升级成覆盖整张营养成分表的提取器,核心就三步:
- 新增 Task Token:为「能量、蛋白质、脂肪、碳水、钠」等营养项定义新的标签 Token,沿用
ob/takaran这种「字段名 + 数值」的成对模式。 - 构造训练数据:采集并标注营养表图片,按「标签 + 内容」的格式组织目标文本。
- 微调与词表扩展:在词表(tokenizer.json、sentencepiece.bpe.model)中注册新 Token,并用营养表数据继续训练解码器。
因为编码器(看图能力)已经足够通用,扩展成本主要集中在解码器与数据上——这正是 Task Token 机制带来的「低成本多任务」优势。
⚠️ 使用限制与调优建议
- 文字需正立、清晰:README 明确指出,由于训练数据有限,图中文字必须简洁且直立,倾斜或模糊图片会显著降低准确率。
- 预处理已内置:图片会自动缩放、归一化,参数见 preprocessor_config.json(输入尺寸 960×720)。
- 禁用未知 Token:生成时建议设置
bad_words_ids=[[unk_token_id]],避免模型输出乱码占位符。 - 设备自适应:优先使用 GPU(
cuda),无卡时自动回退到 CPU。
📁 关键文件速查
| 文件 | 说明 |
|---|---|
| README.md | 模型说明、输出示例与完整调用代码 |
| config.json | 编码器 / 解码器架构配置 |
| generation_config.json | 生成参数(起始 Token、EOS 等) |
| added_tokens.json | 自定义 Task Token 的 ID 映射 |
| tokenizer_config.json | 词表与特殊 Token 定义 |
| tokenizer.json | 分词器词表 |
| sentencepiece.bpe.model | BPE 分词模型 |
| preprocessor_config.json | 图像预处理参数 |
💡 一句话总结:donut_fine_tuning_food_composition_id 用一组层次化 Task Token 把「看图」和「结构化输出」解耦开来——只要新增 Token 并准备对应数据,就能把它从成分识别平滑扩展成一张覆盖整张营养表的「全能提取器」。