多任务扩展 donut_fine_tuning_food_composition_id:自定义 Task Token,把成分识别升级为营养成分表全能提取器

原创2026-10-18 11:02:28550 阅读
文章标签:人工智能计算机视觉微调OCR

多任务扩展 donut_fine_tuning_food_composition_id:自定义 Task Token,把成分识别升级为营养成分表全能提取器

donut_fine_tuning_food_composition_id 是一个基于 Donut 文档理解模型(naver-clova-ix/donut-base)微调而来的开源视觉语言模型,专门用于从食品或药品包装图片中识别成分与营养成分,并把结果自动整理成结构化 JSON。本文以「自定义 Task Token 的多任务扩展」为主线,带你理解它是如何用少量特殊 Token,把简单的成分识别升级为一个可复用的营养成分表全能提取器。

📌 先搞懂:这个项目能做什么?

简单来说,你喂给它一张包装图,它就能吐出一份「成分名 + 剂量」的 JSON 数据。它不是通用 OCR,而是**带语义结构的文档问答(document-question-answering)**模型。

它的模型骨架由两部分组成(见 config.json):

  • 编码器:donut-swin(Swin Transformer),负责「看懂」图片
  • 解码器:mBART,负责「写出」结构化的答案

这种「看图 → 生成文本」的设计,正是 Donut 系列的核心思路,也是它能做多任务扩展的根基。

💡 核心原理:Task Token 提示机制

传统 OCR 只负责「读字」,而 Donut 用一个 Task Token(任务提示词) 来决定「读什么、按什么格式读」。

调用时,只需把任务提示 <s_kmpsi> 作为解码器输入,模型就会顺着这个提示,输出对应任务的结构化结果。核心调用逻辑(参考 README.md 的 How to use 一节):

task_prompt = "<s_kmpsi>"
decoder_input_ids = processor.tokenizer(
    task_prompt, add_special_tokens=False, return_tensors="pt"
).input_ids
outputs = model.generate(
    pixel_values.to(device),
    decoder_input_ids=decoder_input_ids.to(device),
    ...
)

换个 Task Token,就等于换了一套「提取规则」。这就是多任务扩展的关键。

🔧 自定义 Task Token 详解

本项目把「营养成分表提取」拆成了一组层次化 Token,定义在 added_tokens.json 与 tokenizer_config.json 中:

Token 对 中文含义 作用
<s_kmpsi> / </s_kmpsi> 任务提示(komposisi=成分) 触发整个成分提取任务
<s_komposisi> / </s_komposisi> 成分列表区块 包裹所有成分条目
<s_obat> / </s_obat> 成分名称(obat=成分/药品) 标记成分名
<s_takaran> / </s_takaran> 剂量/含量(takaran=分量) 标记数值+单位
<s_desc> / </s_desc> 描述区块 输出补充说明
<sep/> 分隔符 分隔不同成分条目

此外,词表中还预留了 <s_iitcdip>、<s_synthdog> 等未启用的 Task Token(见 special_tokens_map.json),它们就是未来扩展新任务时的「预留插座」。

⚙️ 输出结构与 JSON 解析

模型生成的原始序列大致长这样:

<s_kmpsi><s_komposisi><s_obat>Vitamin E</s_obat><s_takaran>30 I.U.</s_takaran><sep/>
<s_obat>Tiamin HCl (B1)</s_obat><s_takaran>100 mg</s_takaran>...</s_komposisi>
<s_desc></s_desc></s_kmpsi>

经过 processor.token2json 解析后,就变成干净的字典(完整示例见 README.md 的 Output Example):

{
  'komposisi': [
    {'obat': 'Vitamin E', 'takaran': '30 I.U.'},
    {'obat': 'Tiamin HCl (B1)', 'takaran': '100 mg'},
    {'obat': 'Sianokobalamin (B12)', 'takaran': '100 mcg'}
  ],
  'desc': ''
}

生成时的关键参数(如 decoder_start_token_id)记录在 generation_config.json 中,确保解码从正确的 Task Token 起步。

🚀 多任务扩展思路:从「成分识别」到「全能提取器」

想把它从单一的成分识别,升级成覆盖整张营养成分表的提取器,核心就三步:

  1. 新增 Task Token:为「能量、蛋白质、脂肪、碳水、钠」等营养项定义新的标签 Token,沿用 ob / takaran 这种「字段名 + 数值」的成对模式。
  2. 构造训练数据:采集并标注营养表图片,按「标签 + 内容」的格式组织目标文本。
  3. 微调与词表扩展:在词表(tokenizer.json、sentencepiece.bpe.model)中注册新 Token,并用营养表数据继续训练解码器。

因为编码器(看图能力)已经足够通用,扩展成本主要集中在解码器与数据上——这正是 Task Token 机制带来的「低成本多任务」优势。

⚠️ 使用限制与调优建议

  • 文字需正立、清晰:README 明确指出,由于训练数据有限,图中文字必须简洁且直立,倾斜或模糊图片会显著降低准确率。
  • 预处理已内置:图片会自动缩放、归一化,参数见 preprocessor_config.json(输入尺寸 960×720)。
  • 禁用未知 Token:生成时建议设置 bad_words_ids=[[unk_token_id]],避免模型输出乱码占位符。
  • 设备自适应:优先使用 GPU(cuda),无卡时自动回退到 CPU。

📁 关键文件速查

文件 说明
README.md 模型说明、输出示例与完整调用代码
config.json 编码器 / 解码器架构配置
generation_config.json 生成参数(起始 Token、EOS 等)
added_tokens.json 自定义 Task Token 的 ID 映射
tokenizer_config.json 词表与特殊 Token 定义
tokenizer.json 分词器词表
sentencepiece.bpe.model BPE 分词模型
preprocessor_config.json 图像预处理参数

💡 一句话总结:donut_fine_tuning_food_composition_id 用一组层次化 Task Token 把「看图」和「结构化输出」解耦开来——只要新增 Token 并准备对应数据,就能把它从成分识别平滑扩展成一张覆盖整张营养表的「全能提取器」。

登录后查看全文
donut_fine_tuning_food_composition_id