PaddleNLP 解语 WordTag 中文词类知识标注与 Term-Linking 实战指南
PaddleNLP 解语 WordTag 中文词类知识标注与 Term-Linking 实战指南
WordTag(中文词类知识标注工具)是 PaddleNLP 解语(Text to Knowledge)框架中的核心组件,能够将任意中文句子解析为覆盖全词类的序列标注结果,并进一步将切分词语链接到百科知识树(TermTree),为文本挖掘、模板生成、知识图谱关联等下游任务提供知识增强特征。读完本文,你将掌握 WordTag 的模型原理、91 种词类标签体系、基于 Taskflow 的一键 Term-Linking 预测、批处理脚本的参数配置,以及基于 ERNIE-CTM 增量训练与自定义 TermTree 的进阶定制方法。
WordTag 是什么
WordTag 是首个能够覆盖所有中文词汇的词类知识标注工具,旨在为中文文本解析提供全面、丰富的知识标注结果。它整合了传统中文解析中分词、词性标注、命名实体识别的能力,可应用于模板(挖掘模板、解析模板)生成与匹配、知识挖掘(新词发现、关系挖掘)等自然语言处理任务中,提升文本解析与挖掘精度;也可以作为中文文本特征生成器,为各类机器学习模型提供文本特征。
WordTag 在 PaddleNLP 中通过 Taskflow("knowledge_mining", model="wordtag") 一行代码即可调用,模型权重、词表、TermTree 等资源会在首次使用时自动下载。对应的底层实现位于 paddlenlp/taskflow/knowledge_mining.py,其中 WordTagTask 类的 resource_files_urls 定义了 wordtag_v1.5 的模型参数、termtree_type.csv(TermTree 词类体系)与 termtree_data(term 数据)等全部运行时资源。
WordTag 三大特点
覆盖所有中文词汇的词类体系,更丰富的知识标注结果
WordTag 使用的词类体系覆盖所有中文词汇,包括各类实体词与非实体词(如概念、实体/专名、语法词等)。WordTag 开源版对部分类目(如组织机构等)做了更细类目的划分识别(如医疗卫生机构、体育组织机构);对于仅使用文本信息难以细分的类目(如人物类、作品类、品牌名等),则不做更细粒度的词类识别。如果需要细粒度的词类识别,可以利用百科知识树的类别体系自行定制。
整合百科知识树链接结果,获得更丰富的标注知识
如上图示例所示,每个切分标注结果除词类标注外,还整合了百科知识树(TermTree)的链接结果。用户可以结合百科知识树数据共同使用:利用 TermTree 中的 subtype 获得更细的上位粒度,利用 term 的百科信息获得更丰富的知识。
可定制的词类序列标注框架
WordTag 开源版使用的词类体系是在百科文本解析应用实践中打磨出的一个版本。不同类型文本(如搜索 query、新闻资讯)的词类分布不同,用户可以利用百科知识树定制自己的词类体系和训练样本,构建自己的 WordTag 应用版。例如,可将自定义词表按照百科知识树的字段定义好,挂接/整合到百科知识树上,即可使用自己的 Term 数据定制标注样本和标注任务。
模型结构:ERNIE-CTM + CRF
WordTag 模型使用 ERNIE-CTM(ERNIE for Chinese Text Mining)加 CRF 训练而成,预测时使用 Viterbi 解码。ERNIE-CTM 是适用于中文文本挖掘任务的预训练语言模型,拥有 2 万+ 汉字的字表集合,并使用 ALBERT 式的 embedding 分解(embedding size 为 128),以字粒度建模。WordTag 正是在 ERNIE-CTM 的输出序列表示之上叠加 CRF 层,对每个字预测其词类标签,再按 B/S/M/E/O 类标注约定聚合成词。模型结构如下图所示:
从实现看,ErnieCtmWordtagModel 接受 input_ids、token_type_ids、seq_len 与 tag_labels 输入,返回 loss 与 seq_logits(参见 slm/examples/text_to_knowledge/ernie-ctm/train.py 中的 evaluate 函数),训练时使用 SequenceAccuracy 作为评估指标。预测时,WordTagTask._decode 依据预测标签的 B/S/O 前缀切分词边界,再对每个词计算 offset(相对原文的起始位置)与 length,最终输出包含 item、wordtag_label 等字段的结构化结果。
Term-Linking 实现:从文本到百科知识树
WordTag 提供从文本到百科知识树的链接方法,即 Term-Linking:只需将 term 词类体系与百科知识树数据加载到工具中,即可在解析结果中得到 term-linking 结果。
为了适配应用中的不同实体集(例如,不同企业有不同的人物实体集合,不同的小说站有不同的小说实体集合),term-linking 被拆分为两个步骤:
- 第一步:基于词类的 linking,主要解决“同名概念词/实体词”“不同类的同名词”消歧问题。这一步只使用文本本身特征和词类特征,不使用图谱中的实体属性值(SPO)知识,从而支持切换不同应用知识图谱;
- 第二步:同类同名实体词的 linking,主要解决同类下不同属性值的实体消歧问题,这一步需要使用实体词的 SPO 知识(一般用于实体特征表示计算,以及文本-实体相似度计算)。
“WordTag+百科知识树”的开源版提供了第一步的解决示例;第二步由于依赖特定图谱的 SPO 知识,无法提供通用工具,未来可能提供通用解决方案。
从源码看,这一过程由 paddlenlp/taskflow/knowledge_mining.py 中的 LABEL_TO_SCHEMA 映射表与 _term_linking 方法共同完成:模型对每个词预测出上位词类(wordtag_label)后,先通过 LABEL_TO_SCHEMA 将词类映射为 TermTree 中可能的目标 termtype(如 作品类_实体 映射到 作品与出版物|E,组织机构类_企事业单位 映射到 企事业单位、品牌、组织机构),再调用 TermTree.find_term 在知识树中查找对应 term,命中的词会获得 termid 字段(形如 肯定否定词_cb_是、组织机构_eb_九州出版社)。LABEL_TO_SCHEMA 同时支持用户自定义标签——若预测标签不在映射表中但存在于用户标签集合中,则直接以该标签作为候选类型。
WordTag 类别标签集合:91 种词性及专名类别
WordTag 共包含 91 种词性及专名类别标签,标签集合如下:
| 人物类_实体 | 组织机构类_军事组织机构_概念 | 文化类_制度政策协议 | 位置方位 | 术语类_医药学术语 | 信息资料_性别 | 否定词 |
| 人物类_概念 | 组织机构类_医疗卫生机构 | 文化类_姓氏与人名 | 世界地区类 | 术语类_生物体 | 链接地址 | 数量词 |
| 作品类_实体 | 组织机构类_医疗卫生机构_概念 | 生物类 | 世界地区类_国家 | 疾病损伤类 | 个性特征 | 数量词_序数词 |
| 作品类_概念 | 组织机构类_教育组织机构 | 生物类_植物 | 世界地区类_区划概念 | 疾病损伤类_植物病虫害 | 感官特征 | 数量词_单位数量词 |
| 组织机构类 | 组织机构类_教育组织机构_概念 | 生物类_动物 | 世界地区类_地理概念 | 宇宙类 | 场景事件 | 叹词 |
| 组织机构类_概念 | 物体类 | 品牌名 | 饮食类 | 事件类 | 介词 | 拟声词 |
| 组织机构类_企事业单位 | 物体类_概念 | 品牌名_品牌类型 | 饮食类_菜品 | 时间类 | 介词_方位介词 | 修饰词 |
| 组织机构类_企事业单位_概念 | 物体类_兵器 | 场所类 | 饮食类_饮品 | 时间类_特殊日 | 助词 | 修饰词_性质 |
| 组织机构类_国家机关 | 物体类_化学物质 | 场所类_概念 | 药物类 | 时间类_朝代 | 代词 | 修饰词_类型 |
| 组织机构类_国家机关_概念 | 其他角色类 | 场所类_交通场所 | 药物类_中药 | 时间类_具体时间 | 连词 | 修饰词_化 |
| 组织机构类_体育组织机构 | 文化类 | 场所类_交通场所_概念 | 术语类 | 时间类_时长 | 副词 | 外语单词 |
| 组织机构类_体育组织机构_概念 | 文化类_语言文字 | 场所类_网上场所 | 术语类_术语类型 | 词汇用语 | 疑问词 | 汉语拼音 |
| 组织机构类_军事组织机构 | 文化类_奖项赛事活动 | 场所类_网上场所_概念 | 术语类_符号指标类 | 信息资料 | 肯定词 | w(标点) |
标签体系整体呈“大类_细分类”的层级结构:既包含 人物类_实体、作品类_概念 等专名与概念区分,也包含 数量词_序数词、时间类_具体时间 等功能词细分类别,以及 w(标点) 这类纯语法类别。2022.06 的 Release Note 中,WordTag 新增了 25 个细化词类,用于下游挖掘任务。
WordTag 应用场景
WordTag 是解语(Text to Knowledge)框架中文知识标注工具集的核心组成部分,其典型应用场景包括:
- 场景 A:文本挖掘/解析模板生成与匹配。将 WordTag 标注结果中的词类序列取出、去除虚词与标点后,可直接构造挖掘匹配模板。例如对“美人鱼是周星驰执导的电影”可生成
[作品类_实体][肯定词|是][人物类_实体][场景事件|执导][作品类_概念|电影]模板,再结合 TermTree 进行实体扩展(周星驰→王晶)与概念扩展(电影→小说),匹配所有同类句式文本; - 场景 B:词类知识增强的深度学习模型。可将 WordTag 产出的词类作为 embedding 特征叠加到文本 token 上,或利用 position id 与可见性矩阵控制词类特征与 token 的融合方式;
- 场景 C:知识图谱关联(term-linking),即本文核心讲解的“WordTag+TermTree”通用图谱关联方案;
- 场景 D:文本分类和文本挖掘样本优化。使用 WordTag 产出样本模板,再利用 TermTree 进行泛化约束,筛选高置信度样本、过滤不合格样本,并利用词类关系检测类别与样本的一致性、提升样本平衡性。
更完整的场景说明参见 解语的应用场景。
WordTag 示例代码与 Term-Linking 预测
下面通过 PaddleNLP Taskflow 演示 WordTag 模型进行文本到百科知识树链接(Term-Linking)的完整流程。
Term-Linking 示例程序
Term-Linking 示例程序可以对无标签数据启动模型预测。例如想对下面两段文本进行百科知识树的链接解析:
"《孤女》是2010年九州出版社出版的小说,作者是余兼羽。"
"热梅茶是一道以梅子为主要原料制作的茶饮"
执行下面的代码即可快速获取两段文本的百科知识树链接结果:
from paddlenlp import Taskflow
wordtag = Taskflow("knowledge_mining", model="wordtag", linking=True)
wordtag(["热梅茶是一道以梅子为主要原料制作的茶饮",
"《孤女》是2010年九州出版社出版的小说,作者是余兼羽"])
# Support the input text directly
wordtag("热梅茶是一道以梅子为主要原料制作的茶饮")
运行 WordTag 工具后的知识链接预测结果如下(JSON):
[{'text': '《孤女》是2010年九州出版社出版的小说,作者是余兼羽。', 'items': [{'item': '《', 'offset': 0, 'wordtag_label': 'w', 'length': 1}, {'item': '孤女', 'offset': 1, 'wordtag_label': '作品类_实体', 'length': 2, 'termid': '小说_eb_孤女'}, {'item': '》', 'offset': 3, 'wordtag_label': 'w', 'length': 1}, {'item': '是', 'offset': 4, 'wordtag_label': '肯定词', 'length': 1, 'termid': '肯定否定词_cb_是'}, {'item': '2010年', 'offset': 5, 'wordtag_label': '时间类', 'length': 5, 'termid': '时间阶段_cb_2010年'}, {'item': '九州出版社', 'offset': 10, 'wordtag_label': '组织机构类', 'length': 5, 'termid': '组织机构_eb_九州出版社'}, {'item': '出版', 'offset': 15, 'wordtag_label': '场景事件', 'length': 2, 'termid': '场景事件_cb_出版'}, {'item': '的', 'offset': 17, 'wordtag_label': '助词', 'length': 1, 'termid': '助词_cb_的'}, {'item': '小说', 'offset': 18, 'wordtag_label': '作品类_概念', 'length': 2, 'termid': '小说_cb_小说'}, {'item': ',', 'offset': 20, 'wordtag_label': 'w', 'length': 1}, {'item': '作者', 'offset': 21, 'wordtag_label': '人物类_概念', 'length': 2, 'termid': '人物_cb_作者'}, {'item': '是', 'offset': 23, 'wordtag_label': '肯定词', 'length': 1, 'termid': '肯定否定词_cb_是'}, {'item': '余兼羽', 'offset': 24, 'wordtag_label': '人物类_实体', 'length': 3}, {'item': '。', 'offset': 27, 'wordtag_label': 'w', 'length': 1}]}, {'text': '热梅茶是一道以梅子为主要原料制作的茶饮', 'items': [{'item': '热梅茶', 'offset': 0, 'wordtag_label': '饮食类_饮品', 'length': 3}, {'item': '是', 'offset': 3, 'wordtag_label': '肯定词', 'length': 1, 'termid': '肯定否定词_cb_是'}, {'item': '一道', 'offset': 4, 'wordtag_label': '数量词', 'length': 2}, {'item': '以', 'offset': 6, 'wordtag_label': '介词', 'length': 1, 'termid': '介词_cb_以'}, {'item': '梅子', 'offset': 7, 'wordtag_label': '饮食类', 'length': 2, 'termid': '饮食_cb_梅'}, {'item': '为', 'offset': 9, 'wordtag_label': '肯定词', 'length': 1, 'termid': '肯定否定词_cb_为'}, {'item': '主要原料', 'offset': 10, 'wordtag_label': '物体类', 'length': 4, 'termid': '物品_cb_主要原料'}, {'item': '制作', 'offset': 14, 'wordtag_label': '场景事件', 'length': 2, 'termid': '场景事件_cb_制作'}, {'item': '的', 'offset': 16, 'wordtag_label': '助词', 'length': 1, 'termid': '助词_cb_的'}, {'item': '茶饮', 'offset': 17, 'wordtag_label': '饮食类_饮品', 'length': 2, 'termid': '饮品_cb_茶饮'}]}]
{'text': '热梅茶是一道以梅子为主要原料制作的茶饮', 'items': [{'item': '热梅茶', 'offset': 0, 'wordtag_label': '饮食类_饮品', 'length': 3}, {'item': '是', 'offset': 3, 'wordtag_label': '肯定词', 'length': 1, 'termid': '肯定否定词_cb_是'}, {'item': '一道', 'offset': 4, 'wordtag_label': '数量词', 'length': 2}, {'item': '以', 'offset': 6, 'wordtag_label': '介词', 'length': 1, 'termid': '介词_cb_以'}, {'item': '梅子', 'offset': 7, 'wordtag_label': '饮食类', 'length': 2, 'termid': '饮食_cb_梅'}, {'item': '为', 'offset': 9, 'wordtag_label': '肯定词', 'length': 1, 'termid': '肯定否定词_cb_为'}, {'item': '主要原料', 'offset': 10, 'wordtag_label': '物体类', 'length': 4, 'termid': '物品_cb_主要原料'}, {'item': '制作', 'offset': 14, 'wordtag_label': '场景事件', 'length': 2, 'termid': '场景事件_cb_制作'}, {'item': '的', 'offset': 16, 'wordtag_label': '助词', 'length': 1, 'termid': '助词_cb_的'}, {'item': '茶饮', 'offset': 17, 'wordtag_label': '饮食类_饮品', 'length': 2, 'termid': '饮品_cb_茶饮'}]}]
从结果可以看出,每个 item 均包含 wordtag_label(词类标签)与 termid(链接到 TermTree 的 term 标识,构造方式为 termtype_src_term);未链接成功的词(如“热梅茶”“余兼羽”)则只有词类标签,没有 termid。此外,offset 表示该词在原文中的起始字符位置,length 表示词的字符长度,便于下游任务直接使用。
基于脚本的批量预测
同时,PaddleNLP 也提供了基于上述 Taskflow 的 Python 执行脚本 slm/examples/text_to_knowledge/wordtag/predict.py,执行方式如下:
python predict.py --max_seq_len 128 --batch_size 2
脚本内置的预测文本即上文的两段示例文本。各参数释义如下:
max_seq_len:表示最大句子长度,超过该长度将被截断,默认值为 128;batch_size:表示每个预测批次的样本数目,默认值为 32;device:表示运行设备,支持cpu、gpu、xpu,默认值为gpu。
脚本内部通过 Taskflow("knowledge_mining", model="wordtag", batch_size=args.batch_size, max_seq_length=args.max_seq_len, linking=True) 构造推理任务。从 WordTagTask 的默认参数看,batch_size 默认为 1,max_seq_len 默认为 512;linking=True 时才会加载 TermTree 并执行 Term-Linking(参见 paddlenlp/taskflow/knowledge_mining.py)。此外,Taskflow 还支持 split_sentence(超长文本自动切句)、num_workers、user_dict(自定义词典)等可选参数,便于适配不同长度的输入。
WordTag 进阶使用
自定义模型一键预测
用户可以使用自有数据对 WordTag 模型进行增量训练,然后使用 Taskflow 进行一键预测,完整流程参见 WordTag 增量训练示例。增量训练使用 ERNIE-CTM 作为底座,核心步骤包括:
- 数据准备:下载示例数据集(训练数据
train.json、验证集dev.txt、WordTag 标签集合tags.txt)。训练样本以/type形式为每个词标记词性或实体类别,词与词之间用空格切分,例如砚台/物体类 与/连词 笔/物体类 ……; - 模型训练:执行
python -m paddle.distributed.launch --gpus "0" train.py --max_seq_len 128 --batch_size 32 --learning_rate 5e-5 --num_train_epochs 3 --logging_steps 10 --save_steps 100 --output_dir ./output --device "gpu"。其中max_seq_len为最大句子长度,batch_size为每张卡上的样本数目,learning_rate为初始学习率(会与学习率调度器输出相乘),num_train_epochs为训练轮数,logging_steps为日志打印间隔,save_steps为模型保存及评估间隔,output_dir为模型保存路径,device支持gpu/xpu/cpu; - 加载自定义模型预测:增量训练产出的 checkpoint(
model_state.pdparams)需配合model_config.json与tags.txt组成自定义任务路径,再通过task_path加载:
custom_task_path/
├── model_state.pdparams
├── model_config.json
└── tags.txt
from paddlenlp import Taskflow
my_wordtag = Taskflow("knowledge_mining", task_path="./custom_task_path/")
my_wordtag("美人鱼是周星驰执导的一部电影")
# [{'text': '美人鱼是周星驰执导的一部电影', 'items': [{'item': '美人鱼', 'offset': 0, 'wordtag_label': '作品类_实体', 'length': 3, 'termid': '作品与出版物_eb_美人鱼'}, {'item': '是', 'offset': 3, 'wordtag_label': '肯定词', 'length': 1, 'termid': '肯定否定词_cb_是'}, {'item': '周星驰', 'offset': 4, 'wordtag_label': '人物类_实体', 'length': 3, 'termid': '人物_eb_周星驰'}, {'item': '执导', 'offset': 7, 'wordtag_label': '场景事件', 'length': 2, 'termid': '场景事件_cb_执导'}, {'item': '的', 'offset': 9, 'wordtag_label': '助词', 'length': 1, 'termid': '助词_cb_的'}, {'item': '一部', 'offset': 10, 'wordtag_label': '数量词', 'length': 2}, {'item': '电影', 'offset': 12, 'wordtag_label': '作品类_概念', 'length': 2, 'termid': '影视作品_cb_电影'}]}]
自定义 Term-Linking
Taskflow 默认使用 TermTreeV1.0 实现 Term-Linking,用户也可以基于自己的 TermTree 实现,详细教程参见 自定义 TermTree。自定义 Term-Linking 分为两步:
- 维护自定义 TermTree:TermTree 的
TermTree类支持 TermTree 的加载、增加、保存操作(因涉及数据结构整体性和一致性,暂不支持删除和修改)。示例代码如下:
from termtree import TermTree
# 加载百科知识树
termtree = TermTree.from_dir("termtree_type.csv", "TermTree.V1.0")
# 增加新term: 平原上的火焰
termtree.add_term(term="平原上的火焰",
base="eb",
term_type="影视作品")
# 保存修改, 执行后将在当前路径生成文件`termtree_data`,即新的自定义TermTree
termtree.save("./")
其中 add_term 的核心参数包括:term(待增加的 term 名称)、base(term 属于概念词 cb 还是实体词 eb)、term_type(term 的主类别)、sub_type(辅助类别或细分类别,非必选)、sub_terms(同类同名 term 集,非必选)、alias/alias_ext(常用别名/扩展别名,非必选)、data(以 dict 形式构造 term 节点,非必选)。
- 使用自定义 TermTree 预测:将
termtree_type.csv与termtree_data放入自定义任务路径,通过task_path加载即可实现自定义 Term-Linking:
custom_task_path/
├── termtree_type.csv
└── termtree_data
from paddlenlp import Taskflow
wordtag = Taskflow("knowledge_mining", task_path="./custom_task_path/")
wordtag("《平原上的火焰》是今年新上映的电影")
# [{'text': '《平原上的火焰》是今年新上映的电影', 'items': [{'item': '《', 'offset': 0, 'wordtag_label': 'w', 'length': 1}, {'item': '平原上的火焰', 'offset': 1, 'wordtag_label': '作品类_实体', 'length': 6, 'termid': '影视作品_eb_平原上的火焰'}, {'item': '》', 'offset': 7, 'wordtag_label': 'w', 'length': 1}, {'item': '是', 'offset': 8, 'wordtag_label': '肯定词', 'length': 1, 'termid': '肯定否定词_cb_是'}, {'item': '今年', 'offset': 9, 'wordtag_label': '时间类', 'length': 2, 'termid': '时间阶段_cb_今年'}, {'item': '新', 'offset': 11, 'wordtag_label': '修饰词', 'length': 1, 'termid': '修饰词_cb_新'}, {'item': '上映', 'offset': 12, 'wordtag_label': '场景事件', 'length': 2, 'termid': '场景事件_cb_上映'}, {'item': '的', 'offset': 14, 'wordtag_label': '助词', 'length': 1, 'termid': '助词_cb_的'}, {'item': '电影', 'offset': 15, 'wordtag_label': '作品类_概念', 'length': 2, 'termid': '影视作品_cb_电影'}]}]
新增 term 的链接路径为 作品类_实体(wordtag_label) -> 影视作品_eb_平原上的火焰(term_id),即 LABEL_TO_SCHEMA 中 作品类_实体 → 作品与出版物|E 的映射在该自定义词表下命中了目标 term。
论文引用与后续计划
如果您的工作成果中使用了 WordTag,建议在论文中增加下述引用:
@article{zhao2020TermTree,
title={TermTree and Knowledge Annotation Framework for Chinese Language Understanding},
author={Zhao, Min and Qin, Huapeng and Zhang, Guoxin and Lyu, Yajuan and Zhu, Yong},
technical report={Baidu, Inc. TR:2020-KG-TermTree},
year={2020}
}
WordTag 仍在持续优化中,其后续计划包括:
- 持续优化知识标注模型,获得更加精准的标注结果;
- 发布多粒度、多种参数规模的知识标注模型;
- 提供细粒度 term 及 subterm 消歧的解决方案。
问题与反馈
WordTag 在持续优化中,如果您有任何建议或问题,欢迎在 PaddleNLP 仓库中提交 issue。如需进一步了解解语框架全貌,可阅读 解语(Text to Knowledge)总览;若希望了解 TermTree 的字段定义与数据格式,可查看 TermTree 百科知识树文档。

