PaddleNLP 解语 WordTag-IE:基于中文词类知识的可配置规则信息抽取工具实战指南
PaddleNLP 解语 WordTag-IE:基于中文词类知识的可配置规则信息抽取工具实战指南
WordTag-IE(基于中文词类知识的信息抽取工具)是 PaddleNLP 生态中一个完全基于规则的中文信息抽取方案:它以 WordTag 词类知识标注结果为基础,通过一套可枚举、可自定义的 SPO(Subject-Predicate-Object)关系配置,实现简单句式的关系抽取。读完本文,你将掌握如何通过 Taskflow("knowledge_mining", with_ie=True) 一键抽取关系三元组、如何编写自己的关系 Schema 与 demo_config.json 配置文件,并理解其"词类收拢 + 互反关系 + 单向搜索"的底层实现原理。其产出数据既可作为模型训练样本,也可直接当作知识挖掘结果使用。
WordTag-IE 是什么
WordTag-IE 是在 WordTag 标注结果之上实现的信息抽取工具,旨在提供一个灵活、可配置,能够精准、全面覆盖简单句式的规则信息抽取工具。项目已提供通用配置,可覆盖常见抽取句式;用户也可以根据文档提供的配置方法,完成自己的配置,应用于自己的领域、专业文本。
核心特点:
- 灵活、方便的配置,即时生效:WordTag-IE 完全使用规则实现关系抽取,其配置完全基于 WordTag 的词类知识以及 TermTree 中的词表实现,实现了灵活、简单配置,同时保证了产出数据的一致性。
在代码层面,WordTag-IE 对应 paddlenlp/taskflow/utils.py 中的 WordTagRelationExtractor 类,以及 paddlenlp/taskflow/knowledge_mining.py 中 WordTagTask 的 with_ie 开关。默认通用配置随模型资源一起下载(spo_config.pkl,见 knowledge_mining.py 中的 resource_files_names 与 resource_files_urls 定义)。
快速上手:打开 with_ie 开关抽取关系三元组
在 WordTag 任务基础上打开 with_ie 开关即可输出信息抽取结果。下面是使用 PaddleNLP Taskflow 使用 WordTag-IE 的完整示例:
>>> from paddlenlp import Taskflow
>>> wordtag_ie = Taskflow("knowledge_mining", with_ie=True)
>>> wordtag_ie('《忘了所有》是一首由王杰作词、作曲并演唱的歌曲,收录在专辑同名《忘了所有》中,由波丽佳音唱片于1996年08月31日发行。')
[[{'text': '《忘了所有》是一首由王杰作词、作曲并演唱的歌曲,收录在专辑同名《忘了所有》中,由波丽佳音唱片于1996年08月31日发行。', 'items': [{'item': '《', 'offset': 0, 'wordtag_label': 'w', 'length': 1}, {'item': '忘了所有', 'offset': 1, 'wordtag_label': '作品类_实体', 'length': 4}, {'item': '》', 'offset': 5, 'wordtag_label': 'w', 'length': 1}, {'item': '是', 'offset': 6, 'wordtag_label': '肯定词', 'length': 1}, {'item': '一首', 'offset': 7, 'wordtag_label': '数量词_单位数量词', 'length': 2}, {'item': '由', 'offset': 9, 'wordtag_label': '介词', 'length': 1}, {'item': '王杰', 'offset': 10, 'wordtag_label': '人物类_实体', 'length': 2}, {'item': '作词', 'offset': 12, 'wordtag_label': '场景事件', 'length': 2}, {'item': '、', 'offset': 14, 'wordtag_label': 'w', 'length': 1}, {'item': '作曲', 'offset': 15, 'wordtag_label': '场景事件', 'length': 2}, {'item': '并', 'offset': 17, 'wordtag_label': '连词', 'length': 1}, {'item': '演唱', 'offset': 18, 'wordtag_label': '场景事件', 'length': 2}, {'item': '的', 'offset': 20, 'wordtag_label': '助词', 'length': 1}, {'item': '歌曲', 'offset': 21, 'wordtag_label': '作品类_概念', 'length': 2}, {'item': ',', 'offset': 23, 'wordtag_label': 'w', 'length': 1}, {'item': '收录', 'offset': 24, 'wordtag_label': '场景事件', 'length': 2}, {'item': '在', 'offset': 26, 'wordtag_label': '介词', 'length': 1}, {'item': '专辑', 'offset': 27, 'wordtag_label': '作品类_概念', 'length': 2}, {'item': '同名', 'offset': 29, 'wordtag_label': '场景事件', 'length': 2}, {'item': '《', 'offset': 31, 'wordtag_label': 'w', 'length': 1}, {'item': '忘了所有', 'offset': 32, 'wordtag_label': '作品类_实体', 'length': 4}, {'item': '》', 'offset': 36, 'wordtag_label': 'w', 'length': 1}, {'item': '中', 'offset': 37, 'wordtag_label': '词汇用语', 'length': 1}, {'item': ',', 'offset': 38, 'wordtag_label': 'w', 'length': 1}, {'item': '由', 'offset': 39, 'wordtag_label': '介词', 'length': 1}, {'item': '波丽佳音', 'offset': 40, 'wordtag_label': '人物类_实体', 'length': 4}, {'item': '唱片', 'offset': 44, 'wordtag_label': '作品类_概念', 'length': 2}, {'item': '于', 'offset': 46, 'wordtag_label': '介词', 'length': 1}, {'item': '1996年08月31日', 'offset': 47, 'wordtag_label': '时间类_具体时间', 'length': 11}, {'item': '发行', 'offset': 58, 'wordtag_label': '场景事件', 'length': 2}, {'item': '。', 'offset': 60, 'wordtag_label': 'w', 'length': 1}]}], [[{'HEAD_ROLE': {'item': '王杰', 'offset': 10, 'type': '人物类_实体'}, 'TAIL_ROLE': [{'item': '忘了所有', 'type': '作品类_实体', 'offset': 1}], 'GROUP': '创作', 'TRIG': [{'item': '作词', 'offset': 12}, {'item': '作曲', 'offset': 15}, {'item': '演唱', 'offset': 18}], 'SRC': 'REVERSE'}, {'HEAD_ROLE': {'item': '忘了所有', 'type': '作品类_实体', 'offset': 1}, 'TAIL_ROLE': [{'item': '王杰', 'offset': 10, 'type': '人物类_实体'}], 'GROUP': '创作者', 'SRC': 'HTG', 'TRIG': [{'item': '作词', 'offset': 12}, {'item': '作曲', 'offset': 15}, {'item': '演唱', 'offset': 18}]}, {'HEAD_ROLE': {'item': '忘了所有', 'type': '作品类_实体', 'offset': 1}, 'TAIL_ROLE': [{'item': '歌曲', 'offset': 21, 'type': '作品类_概念'}], 'GROUP': '类型', 'SRC': 'TAIL'}, {'HEAD_ROLE': {'item': '忘了所有', 'offset': 32, 'type': '作品类_实体'}, 'TAIL_ROLE': [{'item': '忘了所有', 'type': '作品类_实体', 'offset': 1}], 'GROUP': '收录', 'TRIG': [{'item': '收录', 'offset': 24}], 'SRC': 'REVERSE'}, {'HEAD_ROLE': {'item': '忘了所有', 'type': '作品类_实体', 'offset': 1}, 'TAIL_ROLE': [{'item': '忘了所有', 'offset': 32, 'type': '作品类_实体'}], 'GROUP': '收录于', 'SRC': 'HGT', 'TRIG': [{'item': '收录', 'offset': 24}]}, {'HEAD_ROLE': {'item': '忘了所有', 'offset': 32, 'type': '作品类_实体'}, 'TAIL_ROLE': [{'item': '王杰', 'type': '人物类_实体', 'offset': 10}], 'GROUP': '创作者', 'TRIG': [{'item': '专辑', 'offset': 27}], 'SRC': 'REVERSE'}, {'HEAD_ROLE': {'item': '王杰', 'type': '人物类_实体', 'offset': 10}, 'TAIL_ROLE': [{'item': '忘了所有', 'offset': 32, 'type': '作品类_实体'}], 'GROUP': '创作', 'SRC': 'HGT', 'TRIG': [{'item': '专辑', 'offset': 27}]}, {'HEAD_ROLE': {'item': '忘了所有', 'type': '作品类_实体', 'offset': 32}, 'TAIL_ROLE': [{'item': '唱片', 'offset': 44, 'type': '作品类_概念'}], 'GROUP': '类型', 'SRC': 'TAIL'}]]]
理解返回结构
返回结果是一个双元素列表:
- 第一个元素:与 WordTag 词类标注结果一致,每个词条包含
item(词本身)、offset(起始偏移)、wordtag_label(词类标签)、length(长度); - 第二个元素:SPO 关系三元组列表。每条关系包含:
HEAD_ROLE:头实体,含item、type(词类标签)、offset;TAIL_ROLE:尾实体(列表,支持并列多个),含item、type、offset;GROUP:关系名(即谓词);TRIG:触发词列表(含item与offset);SRC:关系来源标记,常见取值包括HTG(Head-Trigger-Group,尾实体在触发词左侧)、HGT(Head-Group-Trigger,尾实体在触发词右侧)、TAIL(尾实体触发模式)、REVERSE(由反向配置生成的反向关系)。
在源码中,上述结构由 WordTagRelationExtractor._make_output 方法组装,_reverse 方法负责生成 SRC 为 REVERSE 的反向三元组(见 utils.py)。
自定义关系:使用 set_schema 配置抽取组合
通过 set_schema 可以配置相关关系类型,抽取自定义的关系组合:
>>> from pprint import pprint
>>> schema = [
{
"head_role": "作品类_实体", #头实体词类
"group": "创作者", #关系名
"tail_role": [
{
"main": [
"人物类_实体" #尾实体词类
],
"support": [] #相关词类,可作为该关系的补充,不可作为尾实体独立存在
}
],
"trig_word": [
"作词", #触发词,对于没有触发词,而是由头尾实体直接触发的关系,可为null
],
"trig_type": "trigger", #trigger表明由触发词触发,tail表明为尾实体触发
"reverse": False, #是否为反向配置,即尾实体实际是头,头实体实际是尾
"trig_direction": "B", #触发P的方向,表示在自然表达中,尾实体在触发词的哪一边,L为左,R为右,B为双向都有可能,默认为B
"rel_group": "创作" #对应的反关系,即头尾实体对调后,对应的关系,用于逻辑推断
}]
>>> wordtag_ie.set_schema(schema)
>>> pprint(wordtag_ie('《忘了所有》是一首由王杰作词、作曲并演唱的歌曲,收录在专辑同名《忘了所有》中,由波丽佳音唱片于1996年08月31日发行。')[1])
[[{'GROUP': '创作',
'HEAD_ROLE': {'item': '王杰', 'offset': 10, 'type': '人物类_实体'},
'SRC': 'REVERSE',
'TAIL_ROLE': [{'item': '忘了所有', 'offset': 1, 'type': '作品类_实体'}],
'TRIG': [{'item': '作词', 'offset': 12}]},
{'GROUP': '创作者',
'HEAD_ROLE': {'item': '忘了所有', 'offset': 1, 'type': '作品类_实体'},
'SRC': 'HTG',
'TAIL_ROLE': [{'item': '王杰', 'offset': 10, 'type': '人物类_实体'}],
'TRIG': [{'item': '作词', 'offset': 12}]}]]
可以看到,配置 作品类_实体 — 创作者 — 人物类_实体 后,从同一句话中抽出了正向关系 创作者 与反向关系 创作 两条三元组。
在源码层面,set_schema 的实现位于 knowledge_mining.py:它通过 WordTagRelationExtractor.from_dict(schema) 重建抽取器,因此配置即时生效,无需重新下载模型资源。
配置文件详解:基于 demo_config.json 编写自己的关系
项目提供了配置示例文件 demo_config.json,用户可以直接基于这个文件实现自己想要的配置。该文件是一个 JSON 数组,内含 30 余组常见关系配置(如"名字""性别""出生于""创作""出演""代言""创建""获奖""类型""出品方""出版方""发表于""收录于""改编自""上市于""创建人""成立于""所属组织""所属地区""官方语言""海拔""面积""制造方"等)。
配置字段说明
| 字段 | 含义 | 取值说明 |
|---|---|---|
head_role |
头实体词类 | 如 作品类_实体、人物类_实体、组织机构类、时间类_具体时间 |
group |
关系名(谓词) | 如 出版方、创作者、出生于 |
tail_role |
尾实体配置 | 一个数组,可配置多组候选;每组含 main(尾实体词类,必填)与 support(相关词类,作为关系补充、不可作为尾实体独立存在) |
trig_word |
触发词列表 | 如 出版、创作、发行;对于没有触发词、而由头尾实体直接触发的关系,可为 null |
trig_type |
触发模式 | trigger 表示由触发词触发;tail(源码中也称 role)表示由尾实体触发 |
trig_direction |
触发方向 | 约束文本中尾实体相对触发词的位置:L 为左、R 为右、B 为双向都有可能,默认为 B |
reverse |
是否反向配置 | true 表示尾实体实际是头、头实体实际是尾(用于覆盖反语序句式) |
rel_group |
对应的反关系 | 头尾实体对调后对应的关系名,用于逻辑推断并生成反向三元组 |
以"出版方"关系为例
{
"head_role": "作品类_实体", //头实体词类
"group": "出版方", //关系名
"tail_role": [
{
"main": [
"组织机构类"
], //尾实体词类
"support": [
"时间类_具体时间"
] //相关词类,可作为该关系的补充,不可作为尾实体独立存在
}
], //尾实体配置
"trig_word": [
"出版"
], //触发词,对于没有触发词,而是由头尾实体直接触发的关系,可为null
"trig_direction": "L", //触发P的方向,表示在自然表达中,尾实体在触发词的哪一边,L为左,R为右,B为双向都有可能,默认为B
"trig_type": "trigger", //trigger表明由触发词触发,tail表明为尾实体触发
"reverse": false, //是否为反向配置,即尾实体实际是头,头实体实际是尾
"rel_group": "出版" //对应的反关系,即头尾实体对调后,对应的关系,用于逻辑推断
}
该配置的含义是:当文本中出现 作品类_实体 头实体,其后出现触发词"出版",且在触发词左侧找到 组织机构类 尾实体时,抽取 <作品, 出版方, 机构> 三元组,并利用 rel_group: "出版" 自动生成反向关系 <机构, 出版, 作品>。
需要说明的是,配置文件使用标准 JSON 格式,示例中 // 后为字段注释,实际使用时应删除。源码中 WordTagRelationExtractor.from_dict 会对每个配置项做如下加工(见 utils.py):
- 按
head_role分组,为每个头实体词类维护trigger(触发词 → 关系映射)、g_t_map(关系名 → 尾实体配置)、rel_group(关系名 → 反关系名)、trig_word(关系名 → 触发词集合); trig_type为role时,该触发词被标记为"尾实体触发",触发词本身即候选尾实体;- 若配置了
rel_group,则_schema[head_role]["rel_group"][group_name]被记录,供反向生成使用。
常见配置模式解读
- 并列候选尾实体(多组
tail_role):如 demo_config.json 中"出生于"同时允许<人物, 出生于, 时间>与<人物, 出生于, 地点>两种尾实体组合,main/support互为补充; - 反向配置(
reverse: true):如"出生于"同时配置了时间类_具体时间为头实体、reverse: true的条目,用于覆盖"1996年,他出生于上海"这类时间在前的句式; - 尾实体触发模式(
trig_type: "role"):如"性别"关系的触发词为"男""女",此时触发词本身即尾实体,无需再指定trig_direction(源码_trig_handler中会校验该触发词的词类是否命中main,见 utils.py)。
配置原则
编写配置时需要遵守两条核心原则:
-
头实体在前原则:文本中的头实体(
head_role)一定在尾实体(tail_role)的前面(即左边),可以通过配置反向标记(reverse)和反向关系名(rel_group)生成反关系。 -
两种触发模式:触发词触发(
trig_type为trigger)和尾实体触发(trig_type为tail),两者的触发方向(trig_direction)配置不同:- 触发词触发的方向约束:约束的是文本中尾实体在触发词的左边还是右边,默认是双向触发(
B),可以配置向左触发(L)或向右触发(R),以提升挖掘精度; - 尾实体触发无需配置方向:因为尾实体必然在头实体之后。
- 触发词触发的方向约束:约束的是文本中尾实体在触发词的左边还是右边,默认是双向触发(
实现原理
从词类收拢到关系枚举
使用 WordTag 的标注结果,相当于已实现将无限的词收拢到了有限的词类体系中,而待抽取的关系,则变成了仅发生在词类与词类之间,便可以枚举出来。例如,人物类_实体与作品类_实体之间的关系可以是"创作",而"创作"的触发词(如作词、作曲、演唱、执导、出演等)或触发 pattern,则可以通过知识库枚举得到,如此,便实现了灵活配置。
基于"意合"与词序的单向搜索
接下来的问题是:如何从序列解析结果中得到关系三元组数据?解决思路依旧来自中文语言学成果:中文更偏孤立语,注重意合,依靠词序和词之间的意义联系成句,词性、句法特征弱。因此在解析时,可以尝试摒弃句法特征,只从次序上下手。只要覆盖好 SPO 的几种常用表达顺序,单向搜索即可覆盖大部分简单句。
例如,对于 <张艺谋,创作,十面埋伏> 这一 SPO 三元组,常用表达顺序有如下几种:
- S-P-O:张艺谋执导了《十面埋伏》。
- S-O-P:张艺谋是《十面埋伏》的导演。
- O-S-P:《十面埋伏》是张艺谋执导的电影。
- O-P-S:《十面埋伏》的导演是张艺谋。
然而,这种模式仍然过于复杂,如遇到多组 SPO 关系并存的文本,如果要完全照顾到这四种表达顺序,则很容易发生混乱,难以得到严格对应的三元组。所以,WordTag-IE 设计了互反关系的概念,即头实体和尾实体对调后,对应的反向关系。例如三元组 <张艺谋,创作,十面埋伏>,则存在一个反向三元组 <十面埋伏,创作者,张艺谋>。那么,当我们找到一个头实体之后,只需要考虑它之后的部分(即 S-P-O 和 S-O-P 两种表达顺序)就行了。
另外,规范表达中,关系触发和尾实体一定出现在同一个短语中,所以触发关系之后,寻找尾实体的过程中,仅搜索与触发在同一个短语中的实体及相关元素。
extract_spo 抽取流水线
上述思想在 WordTagRelationExtractor.extract_spo 中落地(见 utils.py),主要步骤如下:
- 遍历所有词条作为头实体候选:优先精确匹配
wordtag_label(如作品类_实体),未命中时退化到主类匹配(如组织机构类匹配组织机构类_企事业单位)。此外,源码会将形如%Y年%m月%d日的词条强制归一为时间类_具体时间; - 从头实体之后单向搜索触发词:
_trig_handler判断当前词是否为触发词,并区分"尾实体触发"(trig_t)与"关系触发词"(trig_g)两种情形; - 尾实体触发模式:直接以触发词为尾实体起点,通过
_search_jux向后续词条扩展并列项,_find_supp在头实体与触发词之间补充support词类,输出SRC: "TAIL"的关系; - 触发词模式:先记录触发词及其并列触发词(如"作词、作曲并演唱"),随后先向右调用
_find_tail在触发词之后搜索尾实体(SRC: "HGT"),若右侧无果则再向左在头实体与触发词之间倒序搜索(SRC: "HTG"),搜索范围严格限定在同一短语内——遇到标点或新的同类头实体即终止; - 反向生成:若配置了
rel_group或reverse: true,调用_reverse将头尾对调并打上SRC: "REVERSE"标记,从而一条配置同时产出正向与反向两条关系。
**并列关系(Juxtaposition)**是另一个值得一提的细节:_chain_items = {"和", "与", "兼", "及", "以及", "还有", "并"} 连同顿号、空格、书名号、斜杠等被识别为并列连接成分(见 utils.py 的 _judge_jux / _search_jux),因此"作词、作曲并演唱"这类多重触发词、以及"北京和上海"这类并列尾实体都能被完整捕获并聚合到同一条 TAIL_ROLE / TRIG 列表中。
后续计划
- 实现基于语义结构的抽取,覆盖复杂句式。
当前实现聚焦于简单句式的规则覆盖,复杂句式(如多从句嵌套、跨短语关系)是后续演进方向。
在论文中引用 WordTag-IE
如果您的工作成果中使用了 WordTag-IE,请增加下述引用:
@article{qin2022WordTag-IE,
title={WordTag-IE: a Rule-based Tool for Chinese Information Extraction},
author={Qin, Huapeng and Zhao, Min and Tang, Wei},
technical report={Baidu, Inc. TR:2022-KG-WordTag-IE},
year={2022}
}
问题与反馈
WordTag-IE 在持续优化中,如果您有任何建议或问题,欢迎提交 issue 到仓库。相关资源还可进一步参考:
- 通用配置示例:demo_config.json
- 抽取器核心实现:WordTagRelationExtractor
- Taskflow 任务入口与
with_ie/set_schema实现:knowledge_mining.py - WordTag 词类标注工具说明:wordtag README