PaddleNLP 解语(Text to Knowledge)实战指南:TermTree 知识树、WordTag/NPTag 知识标注与规则信息抽取全解析
PaddleNLP 解语(Text to Knowledge)实战指南:TermTree 知识树、WordTag/NPTag 知识标注与规则信息抽取全解析
导读:本文围绕 PaddleNLP 开源仓库中的 解语(Text to Knowledge) 完整方案展开,系统讲解其三大核心构成——覆盖中文全词类的百科知识树(TermTree)、以 WordTag / NPTag / ERNIE-CTM 为代表的中文知识标注工具集,以及基于词类知识实现规则信息抽取的 WordTag-IE。读完本文,你将掌握解语在文本挖掘模板生成、词类知识增强、知识图谱 term-linking、样本优化四大场景下的应用方法,并能在 PaddleNLP 中通过 Taskflow 一行式调用、自行定制 TermTree、增量训练知识标注模型,最终完成一套可落地的中文文本解析与知识挖掘方案。
解语(Text to Knowledge)是首个覆盖中文全词类的知识库(百科知识树)及知识标注与挖掘框架,拥有可描述所有中文词汇的词类体系、中文知识标注工具集,以及更适用于中文挖掘任务的预训练语言模型。它经过大规模工业应用验证,适合通用领域中文文本理解任务,能够帮助开发者面向更多元的应用场景,方便地融合自有知识体系,显著提升中文文本解析与挖掘效果。
解语由以下三部分构成:
- 百科知识树(TermTree):包括能够描述所有中文词汇的 TermType 词类体系,以及 Term 关系和属性值,详见 termtree 文档;
- 中文知识标注工具集:包括词类知识标注工具(WordTag)、名词短语标注工具(NPTag)和适用于中文文本挖掘的预训练语言模型(ERNIE-CTM),为中文文本解析提供词类序列标注框架,结合百科知识树可实现定制化词类序列标注;
- 中文知识挖掘方案:包括知识模板挖掘工具(WordTag-IE),旨在提供灵活可配置、可快速定制的中文知识挖掘方案。
本次开源试用版包括:百科知识树(TermTree)V1.0 试用版(简化版 TermType 词类体系 + 约 100 万 term 集)、中文词类知识标注工具(WordTag)V1.0 版、名词短语标注工具(NPTag)V1.0 版、中文预训练语言模型(ERNIE-CTM)V1.0 版。所有相关实现与示例代码均位于仓库 slm/examples/text_to_knowledge 目录下。
解语的应用场景总览
解语可直接用于各类中文文本解析与挖掘任务,提升解析与挖掘精度;也可以作为中文文本特征生成器,为各类机器学习模型提供文本特征。其中,WordTag 整合了传统中文解析的分词、词性标注、命名实体识别能力,能够将任意中文句子解析为完整的词类序列;结合 TermTree,可为应用提供一套通用的知识关联(term-linking)框架,方便应用适配关联自己的知识图谱。
下面四个应用场景(A/B/C/D)来自解语主文档,是理解整个框架价值的关键。
应用场景 A:文本挖掘 / 解析模板生成与匹配
虽然深度学习模型尤其是预训练语言模型的广泛使用大幅提升了各项中文 NLP 任务效果,但在实际工业应用中,单独使用深度学习模型往往达不到应用需求,还需要结合规则模型提升精度并解决恶劣 case,如知识图谱构建、query 解析、语义一致性判定等。文本挖掘/解析模板正是这些场景中最常用的规则模型。
WordTag 包含覆盖中文所有词汇的词类标注体系,在生成模板以及模板匹配上有着天然优势:用户可以根据 WordTag 标注的样本词类序列,自动生成或配置更丰富、精准的挖掘/解析模板,再对目标文本使用 WordTag 标注,即可利用模板进行匹配,从而大幅降低人工配置模板的代价。
例如输入文本 美人鱼是周星驰执导的电影,WordTag 预测结果如下:
{
"text": "美人鱼是周星驰执导的电影",
"items": [
{"item": "美人鱼", "offset": 0, "wordtag_label": "作品类_实体", "length": 3, "termid": "作品与出版物_eb_美人鱼"},
{"item": "是", "offset": 3, "wordtag_label": "肯定词", "length": 1, "termid": "肯定否定词_cb_是"},
{"item": "周星驰", "offset": 4, "wordtag_label": "人物类_实体", "length": 3, "termid": "人物_eb_周星驰"},
{"item": "执导", "offset": 7, "wordtag_label": "场景事件", "length": 2, "termid": "场景事件_cb_执导"},
{"item": "的", "offset": 9, "wordtag_label": "助词", "length": 1, "termid": "助词_cb_的"},
{"item": "电影", "offset": 10, "wordtag_label": "作品类_概念", "length": 2, "termid": "影视作品_cb_电影"}
]
}
将标注结果中的词类序列取出,去除虚词、标点等与语义无关的词,即可直接构造挖掘匹配模板:
[作品类_实体][肯定词|是][人物类_实体][场景事件|执导][作品类_概念|电影]
利用该模板,并结合 TermTree 进行概念扩展,可以匹配出所有该句式的文本,例如:
《狂人日记》是鲁迅创作的第一个短篇白话日记体小说
《澳门风云》是王晶创作执导的合家欢贺岁喜剧赌片
《千王之王2000》是一部王晶于1999年执导的喜剧电影
《射雕英雄传》是金庸创作的长篇武侠小说
WordTag 的标注结果区分了“人物类_实体”和“人物类_概念”、“作品类_实体”和“作品类_概念”,使模板生成更为精准。同时,TermTree 中区分了命名实体词(eb:entity base)与非实体词(cb:concept base),可以利用 TermTree 分别进行实体扩展(如 周星驰 → 王晶)和概念扩展(如 电影 → 小说),生成更加丰富多样的模板,支持更细化的应用场景。
应用场景 B:词类知识增强的深度学习模型
词类特征是一类重要的文本特征,可为原始文本 token 提供有效的边界信息、归组信息,减少样本中的噪音,防止模型过拟合;还可作为层次泛化特征,弥补统计共现特征的不足。
在深度学习模型应用中,有两种典型融合方式:
- 将 WordTag 产出的词类作为 embedding 特征,直接叠加到文本 token 上,作为深度学习模型的输入;
- 在 BERT 等模型中,将词类作为文本序列中的一部分,利用 position id 和可见性矩阵控制 token 与词类特征之间的可见性,作为深度学习模型的输入。
应用场景 C:知识图谱关联(term-linking)
文本与图谱知识结合的前提是将图谱中的实体准确 link 到文本上,这是知识图谱应用的一大难点。现有的方案多是基于某个特定图谱实现的,缺乏通用的图谱关联解决方案。解语尝试使用“WordTag + TermTree”提供一套通用的图谱关联(term-linking)技术框架。
NOTE:为了避免歧义,解语用 term 统一指代图谱收录的各类实体、概念、术语。
为了适配应用中的不同实体集(例如不同的企业有不同的人物实体集合,不同的小说站有不同的小说实体集合),term-linking 被拆分为两个步骤:
- 第一步(基于词类的 linking):主要解决“同名概念词/实体词”、“不同类的同名词”消歧问题。这一步只使用文本本身特征和词类特征,不使用图谱中的实体属性值(SPO)知识,从而支持切换不同应用图谱;
- 第二步(同类同名实体词的 linking):主要解决同类下不同属性值的实体消歧问题,需要使用实体词的 SPO 知识(一般用于实体特征表示计算,以及文本-实体相似度计算)。
“WordTag + TermTree”的开源版提供了第一步的解决示例;第二步由于依赖特定图谱的 SPO 知识,暂无法提供通用工具,未来可能提供通用解决方案。
应用场景 D:文本分类和文本挖掘样本优化
工业 NLP 应用中文本分类、文本挖掘是最常见的任务。虽然预训练语言模型大幅提升了小样本学习的效果,但要达到理想的工业应用效果,仍需要大规模高精度监督训练样本。人工标注可以产出高精度小规模样本,半监督学习可以快速扩充样本规模但无法保证样本精度。此时可以使用“WordTag + TermTree”辅助筛选和修正样本,例如:
- 使用 WordTag 产出样本模板,再利用 TermTree 进行泛化约束,筛选出高置信度样本,或过滤不合格样本;
- 利用词类关系检测类别与样本的一致性,例如医疗类文本与“疾病损伤、药物、医疗卫生机构”等词类相关,可以利用 TermTree 知识筛选出该类别高置信度样本。
此外,统计模型容易拟合高频 term 导致在低频 term 上泛化效果差,此时可利用 TermTree 筛选样本、提升样本平衡性,从而提升模型泛化能力。
百科知识树(TermTree)
TermTree(百科知识树)是一个描述所有中文词汇(包括概念、实体/专名、领域术语、语法词等,统一称之为 Term)的树状知识库,完整的 TermTree 由两部分构成:
I. TermType 词类体系:覆盖所有中文词汇词类的树状知识体系,是对中文词汇集合的一种全划分层次表示;
II. Term 关系和属性值:描述具体 Term 之间关系和 Term 属性值的网状图谱,用于整合各应用知识图谱。
本次发布的 TermTree V1.0 试用版是 TermTree 的一个常用子集:
A. 简化版 TermType 词类体系,由 160+ termtype(三层结构)和 7000+ subtype 构成;
B. 约 100 万 term 集(挂接在 TermType 词类体系下),包括大多数常用概念(src=cb,基础概念库,termtype 准确率为 98%)和一部分高频百科实体(src=eb,基础实体库,termtype 准确率为 95%);
开源版不包括 Term 关系和属性值,但给出了实体的百科词条链接,应用方可以利用百科链接整合其他知识图谱使用。
与其他常见应用知识图谱不同,TermTree 的核心是概念词而非专名实体词。因为在中文文本中,概念词的含义相对稳定,而专名实体词随应用变化(不同电商有不同的商品实体集、不同小说站有不同小说实体集),因此 TermTree 通过“提供常用概念集 + 可插拔的应用实体集/应用知识图谱”来支持不同的应用适配。
TermTree 字段说明
TermTree 数据中每个 term 节点的字段如下(来自 termtree 文档):
| 字段 | 说明 | 备注 |
|---|---|---|
| id | 【必有】唯一标识符 | 可基于 termid 生成 |
| term | 【必有】term 的名字 | |
| termid | 【必有】term 的 id(唯一),构造方式为 termtype_src_term |
采用显式构造 id 的方式,便于应用数据扩展和整合 |
| src | 【必有】term 的来源库,包括基础库 cb(concept base,基础概念库,收录常用词汇用语)和 eb(entity base,基础实体库,收录常见命名实体) |
cb、eb 的划分标准不同应用不一样,可根据需求调整;应用方也可以构造自己的应用库,与 cb、eb 整合使用 |
| termtype | 【必有】term 的主类别,详细描述参见 termtree_type.csv | 多上位的 term 会选择其中一个作为 termtype,其他上位作为 subtype,方便应用筛选 |
| subtype | 【非必须】term 的辅助类别或细分类别 | 如果应用特别关注某个 subtype,也可以将其升级为 termtype 使用(需要相应更新 termid 和 id) |
| subterms | 【非必须】用于描述同类同名的 term 集;若“termtype+src”下 term 只对应一个实例则 subterms 为空;若对应多个实例,则 subterms 记录这些实例,字段与 term 相同 | 不需要区分 subterm 的两种常见场景:1. 应用只需词类特征;2. 上下文信息不足,无法区分具体实例 |
| subterms_num | 【非必须】subterms 中的 subterm 数量 | 如果没有 subterm,则值为 0 |
| alias | 【非必须】term 的常用别名 | 通常为歧义小的别名 |
| alias_ext | 【非必须】term 的常用扩展别名,经常是 term 或 alias 的一个子片段,单独出现有其他含义,结合上下文可识别为别名 | 通常为歧义大的别名,便于应用筛选使用,例如“四维彩超”的 alias_ext 为“四维” |
| links | 【非必须】该 term 对应的其他 term 的 id,可以是本知识库中的 id,也可以是其他知识库 id | 如果是本知识库中的 id,则表示两者可以指代同一实体 |
TermTree 数据示例
示例 1:无 subterms 的 term
{
"id": "c472a6fe74eb2008c4e5b958a047eb5c",
"termid": "植物_cb_苹果",
"term": "苹果",
"src": "cb",
"termtype": "植物",
"subtype": [],
"subterms": [],
"subterms_num": 0,
"alias": ["苹果树"],
"alias_ext": [],
"links": [{"bdbkUrl": ["http://baike.baidu.com/item/%E8%8B%B9%E6%9E%9C/14822460"]}]
}
示例 2:有 subterms 的 term(“影视作品_eb_苹果”下有 3 个同名 subterm 实例)
{
"id": "824716062a4d74efc0897d676700a24e",
"termid": "影视作品_eb_苹果",
"term": "苹果",
"src": "eb",
"termtype": "影视作品",
"subtype": [],
"subterms": [
{"id": "9bb5b38dc50233b1ccd28d1c33c37605", "subtype": ["影视作品_cb_电影", "影视动漫作品_cb_剧情片"], "alias": [], "alias_ext": [], "links": [{"bdbkUrl": ["http://baike.baidu.com/item/%E8%8B%B9%E6%9E%9C/6011191"]}]},
{"id": "688dc07cc98f02cbd4d21e2700290590", "subtype": ["影视作品_cb_韩国电影"], "alias": [], "alias_ext": [], "links": [{"bdbkUrl": ["http://baike.baidu.com/item/%E8%8B%B9%E6%9E%9C/6011208"]}]},
{"id": "bbf4abe6ac412b181eac383333ca9fef", "subtype": ["影视作品_cb_剧情电影"], "alias": [], "alias_ext": [], "links": [{"bdbkUrl": ["http://baike.baidu.com/item/%E8%8B%B9%E6%9E%9C/6011176"]}]}
],
"subterms_num": 3,
"alias": [],
"alias_ext": [],
"links": []
}
这种 term/subterm 两层结构,一方面解决文本中信息不足无法区分具体实体时的标注问题,另一方面减少同名词汇的消歧计算代价(只需计算同类下的同名实体),有效解决概念词与实体词识别混淆的问题。
自定义 TermTree
termtree.py(源码见 termtree/termtree.py)中的 TermTree 类支持 TermTree 的加载、增加、保存操作;因为涉及数据结构整体性和一致性,暂不支持删除和修改操作。从源码看,add_term 会按 f"{term_type}_{base}_{term}" 构造 termid 并挂接到对应 termtype 节点,save 会同时导出 termtree_type.csv(三层类别 schema)与 termtree_data(term 数据文件)。
文件准备:首先下载已有的 TermTree V1.0 并解压:
wget https://kg-concept.bj.bcebos.com/TermTree/TermTree.V1.0.tar.gz && tar -zxvf TermTree.V1.0.tar.gz
加载并增加新 term:
from termtree import TermTree
# 加载百科知识树
termtree = TermTree.from_dir("termtree_type.csv", "TermTree.V1.0")
# 增加新term: 平原上的火焰
termtree.add_term(term="平原上的火焰",
base="eb",
term_type="影视作品")
# 保存修改, 执行后将在当前路径生成文件`termtree_data`,即新的自定义TermTree
termtree.save("./")
API 说明:add_term() 的参数如下:
term (str):待增加的 term 名称;base (str):term 属于概念词(cb)还是实体词(eb);term_type (str):term 的主类别;sub_type (Optional[List[str]], optional):term 的辅助类别或细分类别,非必选;sub_terms (Optional[List[str]], optional):用于描述同类同名的 term 集,非必选;alias (Optional[List[str]], optional):term 的常用别名,非必选;alias_ext (Optional[List[str]], optional):term 的常用扩展别名,非必选;data (Optional[Dict[str, Any]], optional):以 dict 形式构造该 term 节点,非必选。
自定义 Term-Linking
Taskflow 支持使用自定义 TermTree 实现自定义 Term-Linking。示例中“平原上的火焰”的 Term-Linking 结果为:作品类_实体(wordtag_label) -> 影视作品_eb_平原上的火焰(term_id)。
通过 task_path 定义用户自定义路径,文件组成如下:
custom_task_path/
├── termtree_type.csv
└── termtree_data
使用 Taskflow 加载自定义 TermTree 进行预测:
from paddlenlp import Taskflow
wordtag = Taskflow("knowledge_mining", task_path="./custom_task_path/")
wordtag("《平原上的火焰》是今年新上映的电影")
# [{'text': '《平原上的火焰》是今年新上映的电影', 'items': [{'item': '《', 'offset': 0, 'wordtag_label': 'w', 'length': 1}, {'item': '平原上的火焰', 'offset': 1, 'wordtag_label': '作品类_实体', 'length': 6, 'termid': '影视作品_eb_平原上的火焰'}, {'item': '》', 'offset': 7, 'wordtag_label': 'w', 'length': 1}, {'item': '是', 'offset': 8, 'wordtag_label': '肯定词', 'length': 1, 'termid': '肯定否定词_cb_是'}, {'item': '今年', 'offset': 9, 'wordtag_label': '时间类', 'length': 2, 'termid': '时间阶段_cb_今年'}, {'item': '新', 'offset': 11, 'wordtag_label': '修饰词', 'length': 1, 'termid': '修饰词_cb_新'}, {'item': '上映', 'offset': 12, 'wordtag_label': '场景事件', 'length': 2, 'termid': '场景事件_cb_上映'}, {'item': '的', 'offset': 14, 'wordtag_label': '助词', 'length': 1, 'termid': '助词_cb_的'}, {'item': '电影', 'offset': 15, 'wordtag_label': '作品类_概念', 'length': 2, 'termid': '影视作品_cb_电影'}]}]
常见问题
常见问题 1:为什么 TermTree 采用树状结构(Tree),而不是网状结构(Net/Graph)?
- 树结构是对知识空间的全划分,网状结构是对相关关系的描述和提炼。树结构更方便做到对词类体系的全面描述;
- 树结构适合概念层次的泛化推理,网状结构适合相关性的泛化推理。树结构的知识对统计相关知识有很好的互补作用,能够更好地弥补统计模型的不足;
- 两者可以结合表示和使用:Term 集合整体以树结构组织(TermType 词类体系),Term 间的关系用网状结构描述(Term 关系和属性值)。可以将 TermTree 视为中文词汇的层次描述框架,应用知识图谱可以基于 TermType 词类体系方便地整合到 TermTree。
常见问题 2:为什么 TermTree 叫做百科知识树?是否只能用于描述百科知识?
- 一方面,Term 可以泛指任意概念、实体/专名、领域术语、语法词等,用“百科”是为了表达 Term 的多样性,而不是限定 Term 的来源,Term 可以来自任意中文文本;
- 另一方面,各类别的词汇都可以在百科词条中找到样例,用“百科”也是表示对所有中文词汇词类的描述能力。
常见问题 3:中文词汇词类描述体系有很多,为什么采用这个体系?
- TermTree 的词类体系是在大规模工业应用实践(如百科文本解析挖掘、query 理解)中打磨出来的中文词类体系,在理论上可能不是一个完备体系,但很适合通用领域中文解析挖掘任务。
TermTree 特点与应用方式
TermTree 的特点包括:
- 将所有中文词汇(概念、实体/专名、领域术语、语法词)放在统一类别体系下表示,解决传统标注技术(词性标注、命名实体识别)下概念、实体、词性特征难以统一计算的问题;
- 以全面覆盖百科词条、搜索 query、新闻资讯中出现的中文词汇为目标,支持通用场景文本理解;应用可通过指定词表的 TermType 方便地整合到 TermTree,定制应用特化版;
- 尽可能收录常用概念词,并区分常用概念词(src=cb)和专名实体词(src=eb),解决专名实体与概念在计算中容易混淆的问题,例如“琴房(歌曲类实体)”VS“琴房(区域场所类概念)”、“甩掉(歌曲类实体)”VS“甩掉(场景事件类概念)”;
- 将同类同名实体拆分为 term 和 subterm 两层;
- 为重要概念/实体构建完整上位归类路径(TermTree V1.0 试用版暂不包括),例如:
甲型流感 → 流行性感冒 → 感冒 → 呼吸道感染 → 呼吸系统疾病 → 疾病损伤 → 生物疾病。
TermTree 的三种应用方式:
- 直接作为词表使用:利用 termtype 和 subtype 筛选应用所需的词表(停用词表、黑白名单、概念扩展词表等);
- 结合中文文本知识标注工具(WordTag 等)使用:用于文本词类特征生成、挖掘/解析 pattern 生成、样本构建和优化等;
- 整合应用知识图谱:为应用知识图谱提供通用词汇知识补充。
中文词类知识标注工具(WordTag)
WordTag 是首个能够覆盖所有中文词汇的词类知识标注工具,旨在为中文文本解析提供全面、丰富的知识标注结果,可以应用于模板(挖掘模板、解析模板)生成与匹配、知识挖掘(新词发现、关系挖掘)等任务中,也可以作为中文文本特征生成器,为各类机器学习模型提供文本特征。
WordTag 特点
- 覆盖所有中文词汇的词类体系,更丰富的知识标注结果:WordTag 使用的词类体系包括各类实体词与非实体词(概念、实体/专名、语法词等)。开源版对部分类目(如组织机构)做了更细类目划分识别(如医疗卫生机构、体育组织机构),对仅使用文本信息难以细分的类目(如人物类、作品类、品牌名等)不做更细粒度识别,用户可按需利用 TermTree 类别体系自行定制;
- 整合百科知识树链接结果,获得更丰富的标注知识:每个切分标注结果除词类标注外还整合了百科知识树的链接结果,可利用 subtype 获得更细的上位粒度,利用 term 的百科信息获得更丰富的知识;
- 可定制的词类序列标注框架:开源版标注使用的词类体系是在实践中对百科文本解析应用较好的一个版本。不同类型文本(如搜索 query、新闻资讯)的词类分布不同,用户可以利用 TermTree 定制自己的词类体系和训练样本,构建自己的 WordTag 应用版。例如可将自定义词表按 TermTree 字段定义后挂接到知识树上,即可使用自己的 Term 数据定制标注样本和标注任务。
模型结构与 Term-Linking 实现
WordTag 模型使用 ERNIE-CTM + CRF 训练而成,预测时使用 viterbi 解码(模型结构图见 wordtag/doc/img/wordtag_model.png)。
WordTag 提供从文本到百科知识树的链接方法(Term-Linking):只需将 term 词类体系与 TermTree 数据加载到工具中,即可在解析结果中得到 term-linking 结果。其两步拆分的理念与解语应用场景 C 一致:第一步基于词类做 linking(解决同名词消歧,支持切换不同图谱),第二步是同类同名实体词的 linking(依赖 SPO 知识,开源版暂不提供通用工具)。
WordTag 模型对所有的词预测到上位词类之后,会直接根据预测到的词类映射到 term 体系(映射表参见代码配置),查找相应 term 进行 link。用户也可定制 term-linking 策略:
- link 到自己定制的 term 词表:只需将 term 词表按照 TermTree 挂接好之后更换数据即可;
- 调整 WordTag 预测词类与 term 词表的映射关系(如增加自定义类别):在代码配置中直接调整映射表即可。
WordTag 类别标签集合
WordTag 共包含 91 种词性及专名类别标签,标签集合如下:
| 人物类_实体 | 组织机构类_军事组织机构_概念 | 文化类_制度政策协议 | 位置方位 | 术语类_医药学术语 | 信息资料_性别 | 否定词 |
| 人物类_概念 | 组织机构类_医疗卫生机构 | 文化类_姓氏与人名 | 世界地区类 | 术语类_生物体 | 链接地址 | 数量词 |
| 作品类_实体 | 组织机构类_医疗卫生机构_概念 | 生物类 | 世界地区类_国家 | 疾病损伤类 | 个性特征 | 数量词_序数词 |
| 作品类_概念 | 组织机构类_教育组织机构 | 生物类_植物 | 世界地区类_区划概念 | 疾病损伤类_植物病虫害 | 感官特征 | 数量词_单位数量词 |
| 组织机构类 | 组织机构类_教育组织机构_概念 | 生物类_动物 | 世界地区类_地理概念 | 宇宙类 | 场景事件 | 叹词 |
| 组织机构类_概念 | 物体类 | 品牌名 | 饮食类 | 事件类 | 介词 | 拟声词 |
| 组织机构类_企事业单位 | 物体类_概念 | 品牌名_品牌类型 | 饮食类_菜品 | 时间类 | 介词_方位介词 | 修饰词 |
| 组织机构类_企事业单位_概念 | 物体类_兵器 | 场所类 | 饮食类_饮品 | 时间类_特殊日 | 助词 | 修饰词_性质 |
| 组织机构类_国家机关 | 物体类_化学物质 | 场所类_概念 | 药物类 | 时间类_朝代 | 代词 | 修饰词_类型 |
| 组织机构类_国家机关_概念 | 其他角色类 | 场所类_交通场所 | 药物类_中药 | 时间类_具体时间 | 连词 | 修饰词_化 |
| 组织机构类_体育组织机构 | 文化类 | 场所类_交通场所_概念 | 术语类 | 时间类_时长 | 副词 | 外语单词 |
| 组织机构类_体育组织机构_概念 | 文化类_语言文字 | 场所类_网上场所 | 术语类_术语类型 | 词汇用语 | 疑问词 | 汉语拼音 |
| 组织机构类_军事组织机构 | 文化类_奖项赛事活动 | 场所类_网上场所_概念 | 术语类_符号指标类 | 信息资料 | 肯定词 | w(标点) |
Release Note:2022.06 新增 25 个细化词类,用于下游挖掘任务。
WordTag 示例代码
WordTag 模型提供文本到百科知识树的链接示例程序,可以对无标签数据启动模型预测。例如对下面两段文本进行知识树链接解析:
"《孤女》是2010年九州出版社出版的小说,作者是余兼羽。"
"热梅茶是一道以梅子为主要原料制作的茶饮"
执行下面的脚本即可快速获取上述两段文本的百科知识树链接结果:
from paddlenlp import Taskflow
wordtag = Taskflow("knowledge_mining", model="wordtag", linking=True)
wordtag(["热梅茶是一道以梅子为主要原料制作的茶饮",
"《孤女》是2010年九州出版社出版的小说,作者是余兼羽"])
# 支持直接输入单条文本
wordtag("热梅茶是一道以梅子为主要原料制作的茶饮")
预测结果示例(部分):
[{'text': '《孤女》是2010年九州出版社出版的小说,作者是余兼羽。', 'items': [
{'item': '《', 'offset': 0, 'wordtag_label': 'w', 'length': 1},
{'item': '孤女', 'offset': 1, 'wordtag_label': '作品类_实体', 'length': 2, 'termid': '小说_eb_孤女'},
{'item': '》', 'offset': 3, 'wordtag_label': 'w', 'length': 1},
{'item': '是', 'offset': 4, 'wordtag_label': '肯定词', 'length': 1, 'termid': '肯定否定词_cb_是'},
{'item': '2010年', 'offset': 5, 'wordtag_label': '时间类', 'length': 5, 'termid': '时间阶段_cb_2010年'},
{'item': '九州出版社', 'offset': 10, 'wordtag_label': '组织机构类', 'length': 5, 'termid': '组织机构_eb_九州出版社'},
{'item': '出版', 'offset': 15, 'wordtag_label': '场景事件', 'length': 2, 'termid': '场景事件_cb_出版'},
{'item': '的', 'offset': 17, 'wordtag_label': '助词', 'length': 1, 'termid': '助词_cb_的'},
{'item': '小说', 'offset': 18, 'wordtag_label': '作品类_概念', 'length': 2, 'termid': '小说_cb_小说'},
{'item': ',', 'offset': 20, 'wordtag_label': 'w', 'length': 1},
{'item': '作者', 'offset': 21, 'wordtag_label': '人物类_概念', 'length': 2, 'termid': '人物_cb_作者'},
{'item': '是', 'offset': 23, 'wordtag_label': '肯定词', 'length': 1, 'termid': '肯定否定词_cb_是'},
{'item': '余兼羽', 'offset': 24, 'wordtag_label': '人物类_实体', 'length': 3},
{'item': '。', 'offset': 27, 'wordtag_label': 'w', 'length': 1}]},
{'text': '热梅茶是一道以梅子为主要原料制作的茶饮', 'items': [
{'item': '热梅茶', 'offset': 0, 'wordtag_label': '饮食类_饮品', 'length': 3},
{'item': '是', 'offset': 3, 'wordtag_label': '肯定词', 'length': 1, 'termid': '肯定否定词_cb_是'},
{'item': '一道', 'offset': 4, 'wordtag_label': '数量词', 'length': 2},
{'item': '以', 'offset': 6, 'wordtag_label': '介词', 'length': 1, 'termid': '介词_cb_以'},
{'item': '梅子', 'offset': 7, 'wordtag_label': '饮食类', 'length': 2, 'termid': '饮食_cb_梅'},
{'item': '为', 'offset': 9, 'wordtag_label': '肯定词', 'length': 1, 'termid': '肯定否定词_cb_为'},
{'item': '主要原料', 'offset': 10, 'wordtag_label': '物体类', 'length': 4, 'termid': '物品_cb_主要原料'},
{'item': '制作', 'offset': 14, 'wordtag_label': '场景事件', 'length': 2, 'termid': '场景事件_cb_制作'},
{'item': '的', 'offset': 16, 'wordtag_label': '助词', 'length': 1, 'termid': '助词_cb_的'},
{'item': '茶饮', 'offset': 17, 'wordtag_label': '饮食类_饮品', 'length': 2, 'termid': '饮品_cb_茶饮'}]}]
同时提供了基于上述 Taskflow 的 python 执行脚本(见 wordtag/predict.py),执行方式如下:
python predict.py --max_seq_len 128 --batch_size 2
参数释义:
max_seq_len:最大句子长度,超过该长度将被截断(默认 128);batch_size:每个预测批次的样本数目(默认 32)。
从 predict.py 源码看,脚本内部实际是构造 Taskflow("knowledge_mining", model="wordtag", batch_size=..., max_seq_length=..., linking=True),device 支持 cpu/gpu/xpu 三选。
WordTag 进阶使用
- 自定义模型一键预测:用户可以使用自有数据对 WordTag 模型进行增量训练,然后使用 Taskflow 进行一键预测,参见 WordTag 增量训练示例;
- 自定义 Term-Linking:Taskflow 默认使用 TermTree V1.0 实现 Term-Linking,用户也可以基于自己的 TermTree 实现,参见 自定义 TermTree。
名词短语标注工具(NPTag)
NPTag 是首个能够覆盖所有中文名词性词汇及短语的细粒度知识标注工具,旨在解决 NLP 中名词性短语收录不足导致的 OOV(out-of-vocabulary,超出收录词表) 问题,可直接用于构造知识特征、辅助 NLP 任务。
NPTag 特点
- 包含 2000+ 细粒度类别,覆盖所有中文名词性短语的词类体系,对所有类目做了更细类目的识别(如注射剂、鱼类、博物馆等),且可以直接关联百科知识树;
- 可自由定制的分类框架:开源版标注使用的词类体系是在实践中对百科词条分类应用较好的一个版本,用户可以自由定制自己的词类体系和训练样本构建自己的 NPTag。例如按照自定义的类别构造训练样本,使用小学习率、短训练周期微调 NPTag 模型,即可获得定制版工具。
NPTag 模型介绍
NPTag 使用 ERNIE-CTM + prompt 训练而成,使用启发式搜索解码,保证分类结果都在标签体系之内。
finetune 任务:中文名词短语细粒度分类
微调任务提供一个中文名词短语标注任务,旨在对中文名词短语进行细粒度分类。代码结构如下(位于 nptag 目录):
nptag/
├── deploy # 部署
│ └── python
│ └── predict.py # python预测部署示例
├── data.py # 训练数据处理脚本
├── export_model.py # 模型导出脚本
├── metric.py # 模型效果验证指标脚本
├── predict.py # 预测脚本
├── README.md # 使用说明
├── train.py # 训练脚本
└── utils.py # 工具函数
数据准备:下载并解压示例数据集:
wget https://bj.bcebos.com/paddlenlp/paddlenlp/datasets/nptag_dataset.tar.gz && tar -zxvf nptag_dataset.tar.gz
解压之后:
data/
├── name_category_map.json # NPTag标签文件
├── dev.txt # 验证集
└── train.txt # 训练集
数据集 train.txt 和 dev.txt 格式示例(text VS label):
石竹 植物
杂链聚合物 化学物质
罗伯特·布雷森 人
标签文件 name_category_map.json 格式示例,key 为细粒度标签(NPTag 预测结果),value 为粗粒度标签(对应 WordTag 标签集合),用户可以根据场景需要自定义修改该标签映射:
{
"植物": "生物类_植物",
"化学物质": "物体类_化学物质",
"人": "人物类_实体"
}
模型训练:
python -m paddle.distributed.launch --gpus "0" train.py \
--batch_size 64 \
--learning_rate 1e-6 \
--num_train_epochs 3 \
--logging_steps 10 \
--save_steps 100 \
--output_dir ./output \
--device "gpu"
可支持配置的参数(来自 nptag README):
data_dir:数据集文件路径,默认数据集存放在当前目录 data 文件夹下;init_from_ckpt:模型参数路径,热启动模型训练,默认为 None;output_dir:模型保存路径,默认保存在当前目录 output 文件夹下;max_seq_len:模型使用的最大序列长度,默认为 64;learning_rate:finetune 的最大学习率,默认为 1e-6;num_train_epochs:训练轮数,默认为 3;logging_steps:日志打印步数间隔,默认为 10;save_steps:模型保存的步数间隔,默认为 100;batch_size:批处理大小,请结合显存情况调整,若显存不足请适当调低,默认为 64;weight_decay:控制正则项力度,用于防止过拟合,默认为 0.0;warmup_proportion:学习率 warmup 策略比例,如 0.1 表示学习率在前 10% 训练 step 中从 0 慢慢增长到 learning_rate 后再缓慢衰减,默认为 0.0;adam_epsilon:Adam 优化器的参数,避免分母为零,默认为 1e-8;seed:随机种子,默认为 1000;device:训练设备,可选 cpu 或 gpu,如使用 gpu 训练则参数 gpus 指定 GPU 卡号。
基于动态图的预测:
export CUDA_VISIBLE_DEVICES=0
python -m paddle.distributed.launch --gpus "0" predict.py \
--device=gpu \
--params_path ./output/model_100/model_state.pdparams
基于静态图的预测部署:使用动态图训练结束后,可以将动态图参数导出成静态图参数,从而获得最优的预测部署性能:
python export_model.py --params_path=./output/model_100/model_state.pdparams --output_path=./export
导出静态图模型之后,deploy/python/predict.py 脚本提供了 python 部署预测示例:
python deploy/python/predict.py --model_dir=./export
NPTag Taskflow 一键预测
除了 finetune 示例,Taskflow 内置了一个基于大规模标注汉语短语数据集训练的名词短语标注工具 NPTag,可直接完成对中文名词短语的一键预测:
from paddlenlp import Taskflow
nptag = Taskflow("knowledge_mining", model="nptag")
nptag("糖醋排骨")
'''
[{'text': '糖醋排骨', 'label': '菜品'}]
'''
nptag(["糖醋排骨", "红曲霉菌"])
'''
[{'text': '糖醋排骨', 'label': '菜品'}, {'text': '红曲霉菌', 'label': '微生物'}]
'''
# 输出粗粒度类别标签`category`,即WordTag的词汇标签。
nptag = Taskflow("knowledge_mining", model="nptag", linking=True)
nptag(["糖醋排骨", "红曲霉菌"])
'''
[{'text': '糖醋排骨', 'label': '菜品', 'category': '饮食类_菜品'}, {'text': '红曲霉菌', 'label': '微生物', 'category': '生物类_微生物'}]
'''
中文文本挖掘预训练模型(ERNIE-CTM)
ERNIE-CTM(ERNIE for Chinese Text Mining)是适用于中文文本挖掘任务的预训练语言模型,拥有更全面的汉字字表集合、更优的中文文本挖掘任务表现,并与 PaddleNLP 深度结合。
ERNIE-CTM 特点
- 全面的中文汉字字表扩充:字符集包含 2 万+汉字,以及中文常用符号(常用标点、汉语拼音、编号)、部分外语符号(假名、单位)等,大幅减少中文解析挖掘任务中 UNK(未识别字符)引发的标注问题;同时使用 embedding 分解,可以更灵活地扩充应用字表;
- 更适配中文文本挖掘任务:在每个表示后面添加了全局信息,在序列特征上叠加全局信息,在文本挖掘任务上有更强表现;
- 支持多种特征训练的模型结构:支持多种特征训练,用户可按照需求任意添加任务及对应特征训练模型,无需考虑任务之间的冲突所造成的灾难性遗忘。
模型结构
ERNIE-CTM 大体与 BERT 相同,都是双向 transformer 结构。区别在于,为灵活扩充字表,它采用了 ALBERT 的 embedding 分解,将 embedding 层分解为 128 维。参数列表如下:
| 模型 | embedding size | hidden size | hidden layers | vocab size |
|---|---|---|---|---|
| ERNIE-CTM-base | 128 | 768 | 12 | 23000 |
ERNIE-CTM 以字粒度建模,英文区分大小写,其输入表示如下:
其中 [CLS{n}] 是 ERNIE-CTM 预留出的全局观察位,n 从 0 开始计数,用于不同的训练任务建模不同的语义特征;在下游任务中可以结合使用,如使用 attention 筛选/融合特征。为在中途增减任务 token 时不影响文本输入,所有 [CLS{n}] 的位置编码均为 0,且可以使用可见性矩阵(visible matrix)控制 [CLS{n}] 位置的特征对其他位置及其他全局观察位的可见性,以获得更加灵活、独立的特征表示。本次开源的 ERNIE-CTM-base 使用两个全局观察位 [CLS0] 和 [CLS1]。
预训练任务
ERNIE-CTM 使用的预训练任务为掩码语言模型(MLM)及 ALBERT 所使用的句子顺序预测(Sentence Order Prediction,SOP):
[CLS0]用于训练 SOP 任务:正例为同一篇文章中的两个连续句子,负例为用一篇文章中两个连续句子的顺序翻转;[CLS1]作为全局监督信号应用于 MLM 任务:训练 MLM 前,将[CLS1]特征表示拼接在所有的序列表示之后,通过线性层融合成为最终的序列表示,再预测 MLM 任务。因此,ERNIE-CTM 最终输出的文本序列表示中都融合了[CLS1]的特征,带有全句特征,一定程度上避免序列中全局特征捕捉不足;同时[CLS1]的最终表示也充分融合了句子内容信息,弥补了 SOP 任务对文本主题信息捕捉不足的缺陷。
WordTag 增量训练
在 ERNIE-CTM 微调任务中提供了一个基于 WordTag 的百科知识标注任务,旨在解析中文词汇的知识标注。除了使用已有 WordTag 工具对通用中文文本进行词类知识标注,WordTag 同样支持用户使用自己的数据进行增量训练,代码结构如下(位于 ernie-ctm 目录):
wordtag/
├── data.py # 训练数据处理脚本
├── metric.py # 模型效果验证指标脚本
├── predict.py # 预测脚本
├── README.md # 使用说明
├── train.py # 训练脚本
└── utils.py # 工具函数
数据准备:下载并解压示例数据集:
wget https://bj.bcebos.com/paddlenlp/datasets/wordtag_dataset_v3.tar.gz && tar -zxvf wordtag_dataset_v3.tar.gz
解压之后:
data/
├── dev.txt # 验证集
├── tags.txt # WordTag标签集合
└── train.json # 训练数据
训练样本示例如下,每个单词以 /type 形式标记其词性或实体类别,单词之间使用空格作为切分标记:
砚台/物体类 与/连词 笔/物体类 、/w 墨/物体类 、/w 纸/物体类 是/肯定词 中国/世界地区类 传统/修饰词 的/助词 文房四宝/词汇用语 。/w
《/w 全球化与中国:理论与发展趋势/作品类_实体 》/w 是/肯定词 2010年/时间类 经济管理出版社/组织机构类 出版/场景事件 的/助词 图书/作品类_概念 ,/w 作者/人物类_概念 是/肯定词 余永定/人物类_实体 、/w 路爱国/人物类_实体 、/w 高海红/人物类_实体 。/w
模型训练:
python -m paddle.distributed.launch --gpus "0" train.py \
--max_seq_len 128 \
--batch_size 32 \
--learning_rate 5e-5 \
--num_train_epochs 3 \
--logging_steps 10 \
--save_steps 100 \
--output_dir ./output \
--device "gpu"
参数释义:
max_seq_length:最大句子长度,超过该长度将被截断;batch_size:每次迭代每张卡上的样本数目;learning_rate:基础学习率大小,将与 learning rate scheduler 产生的值相乘作为当前学习率;num_train_epochs:训练轮数;logging_steps:日志打印间隔;save_steps:模型保存及评估间隔;output_dir:模型保存路径;device:训练设备,gpu表示 GPU,xpu表示百度昆仑卡,cpu表示 CPU。
模型预测:
export CUDA_VISIBLE_DEVICES=0
python -m paddle.distributed.launch --gpus "0" predict.py \
--params_path ./output/model_300/model_state.pdparams \
--batch_size 32 \
--device "gpu"
自定义模型一键预测
Taskflow 支持加载增量训练后的模型进行一键预测,通过 task_path 定义用户自定义路径即可。文件组成:
custom_task_path/
├── model_state.pdparams
├── model_config.json
└── tags.txt
from paddlenlp import Taskflow
my_wordtag = Taskflow("knowledge_mining", task_path="./custom_task_path/")
my_wordtag("美人鱼是周星驰执导的一部电影")
# [{'text': '美人鱼是周星驰执导的一部电影', 'items': [{'item': '美人鱼', 'offset': 0, 'wordtag_label': '作品类_实体', 'length': 3, 'termid': '作品与出版物_eb_美人鱼'}, {'item': '是', 'offset': 3, 'wordtag_label': '肯定词', 'length': 1, 'termid': '肯定否定词_cb_是'}, {'item': '周星驰', 'offset': 4, 'wordtag_label': '人物类_实体', 'length': 3, 'termid': '人物_eb_周星驰'}, {'item': '执导', 'offset': 7, 'wordtag_label': '场景事件', 'length': 2, 'termid': '场景事件_cb_执导'}, {'item': '的', 'offset': 9, 'wordtag_label': '助词', 'length': 1, 'termid': '助词_cb_的'}, {'item': '一部', 'offset': 10, 'wordtag_label': '数量词', 'length': 2}, {'item': '电影', 'offset': 12, 'wordtag_label': '作品类_概念', 'length': 2, 'termid': '影视作品_cb_电影'}]}]
中文知识挖掘方案:WordTag-IE(基于中文词类知识的规则信息抽取工具)
WordTag-IE 是在 WordTag 标注结果之上实现的信息抽取工具,旨在提供一个灵活、可配置、能够精准全面覆盖简单句式的规则信息抽取工具。已提供通用配置可覆盖一些常见抽取句式,用户也可以根据提供的配置方法完成自己的配置,应用于自己的领域、专业文本。其产出数据可作为模型的训练样本,也可以直接当作挖掘结果使用。
特点
WordTag-IE 完全基于规则实现关系抽取,其配置完全基于 WordTag 的词类知识以及 TermTree 中的词表实现,实现了灵活、简单配置,且保证了产出数据的一致性——配置即时生效,无需重新训练。
使用示例
在 WordTag 任务基础上打开 with_ie 开关即可输出信息抽取结果,下面是使用 PaddleNLP Taskflow 使用 WordTag-IE 的示例:
>>> from paddlenlp import Taskflow
>>> wordtag_ie = Taskflow("knowledge_mining", with_ie=True)
>>> wordtag_ie('《忘了所有》是一首由王杰作词、作曲并演唱的歌曲,收录在专辑同名《忘了所有》中,由波丽佳音唱片于1996年08月31日发行。')
[[{'text': '《忘了所有》是一首由王杰作词、作曲并演唱的歌曲,收录在专辑同名《忘了所有》中,由波丽佳音唱片于1996年08月31日发行。', 'items': [...WordTag标注结果...]}], [[
{'HEAD_ROLE': {'item': '王杰', 'offset': 10, 'type': '人物类_实体'}, 'TAIL_ROLE': [{'item': '忘了所有', 'type': '作品类_实体', 'offset': 1}], 'GROUP': '创作', 'TRIG': [{'item': '作词', 'offset': 12}, {'item': '作曲', 'offset': 15}, {'item': '演唱', 'offset': 18}], 'SRC': 'REVERSE'},
{'HEAD_ROLE': {'item': '忘了所有', 'type': '作品类_实体', 'offset': 1}, 'TAIL_ROLE': [{'item': '王杰', 'offset': 10, 'type': '人物类_实体'}], 'GROUP': '创作者', 'SRC': 'HTG', 'TRIG': [{'item': '作词', 'offset': 12}, {'item': '作曲', 'offset': 15}, {'item': '演唱', 'offset': 18}]},
...
]]]
输出结构说明:每组关系包含 HEAD_ROLE(头实体)、TAIL_ROLE(尾实体列表)、GROUP(关系名)、TRIG(触发词)、SRC(抽取来源,如 REVERSE/HTG/HGT/TAIL)等字段。
同时可以通过 schema 配置相关关系类型,抽取自定义的关系组合:
>>> from pprint import pprint
>>> schema = [
{
"head_role": "作品类_实体", #头实体词类
"group": "创作者", #关系名
"tail_role": [
{
"main": [
"人物类_实体" #尾实体词类
],
"support": [] #相关词类,可作为该关系的补充,不可作为尾实体独立存在
}
],
"trig_word": [
"作词", #触发词,对于没有触发词,而是由头尾实体直接触发的关系,可为null
],
"trig_type": "trigger", #trigger表明由触发词触发,tail表明为尾实体触发
"reverse": False, #是否为反向配置,即尾实体实际是头,头实体实际是尾
"trig_direction": "B", #触发P的方向,表示在自然表达中,尾实体在触发词的哪一边,L为左,R为右,B为双向都有可能,默认为B
"rel_group": "创作" #对应的反关系,即头尾实体对调后对应的关系,用于逻辑推断
}]
>>> wordtag_ie.set_schema(schema)
>>> pprint(wordtag_ie('《忘了所有》是一首由王杰作词、作曲并演唱的歌曲,收录在专辑同名《忘了所有》中,由波丽佳音唱片于1996年08月31日发行。')[1])
[[{'GROUP': '创作',
'HEAD_ROLE': {'item': '王杰', 'offset': 10, 'type': '人物类_实体'},
'SRC': 'REVERSE',
'TAIL_ROLE': [{'item': '忘了所有', 'offset': 1, 'type': '作品类_实体'}],
'TRIG': [{'item': '作词', 'offset': 12}]},
{'GROUP': '创作者',
'HEAD_ROLE': {'item': '忘了所有', 'offset': 1, 'type': '作品类_实体'},
'SRC': 'HTG',
'TAIL_ROLE': [{'item': '王杰', 'offset': 10, 'type': '人物类_实体'}],
'TRIG': [{'item': '作词', 'offset': 12}]}]]
配置示例与配置原则
仓库提供了配置示例文件 demo_config.json,用户可以直接基于这个文件实现自己的配置。以“出版方”关系为例:
{
"head_role": "作品类_实体", //头实体词类
"group": "出版方", //关系名
"tail_role": [
{
"main": [
"组织机构类"
], //尾实体词类
"support": [
"时间类_具体时间"
] //相关词类,可作为该关系的补充,不可作为尾实体独立存在
}
], //尾实体配置
"trig_word": [
"出版"
], //触发词,对于没有触发词,而是由头尾实体直接触发的关系,可为null
"trig_direction": "L", //触发P的方向,表示在自然表达中,尾实体在触发词的哪一边,L为左,R为右,B为双向都有可能,默认为B
"trig_type": "trigger", //trigger表明由触发词触发,tail表明为尾实体触发
"reverse": false, //是否为反向配置,即尾实体实际是头,头实体实际是尾
"rel_group": "出版" //对应的反关系,即头尾实体对调后对应的关系,用于逻辑推断
}
配置原则:
- 文本中的头实体(head_role)一定在尾实体(tail_role)的前面(即左边),可以通过配置反向标记(reverse)和反向关系名(rel_group)生成反关系;
- 两种触发模式:触发词触发(trig_type 为 trigger)和尾实体触发(trig_type 为 tail),两者的触发方向(trig_direction)配置不同:
- 触发词的触发方向约束文本中尾实体在触发词的左边还是右边,默认双向触发(B),可配置向左(L)或向右(R)触发,以提升挖掘精度;
- 尾实体触发不用配置方向,因为必然在头实体之后。
实现方法
使用 WordTag 的标注结果,相当于已实现将无限的词收拢到了有限的词类体系中,待抽取的关系变成了仅发生在词类与词类之间,便可以枚举出来。例如 人物类_实体 与 作品类_实体 之间的关系可以是“创作”,而“创作”的触发词(作词、作曲、演唱、执导、出演等)或触发 pattern,则可以通过知识库枚举得到。
如何从序列解析结果中得到关系三元组?解语从中文语言学成果中寻找答案:中文更偏孤立语,注重意合,依靠词序和词之间的意义联系成句,词性、句法特征弱。因此解析时可以摒弃句法特征,只从次序上下手——只需要覆盖好 SPO 的几种常用表达顺序,单向搜索即可覆盖大部分简单句。例如 <张艺谋,创作,十面埋伏> 的常用表达顺序有:
- S-P-O:张艺谋执导了《十面埋伏》。
- S-O-P:张艺谋是《十面埋伏》的导演。
- O-S-P:《十面埋伏》是张艺谋执导的电影。
- O-P-S:《十面埋伏》的导演是张艺谋。
为应对多组 SPO 关系并存的复杂文本,解语设计了互反关系概念:头实体和尾实体对调后对应的反向关系(如 <张艺谋,创作,十面埋伏> 存在反向三元组 <十面埋伏,创作者,张艺谋>)。找到头实体后只需考虑其之后的部分(即 S-P-O 和 S-O-P 两种顺序)。另外,规范表达中关系触发和尾实体一定在同一个短语中出现,所以触发关系之后,寻找尾实体的过程中仅搜索与触发在同一个短语中的实体及相关元素。
后续计划
- 发布百科知识树(TermTree)正式版数据,建立知识共建社区,支持用户提交应用词表/应用图谱及定制化 TermTree;
- 持续优化 ERNIE-CTM 预训练模型,支持多种参数规模模型发布,探索更适配中文解析挖掘任务的预训练模型;
- 持续优化中文文本知识标注工具集,提供更精准的知识标注服务;发布多粒度标注工具,支持更丰富的应用场景;
- WordTag-IE 后续计划实现基于语义结构的抽取,覆盖复杂句式。
在论文中引用解语
如果您的工作成果中使用了解语,请增加下述引用:
@article{zhao2020TermTree,
title={TermTree and Knowledge Annotation Framework for Chinese Language Understanding},
author={Zhao, Min and Qin, Huapeng and Zhang, Guoxin and Lyu, Yajuan and Zhu, Yong},
technical report={Baidu, Inc. TR:2020-KG-TermTree},
year={2020}
}
若使用了 WordTag-IE,可引用:
@article{qin2022WordTag-IE,
title={WordTag-IE: a Rule-based Tool for Chinese Information Extraction},
author={Qin, Huapeng and Zhao, Min and Tang, Wei},
technical report={Baidu, Inc. TR:2022-KG-WordTag-IE},
year={2022}
}
问题与反馈
解语在持续优化中,如果您有任何建议或问题,欢迎在仓库提交 issue。相关组件的详细文档、训练脚本与源码均可在仓库中查阅:termtree、wordtag、nptag、ernie-ctm、wordtag-ie;Taskflow 的一键预测实现可参考 paddlenlp/taskflow/knowledge_mining.py。



