OpenMed-PII-German-BiomedELECTRA-Base-110M-v1 PII实体类型完整清单:54类个人信息检测能力逐项解析
OpenMed-PII-German-BiomedELECTRA-Base-110M-v1 PII实体类型完整清单:54类个人信息检测能力逐项解析
OpenMed-PII-German-BiomedELECTRA-Base-110M-v1 是一个专为德语文本 PII(Personally Identifiable Information,个人身份信息)检测训练的开源模型,能够识别并分类54类个人信息实体——从姓名、出生日期,到 IBAN 银行账号、GPS 坐标、医保号等。本文逐项解析这 54 类实体的含义与各自的检测精度,帮你判断它是否满足你的脱敏与合规需求。
一、模型速览:它是什么、表现如何?🔍
该模型基于医疗领域预训练的 BiomedELECTRA-base(110M 参数)微调而来,采用 token 级分类(NER)方式工作:对每个词元打标签,再聚合出完整的实体片段。核心文件 config.json 中完整定义了全部标签体系。
在 AI4Privacy 德语测试集上的官方指标(数据来自 all_results.json 与 classification_report.txt):
| 指标 | 数值 | 含义 |
|---|---|---|
| Micro F1 | 91.79% | 整体检测效果,主指标 |
| Precision | 91.10% | 报出的实体中有多少是对的(误报少) |
| Recall | 92.50% | 真实实体中有多少被找出来(漏报少) |
| Macro F1 | 89.56% | 各类别平等平均,反映小类表现 |
| Accuracy | 98.71% | 词元级准确率 |
💡 对于 110M 参数级别的小模型,91.79% 的 F1 已可胜任生产级批量脱敏;但具体到每一类实体,表现差异很大——这正是下文逐项解析的重点。
二、54类实体总览:7大类别一图看懂
模型支持的 54 类 PII 实体按业务属性分为 7 大类(分类依据见 README.md 的 Supported Entity Types 章节):
| 类别 | 数量 | 典型场景 |
|---|---|---|
| 标识符类 Identifiers | 22 | 账号、卡号、密码、社保号、设备号 |
| 个人信息类 Personal Info | 11 | 姓名、年龄、性别、职业 |
| 联系方式类 Contact Info | 2 | 邮箱、电话 |
| 地址位置类 Location | 9 | 街道、邮编、城市、GPS 坐标 |
| 组织机构类 Organization | 3 | 机构、职位、部门 |
| 财务金额类 Financial | 5 | 金额、币种、货币符号 |
| 时间日期类 Temporal | 2 | 日期、时间 |
下面按类别逐项解析,Test F1 列为该类在测试集上的实测得分,可直接作为"该类型可信任程度"的参考。
1️⃣ 标识符类 Identifiers(22 类)——覆盖面最广的一类
| 实体类型 | 中文含义 | Test F1 |
|---|---|---|
ACCOUNTNAME |
账户名 | 1.00 ✅ |
BANKACCOUNT |
银行账号 | 0.99 ✅ |
BIC |
银行识别码(SWIFT/BIC) | 0.82 |
BITCOINADDRESS |
比特币地址 | 0.96 ✅ |
CREDITCARD |
信用卡号 | 0.73 ⚠️ |
CREDITCARDISSUER |
信用卡发卡行 | 0.97 ✅ |
CVV |
信用卡安全码 | 0.94 ✅ |
ETHEREUMADDRESS |
以太坊地址 | 1.00 ✅ |
IBAN |
国际银行账号 | 0.98 ✅ |
IMEI |
设备 IMEI 号 | 1.00 ✅ |
IPADDRESS |
IP 地址 | 1.00 ✅ |
LITECOINADDRESS |
莱特币地址 | 0.80 |
MACADDRESS |
MAC 地址 | 1.00 ✅ |
MASKEDNUMBER |
掩码号码(部分隐去) | 0.25 ⚠️ |
PASSWORD |
密码 | 0.96 ✅ |
PIN |
个人识别码(PIN) | 0.89 |
SSN |
社保号(Social Security Number) | 1.00 ✅ |
URL |
网址链接 | 1.00 ✅ |
USERAGENT |
User-Agent 浏览器指纹 | 1.00 ✅ |
USERNAME |
用户名 | 0.98 ✅ |
VIN |
车辆识别代号 | 0.97 ✅ |
VRM |
车辆注册编号 | 0.99 ✅ |
💰 亮点:欧洲场景下最敏感的 IBAN、BIC、SSN 均表现优秀;加密货币地址(BTC/ETH/LTC)三类全部支持,是同类 PII 模型中较少见的覆盖。
2️⃣ 个人信息类 Personal Info(11 类)——姓名与基本属性
| 实体类型 | 中文含义 | Test F1 |
|---|---|---|
AGE |
年龄 | 0.97 ✅ |
DATEOFBIRTH |
出生日期 | 0.42 ⚠️ |
EYECOLOR |
眼睛颜色 | 0.98 ✅ |
FIRSTNAME |
名(First Name) | 0.91 ✅ |
GENDER |
性别(表述词) | 0.99 ✅ |
HEIGHT |
身高 | 0.96 ✅ |
LASTNAME |
姓(Last Name) | 0.87 |
MIDDLENAME |
中间名 | 0.81 |
OCCUPATION |
职业 | 0.98 ✅ |
PREFIX |
称谓前缀(Herr/Frau 等) | 0.94 ✅ |
SEX |
生理性别 | 1.00 ✅ |
👀 德语姓名结构复杂(多段名、复合姓),FIRSTNAME(0.91)与 LASTNAME(0.87)整体可用,但涉及合规审计时建议保留人工复核环节。
3️⃣ 联系方式类 Contact Info(2 类)——全模型最强项
| 实体类型 | 中文含义 | Test F1 |
|---|---|---|
EMAIL |
电子邮箱 | 1.00 ✅ |
PHONE |
电话号码 | 0.99 ✅ |
两类均接近满分。德语电话号格式(如 0171 234 5678)识别稳定,是医疗文本脱敏中最常见的目标。
4️⃣ 地址位置类 Location(9 类)——地址拆解最细
| 实体类型 | 中文含义 | Test F1 |
|---|---|---|
BUILDINGNUMBER |
门牌/建筑编号 | 0.89 |
CITY |
城市 | 0.86 |
COUNTY |
县(Kreis) | 0.94 ✅ |
GPSCOORDINATES |
GPS 坐标 | 1.00 ✅ |
ORDINALDIRECTION |
方位词(北/南/东/西) | 1.00 ✅ |
SECONDARYADDRESS |
次级地址(公寓号等) | 0.99 ✅ |
STATE |
州/省 | 0.88 |
STREET |
街道名 | 0.92 ✅ |
ZIPCODE |
邮政编码 | 0.93 ✅ |
📍 值得注意:模型不只识别"整条地址",而是把街道、门牌、邮编、方位词逐段拆开标注,便于按粒度选择脱敏策略(例如只隐去门牌号、保留城市)。
5️⃣ 组织机构类 Organization(3 类)
| 实体类型 | 中文含义 | Test F1 |
|---|---|---|
JOBDEPARTMENT |
工作部门 | 0.98 ✅ |
JOBTITLE |
职位名称 | 1.00 ✅ |
ORGANIZATION |
机构/组织名称 | 0.96 ✅ |
6️⃣ 财务金额类 Financial(5 类)——内部区分度差异最大
| 实体类型 | 中文含义 | Test F1 |
|---|---|---|
AMOUNT |
金额数值 | 0.95 ✅ |
CURRENCY |
币种(泛称) | 0.75 ⚠️ |
CURRENCYCODE |
货币代码(ISO 4217,如 EUR) | 0.60 ⚠️ |
CURRENCYNAME |
货币名称(如 Euro) | 0.00 ⚠️ |
CURRENCYSYMBOL |
货币符号(€/$) | 0.93 ✅ |
⚠️ 这一类是 54 类中短板集中区:CURRENCYNAME 与 CURRENCY、CURRENCYCODE 三者语义高度重叠,德语医疗文本中又少见独立出现的币种名,导致边界混淆。如果业务上只需脱敏"钱",合并处理 AMOUNT + CURRENCYSYMBOL 即可覆盖绝大多数场景。
7️⃣ 时间日期类 Temporal(2 类)
| 实体类型 | 中文含义 | Test F1 |
|---|---|---|
DATE |
日期 | 0.73 ⚠️ |
TIME |
时间 | 0.95 ✅ |
德语日期写法多变(15.03.1985、15. März 1985),DATE 类召回尚可(0.89)但精确率偏低(0.62),容易与年龄、就诊时间混淆;DATEOFBIRTH(见个人信息类)则是全清单最弱项之一,用于脱敏时建议配合正则兜底。
三、强项与弱项:一份实用的"信任分级"📊
汇总 54 类实测 F1,可粗略分为三档:
- ✅ 放心用(F1 ≥ 0.95,共 20 类):
EMAIL、IMEI、SSN、IPADDRESS、URL、USERAGENT、JOBTITLE、SEX、GPSCOORDINATES、MACADDRESS、ETHEREUMADDRESS、ACCOUNTNAME、BANKACCOUNT、IBAN、BITCOINADDRESS、CREDITCARDISSUER、PHONE、GENDER、OCCUPATION、OCCUPATION、PASSWORD、VRM、VIN等 - ⚠️ 可用但需抽查(0.70 ≤ F1 < 0.95,共 21 类):如
CITY、STREET、LASTNAME、DATE、PIN、CREDITCARD - 🔴 建议人工复核(F1 < 0.70,共 5 类):
CURRENCYNAME(0.00)、MASKEDNUMBER(0.25)、DATEOFBIRTH(0.42)、CURRENCYCODE(0.60)、BIC(0.82) 之外的LITECOINADDRESS(0.80)、MIDDLENAME(0.81)
四、快速上手:三步跑通德语 PII 检测 🚀
通过 Hugging Face Transformers 即可加载,完整示例见 README.md 的 Usage 章节。最简流程:
from transformers import pipeline
ner = pipeline("ner",
model="OpenMed/OpenMed-PII-German-BiomedELECTRA-Base-110M-v1",
aggregation_strategy="simple")
text = "Dr. Hans Müller, SVN: 12 150385 M 123, hans.mueller@krankenhaus.de"
for e in ner(text):
print(e["entity_group"], e["word"])
# SSN 12 150385 M 123
# EMAIL hans.mueller@krankenhaus.de
输出每个实体的类型标签与置信度,配合简单的字符串替换即可完成去标识化(de-identification):将检出片段替换为 [SSN]、[EMAIL] 等占位符,满足 GDPR 合规对病历、文档的自动化脱敏要求。
五、标签体系与文件导航:去哪里查什么
| 文件 | 内容 |
|---|---|
| README.md | 模型说明、性能榜单、54 类实体分类清单、完整使用示例 |
| config.json | 模型结构与全部标签定义(id2label/label2id) |
| classification_report.txt | 54 类实体的逐项精确率/召回率/F1 与样本量,本文数据出处 |
| all_results.json | 训练/验证/测试的完整指标汇总 |
| test_results.json | 测试集指标(F1 0.9179) |
| train_results.json | 训练过程指标 |
| eval_results.json | 验证集指标 |
| model.safetensors | 模型权重文件 |
| tokenizer.json、vocab.txt、tokenizer_config.json、special_tokens_map.json | 分词器与词表(WordPiece) |
🏷️ 关于 BIO 标签体系:模型对每个词元输出三选一——O(非实体)、B-XXX(实体起始)、I-XXX(实体内部延续)。config.json 中实际定义了 76 个标签:54 个 B- 起始标签 + 21 个 I- 延续标签 + 1 个 O。只有可能由多个词元组成的实体(如 STREET、ORGANIZATION)才配有 I- 标签,单 token 实体(如 EMAIL)则没有。
六、使用建议与局限
- 🇩🇪 仅限德语:模型针对德语文本优化,处理英语或其他语言效果无保证
- 🔎 辅助工具而非终审:官方明确将其定位为辅助手段,关键场景(如医疗数据出境)务必保留人工复核
- ⚠️ 漏报与边界问题:弱项类别(出生日期、币种、掩码号码)建议配合正则规则兜底
- ⏱️ 长文本截断:最大序列长度 512 tokens,超长文档需切分处理
总结:OpenMed-PII-German-BiomedELECTRA-Base-110M-v1 以 110M 的轻量体量覆盖了 54 类德语 PII 实体,整体 F1 达 91.79%,其中 20 类达到 0.95 以上的高可信度。对德语病历脱敏、GDPR 合规审计、隐私数据集预处理等场景,它是一个非常实用且开箱即用的选择。