OpenMed-PII-German-BiomedELECTRA-Base-110M-v1 PII实体类型完整清单:54类个人信息检测能力逐项解析

原创2026-11-13 17:59:031,661 阅读
文章标签:数据脱敏NLP隐私合规医疗健康人工智能

OpenMed-PII-German-BiomedELECTRA-Base-110M-v1 PII实体类型完整清单:54类个人信息检测能力逐项解析

OpenMed-PII-German-BiomedELECTRA-Base-110M-v1 是一个专为德语文本 PII(Personally Identifiable Information,个人身份信息)检测训练的开源模型,能够识别并分类54类个人信息实体——从姓名、出生日期,到 IBAN 银行账号、GPS 坐标、医保号等。本文逐项解析这 54 类实体的含义与各自的检测精度,帮你判断它是否满足你的脱敏与合规需求。

一、模型速览:它是什么、表现如何?🔍

该模型基于医疗领域预训练的 BiomedELECTRA-base(110M 参数)微调而来,采用 token 级分类(NER)方式工作:对每个词元打标签,再聚合出完整的实体片段。核心文件 config.json 中完整定义了全部标签体系。

在 AI4Privacy 德语测试集上的官方指标(数据来自 all_results.json 与 classification_report.txt):

指标 数值 含义
Micro F1 91.79% 整体检测效果,主指标
Precision 91.10% 报出的实体中有多少是对的(误报少)
Recall 92.50% 真实实体中有多少被找出来(漏报少)
Macro F1 89.56% 各类别平等平均,反映小类表现
Accuracy 98.71% 词元级准确率

💡 对于 110M 参数级别的小模型,91.79% 的 F1 已可胜任生产级批量脱敏;但具体到每一类实体,表现差异很大——这正是下文逐项解析的重点。

二、54类实体总览:7大类别一图看懂

模型支持的 54 类 PII 实体按业务属性分为 7 大类(分类依据见 README.md 的 Supported Entity Types 章节):

类别 数量 典型场景
标识符类 Identifiers 22 账号、卡号、密码、社保号、设备号
个人信息类 Personal Info 11 姓名、年龄、性别、职业
联系方式类 Contact Info 2 邮箱、电话
地址位置类 Location 9 街道、邮编、城市、GPS 坐标
组织机构类 Organization 3 机构、职位、部门
财务金额类 Financial 5 金额、币种、货币符号
时间日期类 Temporal 2 日期、时间

下面按类别逐项解析,Test F1 列为该类在测试集上的实测得分,可直接作为"该类型可信任程度"的参考。

1️⃣ 标识符类 Identifiers(22 类)——覆盖面最广的一类

实体类型 中文含义 Test F1
ACCOUNTNAME 账户名 1.00 ✅
BANKACCOUNT 银行账号 0.99 ✅
BIC 银行识别码(SWIFT/BIC) 0.82
BITCOINADDRESS 比特币地址 0.96 ✅
CREDITCARD 信用卡号 0.73 ⚠️
CREDITCARDISSUER 信用卡发卡行 0.97 ✅
CVV 信用卡安全码 0.94 ✅
ETHEREUMADDRESS 以太坊地址 1.00 ✅
IBAN 国际银行账号 0.98 ✅
IMEI 设备 IMEI 号 1.00 ✅
IPADDRESS IP 地址 1.00 ✅
LITECOINADDRESS 莱特币地址 0.80
MACADDRESS MAC 地址 1.00 ✅
MASKEDNUMBER 掩码号码(部分隐去) 0.25 ⚠️
PASSWORD 密码 0.96 ✅
PIN 个人识别码(PIN) 0.89
SSN 社保号(Social Security Number) 1.00 ✅
URL 网址链接 1.00 ✅
USERAGENT User-Agent 浏览器指纹 1.00 ✅
USERNAME 用户名 0.98 ✅
VIN 车辆识别代号 0.97 ✅
VRM 车辆注册编号 0.99 ✅

💰 亮点:欧洲场景下最敏感的 IBAN、BIC、SSN 均表现优秀;加密货币地址(BTC/ETH/LTC)三类全部支持,是同类 PII 模型中较少见的覆盖。

2️⃣ 个人信息类 Personal Info(11 类)——姓名与基本属性

实体类型 中文含义 Test F1
AGE 年龄 0.97 ✅
DATEOFBIRTH 出生日期 0.42 ⚠️
EYECOLOR 眼睛颜色 0.98 ✅
FIRSTNAME 名(First Name) 0.91 ✅
GENDER 性别(表述词) 0.99 ✅
HEIGHT 身高 0.96 ✅
LASTNAME 姓(Last Name) 0.87
MIDDLENAME 中间名 0.81
OCCUPATION 职业 0.98 ✅
PREFIX 称谓前缀(Herr/Frau 等) 0.94 ✅
SEX 生理性别 1.00 ✅

👀 德语姓名结构复杂(多段名、复合姓),FIRSTNAME(0.91)与 LASTNAME(0.87)整体可用,但涉及合规审计时建议保留人工复核环节。

3️⃣ 联系方式类 Contact Info(2 类)——全模型最强项

实体类型 中文含义 Test F1
EMAIL 电子邮箱 1.00 ✅
PHONE 电话号码 0.99 ✅

两类均接近满分。德语电话号格式(如 0171 234 5678)识别稳定,是医疗文本脱敏中最常见的目标。

4️⃣ 地址位置类 Location(9 类)——地址拆解最细

实体类型 中文含义 Test F1
BUILDINGNUMBER 门牌/建筑编号 0.89
CITY 城市 0.86
COUNTY 县(Kreis) 0.94 ✅
GPSCOORDINATES GPS 坐标 1.00 ✅
ORDINALDIRECTION 方位词(北/南/东/西) 1.00 ✅
SECONDARYADDRESS 次级地址(公寓号等) 0.99 ✅
STATE 州/省 0.88
STREET 街道名 0.92 ✅
ZIPCODE 邮政编码 0.93 ✅

📍 值得注意:模型不只识别"整条地址",而是把街道、门牌、邮编、方位词逐段拆开标注,便于按粒度选择脱敏策略(例如只隐去门牌号、保留城市)。

5️⃣ 组织机构类 Organization(3 类)

实体类型 中文含义 Test F1
JOBDEPARTMENT 工作部门 0.98 ✅
JOBTITLE 职位名称 1.00 ✅
ORGANIZATION 机构/组织名称 0.96 ✅

6️⃣ 财务金额类 Financial(5 类)——内部区分度差异最大

实体类型 中文含义 Test F1
AMOUNT 金额数值 0.95 ✅
CURRENCY 币种(泛称) 0.75 ⚠️
CURRENCYCODE 货币代码(ISO 4217,如 EUR) 0.60 ⚠️
CURRENCYNAME 货币名称(如 Euro) 0.00 ⚠️
CURRENCYSYMBOL 货币符号(€/$) 0.93 ✅

⚠️ 这一类是 54 类中短板集中区:CURRENCYNAME 与 CURRENCY、CURRENCYCODE 三者语义高度重叠,德语医疗文本中又少见独立出现的币种名,导致边界混淆。如果业务上只需脱敏"钱",合并处理 AMOUNT + CURRENCYSYMBOL 即可覆盖绝大多数场景。

7️⃣ 时间日期类 Temporal(2 类)

实体类型 中文含义 Test F1
DATE 日期 0.73 ⚠️
TIME 时间 0.95 ✅

德语日期写法多变(15.03.1985、15. März 1985),DATE 类召回尚可(0.89)但精确率偏低(0.62),容易与年龄、就诊时间混淆;DATEOFBIRTH(见个人信息类)则是全清单最弱项之一,用于脱敏时建议配合正则兜底。

三、强项与弱项:一份实用的"信任分级"📊

汇总 54 类实测 F1,可粗略分为三档:

  • ✅ 放心用(F1 ≥ 0.95,共 20 类):EMAIL、IMEI、SSN、IPADDRESS、URL、USERAGENT、JOBTITLE、SEX、GPSCOORDINATES、MACADDRESS、ETHEREUMADDRESS、ACCOUNTNAME、BANKACCOUNT、IBAN、BITCOINADDRESS、CREDITCARDISSUER、PHONE、GENDER、OCCUPATION、OCCUPATION、PASSWORD、VRM、VIN 等
  • ⚠️ 可用但需抽查(0.70 ≤ F1 < 0.95,共 21 类):如 CITY、STREET、LASTNAME、DATE、PIN、CREDITCARD
  • 🔴 建议人工复核(F1 < 0.70,共 5 类):CURRENCYNAME(0.00)、MASKEDNUMBER(0.25)、DATEOFBIRTH(0.42)、CURRENCYCODE(0.60)、BIC(0.82) 之外的 LITECOINADDRESS(0.80)、MIDDLENAME(0.81)

四、快速上手:三步跑通德语 PII 检测 🚀

通过 Hugging Face Transformers 即可加载,完整示例见 README.md 的 Usage 章节。最简流程:

from transformers import pipeline

ner = pipeline("ner",
               model="OpenMed/OpenMed-PII-German-BiomedELECTRA-Base-110M-v1",
               aggregation_strategy="simple")

text = "Dr. Hans Müller, SVN: 12 150385 M 123, hans.mueller@krankenhaus.de"
for e in ner(text):
    print(e["entity_group"], e["word"])
# SSN  12 150385 M 123
# EMAIL hans.mueller@krankenhaus.de

输出每个实体的类型标签与置信度,配合简单的字符串替换即可完成去标识化(de-identification):将检出片段替换为 [SSN]、[EMAIL] 等占位符,满足 GDPR 合规对病历、文档的自动化脱敏要求。

五、标签体系与文件导航:去哪里查什么

文件 内容
README.md 模型说明、性能榜单、54 类实体分类清单、完整使用示例
config.json 模型结构与全部标签定义(id2label/label2id)
classification_report.txt 54 类实体的逐项精确率/召回率/F1 与样本量,本文数据出处
all_results.json 训练/验证/测试的完整指标汇总
test_results.json 测试集指标(F1 0.9179)
train_results.json 训练过程指标
eval_results.json 验证集指标
model.safetensors 模型权重文件
tokenizer.json、vocab.txt、tokenizer_config.json、special_tokens_map.json 分词器与词表(WordPiece)

🏷️ 关于 BIO 标签体系:模型对每个词元输出三选一——O(非实体)、B-XXX(实体起始)、I-XXX(实体内部延续)。config.json 中实际定义了 76 个标签:54 个 B- 起始标签 + 21 个 I- 延续标签 + 1 个 O。只有可能由多个词元组成的实体(如 STREET、ORGANIZATION)才配有 I- 标签,单 token 实体(如 EMAIL)则没有。

六、使用建议与局限

  • 🇩🇪 仅限德语:模型针对德语文本优化,处理英语或其他语言效果无保证
  • 🔎 辅助工具而非终审:官方明确将其定位为辅助手段,关键场景(如医疗数据出境)务必保留人工复核
  • ⚠️ 漏报与边界问题:弱项类别(出生日期、币种、掩码号码)建议配合正则规则兜底
  • ⏱️ 长文本截断:最大序列长度 512 tokens,超长文档需切分处理

总结:OpenMed-PII-German-BiomedELECTRA-Base-110M-v1 以 110M 的轻量体量覆盖了 54 类德语 PII 实体,整体 F1 达 91.79%,其中 20 类达到 0.95 以上的高可信度。对德语病历脱敏、GDPR 合规审计、隐私数据集预处理等场景,它是一个非常实用且开箱即用的选择。

登录后查看全文
OpenMed-PII-German-BiomedELECTRA-Base-110M-v1