LIDstral-Arabic 预处理机制揭秘:清洗 ASR 噪声、变音符与装饰性长音的完整清单
LIDstral-Arabic 预处理机制揭秘:清洗 ASR 噪声、变音符与装饰性长音的完整清单
LIDstral-Arabic 是 Mistral AI 开源的阿拉伯语语言与方言识别(LID)模型,能在 CPU 上快速判断一段阿拉伯文属于现代标准阿拉伯语(MSA)、哪一个阿拉伯方言,或是波斯语、乌尔都语等其他使用阿拉伯字母的语种。它的高准确率背后,除了三层模型流水线,还有一道容易被忽视的关键工序——文本预处理。classify.py 中的 preprocess 函数在 15 行代码里完成 12 步清洗:剥离 ASR 转录噪声、HTML 实体、URL 与提及,删除变音符和装饰性长音(Kashida),压缩重复字符与标点,同时刻意保留 Alef 变体。本文将这份清洗流程逐条拆解,给你一份可直接对照的完整清单。
为什么阿拉伯语 LID 必须先做预处理?
阿拉伯语识别模型的输入来源很杂:社交媒体帖子、网页文本,以及 ASR(自动语音识别)系统的转录结果。这些文本中常混入:
- ASR 内部标记:如
<UNK>、<SPEAKER>这类尖括号占位符; - 变音符(Diacritics):如 Fatha(َ)、Kasra(ِ)、Shadda(ّ)等发音辅助符号,新闻稿和经文中常见,日常口语文本几乎不用;
- 装饰性长音(Kashida ـ):用于书法排版拉横,对语义毫无贡献;
- 社交媒体噪声:URL、邮箱、@提及、#标签、表情符号;
- 不可见控制字符:零宽连接符、双向控制符等,肉眼不可见但会干扰分词。
如果直接喂给模型,这些噪声会污染 fastText 的字级 n-gram 特征。LIDstral-Arabic 的解法是在特征提取前统一"归一化",让同一句话无论来自报纸还是 ASR 转录,都映射到尽量一致的形态。所有清洗逻辑集中在 classify.py 中,配合文件顶部的 14 个预编译正则完成。
预处理完整清单:12 步清洗流程
preprocess 函数的执行顺序如下,每一步对应一个独立的作用域,可按此清单逐项自查自己的数据是否干净(正则定义见 classify.py):
| 步骤 | 清洗对象 | 处理策略 |
|---|---|---|
| 1 | ASR 噪声标签 <...> |
整体删除 |
| 2 | Unicode 组合字符 | NFC 归一化,合并组合序列 |
| 3 | HTML 实体(& 等) |
反转义还原 |
| 4 | 不可见控制字符 | 删除零宽字符、双向控制符、BOM |
| 5 | URL | 整体删除 |
| 6 | 邮箱地址 | 整体删除 |
| 7 | @用户提及 | 整体删除 |
| 8 | #话题标签 | 只删 #,保留标签词本身 |
| 9 | 表情符号 | 按 Unicode 区段整体删除 |
| 10 | 占位词(USER / EMOJI / URL / RT / NUMBER 等) | 大小写不敏感删除 |
| 11 | 变音符 + 装饰性长音 | 删除全部发音符号与 Kashida |
| 12 | 重复字符与标点 | 连续字符压到 2 个、连续标点压到 1 个、合并空白 |
几个值得注意的设计细节:
只删 # 而保留标签词。 话题标签的正文往往承载方言特征词,删除 # 前缀而不是整词,避免丢失判定证据。
占位词清理针对的是脱敏语料。 许多公开数据集会把用户名、数字替换成 USER、NUMBER 这样的英文占位符,_PLACEHOLDER_TOKENS 正则专门把它们清掉,防止英文占位符拉偏"阿拉伯语 vs 其他语种"的判断。
Kashida 单独处理。 装饰性长音(U+FEFC)不属于变音符区段,代码中用 text.replace(_KASHIDA, '') 单独移除,这是书法排版文本转纯文本时的经典坑。
Alef 变体刻意保留。 注意变音符正则的字符区段并不覆盖 أ、إ、آ、ٱ 这些 Alef 变体——它们被保留下来,因为不同变体的使用习惯本身就是区分 MSA 与口语方言的强信号。README 中也明确写了 "It preserves alef variants"(见 README.md)。
重复压缩而非删除。 连续重复字符(如激动时打出的 لااااستنا)压缩到保留 2 个而不是清空,连续句尾标点(؟؟؟、!!!)压缩为 1 个,在去噪的同时保留了语气强度。
清洗后的文本还会经过一次 strip 收尾。如果某条输入被清洗到完全为空,predict_proba 会直接抛出 ValueError,提示"每条输入在预处理后必须仍有文本"(见 classify.py)——这也是为什么纯表情、纯 URL 的输入无法得到分类结果。
清洗前后的直观对比
下面用一段典型的"脏输入"走一遍流程:
输入(含 ASR 噪声与社交噪声):
مرحبا <UNK> https://example.com/@user #صباح الخير يا أخي !!
逐步处理后:
- 删除
<UNK>→ 去掉 ASR 标签 - 删除 URL 和
@user→ 社交链接清除 #صباح变为صباح→ 保留标签词!!压缩为!→ 标点归一- 合并多余空白
最终送入模型:
مرحبا صباح الخير يا أخي !
可以看到,真正承载方言信息的词全部保留,噪声全部剔除。
预处理在三层流水线中的位置
LIDstral-Arabic 的完整推理链路是:预处理 → fastText OVA 打分 → MLP 特征堆叠(144 维)→ 逐类 Isotonic 校准(架构说明见 README.md)。预处理位于最前端,直接决定 fastText 看到的原始分词形态,因此它对最终置信度的影响是"一阶"的。
整个流水线依赖三个模型文件,且必须放在同一目录:
- lid_ova_full.bin:fastText one-vs-all 分类器
- mlp_stacker_ln.pt:64 单元 LayerNorm MLP 堆叠器
- isotonic_calibration.pkl:逐类保序回归校准器
快速上手:验证预处理效果
安装依赖 requirements.txt 后,直接用命令行跑一条含噪声的文本,观察模型给出的标签与置信度:
python classify.py --text "ياك نتا بخير؟ آش خبارك مع الخدمة؟"
输出为 JSON,包含 label、confidence 与全部 51 个类别的校准概率。批量处理 JSONL 文件时,每行需包含 text 字段:
python classify.py --input input.jsonl > predictions.jsonl
如果想在自己的代码里复用清洗逻辑,直接导入 preprocess 函数即可,它与模型加载解耦,可以独立作用于任意阿拉伯文本。
小结
LIDstral-Arabic 的预处理清单值得所有阿拉伯语 NLP 项目借鉴,核心经验可以浓缩为三句话:
- 按来源定制去噪:ASR 标签、HTML 实体、社交噪声各有专门正则,一步到位;
- 删除不承载语义的符号:变音符、Kashida、不可见字符、URL 邮箱一律清除;
- 保留方言判别信号:Alef 变体、标签词、重复次数(压缩后)都刻意保留。
理解了这份清单,你不仅能正确使用 LIDstral-Arabic,也能把同样的思路迁移到自己手头的阿拉伯语数据清洗任务中。