LIDstral-Arabic 预处理机制揭秘:清洗 ASR 噪声、变音符与装饰性长音的完整清单

原创2026-10-18 20:36:031,399 阅读

LIDstral-Arabic 预处理机制揭秘:清洗 ASR 噪声、变音符与装饰性长音的完整清单

LIDstral-Arabic 是 Mistral AI 开源的阿拉伯语语言与方言识别(LID)模型,能在 CPU 上快速判断一段阿拉伯文属于现代标准阿拉伯语(MSA)、哪一个阿拉伯方言,或是波斯语、乌尔都语等其他使用阿拉伯字母的语种。它的高准确率背后,除了三层模型流水线,还有一道容易被忽视的关键工序——文本预处理。classify.py 中的 preprocess 函数在 15 行代码里完成 12 步清洗:剥离 ASR 转录噪声、HTML 实体、URL 与提及,删除变音符和装饰性长音(Kashida),压缩重复字符与标点,同时刻意保留 Alef 变体。本文将这份清洗流程逐条拆解,给你一份可直接对照的完整清单。

为什么阿拉伯语 LID 必须先做预处理?

阿拉伯语识别模型的输入来源很杂:社交媒体帖子、网页文本,以及 ASR(自动语音识别)系统的转录结果。这些文本中常混入:

  • ASR 内部标记:如 <UNK>、<SPEAKER> 这类尖括号占位符;
  • 变音符(Diacritics):如 Fatha(َ)、Kasra(ِ)、Shadda(ّ)等发音辅助符号,新闻稿和经文中常见,日常口语文本几乎不用;
  • 装饰性长音(Kashida ـ):用于书法排版拉横,对语义毫无贡献;
  • 社交媒体噪声:URL、邮箱、@提及、#标签、表情符号;
  • 不可见控制字符:零宽连接符、双向控制符等,肉眼不可见但会干扰分词。

如果直接喂给模型,这些噪声会污染 fastText 的字级 n-gram 特征。LIDstral-Arabic 的解法是在特征提取前统一"归一化",让同一句话无论来自报纸还是 ASR 转录,都映射到尽量一致的形态。所有清洗逻辑集中在 classify.py 中,配合文件顶部的 14 个预编译正则完成。

预处理完整清单:12 步清洗流程

preprocess 函数的执行顺序如下,每一步对应一个独立的作用域,可按此清单逐项自查自己的数据是否干净(正则定义见 classify.py):

步骤 清洗对象 处理策略
1 ASR 噪声标签 <...> 整体删除
2 Unicode 组合字符 NFC 归一化,合并组合序列
3 HTML 实体(&amp; 等) 反转义还原
4 不可见控制字符 删除零宽字符、双向控制符、BOM
5 URL 整体删除
6 邮箱地址 整体删除
7 @用户提及 整体删除
8 #话题标签 只删 #,保留标签词本身
9 表情符号 按 Unicode 区段整体删除
10 占位词(USER / EMOJI / URL / RT / NUMBER 等) 大小写不敏感删除
11 变音符 + 装饰性长音 删除全部发音符号与 Kashida
12 重复字符与标点 连续字符压到 2 个、连续标点压到 1 个、合并空白

几个值得注意的设计细节:

只删 # 而保留标签词。 话题标签的正文往往承载方言特征词,删除 # 前缀而不是整词,避免丢失判定证据。

占位词清理针对的是脱敏语料。 许多公开数据集会把用户名、数字替换成 USER、NUMBER 这样的英文占位符,_PLACEHOLDER_TOKENS 正则专门把它们清掉,防止英文占位符拉偏"阿拉伯语 vs 其他语种"的判断。

Kashida 单独处理。 装饰性长音(U+FEFC)不属于变音符区段,代码中用 text.replace(_KASHIDA, '') 单独移除,这是书法排版文本转纯文本时的经典坑。

Alef 变体刻意保留。 注意变音符正则的字符区段并不覆盖 أ、إ、آ、ٱ 这些 Alef 变体——它们被保留下来,因为不同变体的使用习惯本身就是区分 MSA 与口语方言的强信号。README 中也明确写了 "It preserves alef variants"(见 README.md)。

重复压缩而非删除。 连续重复字符(如激动时打出的 لااااستنا)压缩到保留 2 个而不是清空,连续句尾标点(؟؟؟、!!!)压缩为 1 个,在去噪的同时保留了语气强度。

清洗后的文本还会经过一次 strip 收尾。如果某条输入被清洗到完全为空,predict_proba 会直接抛出 ValueError,提示"每条输入在预处理后必须仍有文本"(见 classify.py)——这也是为什么纯表情、纯 URL 的输入无法得到分类结果。

清洗前后的直观对比

下面用一段典型的"脏输入"走一遍流程:

输入(含 ASR 噪声与社交噪声):

مرحبا <UNK> https://example.com/@user #صباح الخير يا أخي !!

逐步处理后:

  1. 删除 <UNK> → 去掉 ASR 标签
  2. 删除 URL 和 @user → 社交链接清除
  3. #صباح 变为 صباح → 保留标签词
  4. !! 压缩为 ! → 标点归一
  5. 合并多余空白

最终送入模型:

مرحبا صباح الخير يا أخي !

可以看到,真正承载方言信息的词全部保留,噪声全部剔除。

预处理在三层流水线中的位置

LIDstral-Arabic 的完整推理链路是:预处理 → fastText OVA 打分 → MLP 特征堆叠(144 维)→ 逐类 Isotonic 校准(架构说明见 README.md)。预处理位于最前端,直接决定 fastText 看到的原始分词形态,因此它对最终置信度的影响是"一阶"的。

整个流水线依赖三个模型文件,且必须放在同一目录:

快速上手:验证预处理效果

安装依赖 requirements.txt 后,直接用命令行跑一条含噪声的文本,观察模型给出的标签与置信度:

python classify.py --text "ياك نتا بخير؟ آش خبارك مع الخدمة؟"

输出为 JSON,包含 label、confidence 与全部 51 个类别的校准概率。批量处理 JSONL 文件时,每行需包含 text 字段:

python classify.py --input input.jsonl > predictions.jsonl

如果想在自己的代码里复用清洗逻辑,直接导入 preprocess 函数即可,它与模型加载解耦,可以独立作用于任意阿拉伯文本。

小结

LIDstral-Arabic 的预处理清单值得所有阿拉伯语 NLP 项目借鉴,核心经验可以浓缩为三句话:

  1. 按来源定制去噪:ASR 标签、HTML 实体、社交噪声各有专门正则,一步到位;
  2. 删除不承载语义的符号:变音符、Kashida、不可见字符、URL 邮箱一律清除;
  3. 保留方言判别信号:Alef 变体、标签词、重复次数(压缩后)都刻意保留。

理解了这份清单,你不仅能正确使用 LIDstral-Arabic,也能把同样的思路迁移到自己手头的阿拉伯语数据清洗任务中。

登录后查看全文
LIDstral-Arabic