大规模多语言 NMT 表示的可视化复现指南:基于 SVCCA 分析 investigating_m4 数据与绘图脚本

原创2026-09-22 16:35:501,437 阅读
文章标签:人工智能深度学习NLP计算机视觉强化学习

大规模多语言 NMT 表示的可视化复现指南:基于 SVCCA 分析 investigating_m4 数据与绘图脚本

导读

本文围绕 investigating_m4/README.md 展开,系统讲解如何在 Colab 中复现论文 Investigating Multilingual NMT Representations at Scale(Kudugunta et al., 2019)的图表,并对随附的 4 个分析数据文件(model_scores.csv、finetuned_relative_bleu.csv、finetuned_model_scores.csv、properties.csv)逐一给出字段级解读。同时,结合仓库内的 Investigating_M4.ipynb 与 create_plots.py 源码,深入讲解基于 SVCCA 的跨语言表示相似度计算、语言聚类可视化、逐层表示演化分析以及微调鲁棒性分析的具体实现。读完本文,你将掌握这套"大规模多语言模型表示诊断"实验的完整数据格式、可视化复现步骤与核心分析结论。

背景:为什么要"调查"多语言 NMT 的表示

多语言神经机器翻译(Multilingual NMT)模型在训练时同时学习上百种语言对,其内部表示空间是"黑盒"——我们并不清楚不同语言在表示空间中如何分布、重叠程度如何、以及这些性质如何随网络层数变化。Notebook 的开篇 Investigating_M4.ipynb 用 SVCCA(Singular Vector Canonical Correlation Analysis,奇异向量典型相关分析)作为"透视镜",围绕三个问题展开:

  1. 哪些因素决定了不同语言学习到的表示之间的重叠程度?
  2. 表示重叠程度在整个模型的不同层中是否一致?
  3. 多语言 NMT 的表示对在任意其他语言上微调(fine-tuning)的鲁棒性如何?

实验设置(来源于 Notebook 的 Data and Model 一节):

  • 数据规模:基于网络抓取的双语句子语料,包含超过 200 亿个句子对、覆盖上百种与英语(及英语与其他语言)互译的直接语言对。
  • 数据特性:语言对之间资源量极不均衡(每对语言句对数从 10^4 到 10^9 不等);语料包含多种书写系统和语系的多样性。
  • 多路平行评测集(Multiway Dataset):为了控制语义、减少混淆因素,评测集构建为多路对齐数据集——每个句子在全部语言中语义一致,包含 3k+ 句子对,从而可以在控制语义的前提下比较表示差异。
  • 模型:采用 Transformer-Big 架构,所有语言对共享全部参数(包括 softmax 层与输入/输出词嵌入);词汇表使用 64k 词的 SentencePiece 模型,编码器与解码器共享;每组平行句的源句前会拼接目标语言标记 <2xx> 以指示目标语言。

这套实验设计的直接产物,就是 README 中所描述的分析数据与可视化脚本。

数据文件详解:investigating_m4.zip 的四个 CSV

README 明确指出,所有分析数据打包在 investigating_m4.zip 中,数据的具体生成方式详见论文。Notebook 中的加载代码则展示了解析方式:通过 gcloud storage cp --recursive gs://investigating-m4/investigating_m4.zip ./ 下载压缩包,再用 zipfile + pandas 按 CSV 读取,并对数值列做类型转换(pd.to_numeric(..., errors='coerce'))。下面逐个解读这四个文件的字段与语义。

1. model_scores.csv:逐层跨语言 SVCCA 相似度

  • 列结构:Language Pair 1 (str), Language Pair 2 (str), Layer, Checkpoint 1 (int), Checkpoint 2 (int), SVCCA Score (float)
  • 语义:每一行的含义是——模型在 Checkpoint 1 时、第 Layer 层的"语言对 1"激活,与模型在 Checkpoint 2 时、同一层"语言对 2"的激活,两者之间的聚合相似度即为 SVCCA Score。

在 Notebook 中,该文件被重组为按层(activation_list)索引的矩阵形式,以便绘制聚类图:

activation_list = ['enc/tok', 'enc/inp', 'enc/out_0', ..., 'dec/out_5']

for aname in activation_list:
    cross_dfs[aname] = data[data.Layer==aname][['Language Pair 1', 'Language Pair 2', 'SVCCA Score']].set_index(['Language Pair 1', 'Language Pair 2']).unstack()

其中激活命名约定为:enc 表示编码器、dec 表示解码器;tok 表示"Token 嵌入 + 位置嵌入",inp 表示输入,out_i 表示编码器/解码器中第 i 个 Transformer 层。全部 16 个激活点覆盖了编码器与解码器从嵌入到顶层输出的完整链路。

关于 SVCCA 的序列化适配,Notebook 专门说明:SVCCA 最初面向前馈神经网络提出,而这里需要处理序列数据。其近似做法是:对评测集中每个句子的隐藏表示按时间步做池化(pooling over sequence time-steps)后,再执行 SVCCA。此外,跨语言比较的关键创新在于:传统 SVCCA 比较的是同一数据的两组表示,而这里借助多路平行评测集,比较的是不同语言对同一语义内容(semantically equivalent data points)的表示。

2. finetuned_relative_bleu.csv:微调前后相对 BLEU 变化

  • 列结构:Finetuning Language Pair, Language Pair, Relative BLEU Change
  • 语义:每一行表示——以 Finetuning Language Pair 微调后,Language Pair 相对于微调前模型的相对 BLEU 变化值,即 Relative BLEU Change。

这是"微调是否破坏其他语言翻译质量"的度量,与 SVCCA 的变化量互为印证(详见后文"微调鲁棒性")。

3. finetuned_model_scores.csv:微调前后的表示漂移

  • 列结构:Layer, Finetuning Language Pair, Language Pair, SVCCA Score
  • 语义:每一行表示——模型的 Layer 层中,Language Pair 的激活在"用 Finetuning Language Pair 微调前"与"微调后"两个模型之间的聚合相似度(SVCCA Score)。得分越高,说明该语言对的表示在微调后漂移越小、越鲁棒。

4. properties.csv:语言属性档案

  • 列结构:Language Code, Language Name, Morphological typology, Family, Script, Sub Family
  • 语义:提供数据集中所有语言的语言代码及语言学细节,包括形态类型(Morphological typology)、语系(Family)、文字(Script)和亚语系(Sub Family)。它既是"语言相似性"分析的元数据底座,也是可视化配色的依据——Notebook 中定义了若干"语言学动机的着色函数"(coloring functions),按语系、亚语系、文字等维度为语言点着色。

Notebook 中的着色函数示例:

def generic_family_colorer(lp):
    # 按 language dossier 中的 "family" 属性着色
    return get_property(lp, 'Family')

def generic_subfamily_colorer(lp):
    return get_property(lp, 'Sub-Family')

def script_colorer(lp):
    # 例如 Roman、Arabic、Ge'ez 等
    return get_property(lp, 'Script')

此外还有为特定语系定制的细粒度着色器:familylike_custom_colorer(区分 Iranian、Semitic、Indic、Dravidian 四大语群)、finegrain_dravidoindoiranian_colorer(细化到 Kannada–Badaga、Tamil–Kodagu、South-Central Dravidian、Persian、West-Central Indic 等分支)与 finegrain_slavoturkic_colorer(细化到 East/West/Southeast Slavic、Oghuz/Kipchak/Karluk Turkic、Mongolic 等分支)。Notebook 还以泰卢固语('te')为例演示了从 Family → 自定义语群 → Sub-Family → 细粒度分支 → 文字逐级细化的着色输出。

复现步骤:在 Colab 中重绘论文图表

README 提供了两种入口:一是直接点击 Colab 链接打开预构建的 notebook;二是将本目录的 Investigating_M4.ipynb 与 create_plots.py 一起在本地 Jupyter/Colab 环境运行。Notebook 内的引导代码为:

test -d gresearch || git clone https://github.com/google-research/google-research gresearch \
  && cp gresearch/investigating_m4/create_plots.py .

即克隆本仓库并将 create_plots.py 复制到当前目录,随后即可 import create_plots。

运行环境与依赖

Notebook 元数据声明其内核为 Python 2("kernelspec": {"display_name": "Python 2", "name": "python2"}),并在首个代码单元执行 %tensorflow_version 1.x。可视化链路依赖的第三方库包括:

  • Bokeh(bokeh.layouts.row、bokeh.models.ColumnDataSource/HoverTool/LabelSet、bokeh.palettes.Category10/Category20、bokeh.plotting.figure):用于交互式散点与图表;
  • matplotlib / seaborn:用于箱线图、聚类热图与图表排版;
  • pandas / numpy:数据加载、重组与数值计算;
  • scikit-learn(sklearn.manifold.SpectralEmbedding、sklearn.metrics、sklearn.cluster):用于谱嵌入降维与聚类。

核心绘图函数(create_plots.py)

create_plots.py 是全部图表的底层实现,文件头注释为 Functions to create plots in paper.。核心函数及其作用如下:

non_english_lang(lp):从形如 en-te 的语言对字符串中提取非英语一侧(如返回 te)。实现上先按 - 分割并要求恰好两部分,然后返回非 en 的那一侧;若两侧都是 en 则抛出 ValueError。它贯穿所有按语言着色的逻辑。

get_subset_of_df(df, lp_subset, aname):按语言对子集过滤 SVCCA 得分矩阵。若 lp_subset 为 None 则返回全部,否则只保留指定语言对对应的行与列(SVCCA Score 交叉矩阵)。

get_visualizations(cross_dfs, activation_list, lp_subset, property_mapper, ...):跨语言表示空间的可视化。其流程为:

  1. 取出某层语言对间的 SVCCA 得分矩阵;
  2. 通过 np.maximum(x, x.T) 对称化;
  3. 用 sklearn.manifold.SpectralEmbedding(affinity="precomputed") 将相似度矩阵嵌入到二维散点;
  4. 依据 property_mapper(如语系/文字着色函数)为每个语言对分配颜色,颜色数不足 3 时用 Category10 扩充、超过 10 类时切换 Category20;
  5. 用 Bokeh 渲染带 hover(显示 x/y、语言对、属性)与标签的交互式散点。

show_embedding(sources, activation_list, ...):将多个层的嵌入散点横向排列(row([...])),每个子图带有 HoverTool、tap、box_zoom、reset、save 等交互工具。

layerwise_boxplot(data, key, ax, activation_list):绘制"每个层上所有语言对 SVCCA 得分"的分布箱线图,用于展示表示重叠度随层的变化,纵轴固定在 0~1.01。

finetuning_block(data, int_lps, task_lps, selected_lps, order, props, values, color, ...):微调分析的聚类热图。其实现要点:

  • 同时按"微调语言对"与"被影响语言对"两个维度过滤数据;
  • 将两轴按 order 转为 Categorical 并排序;
  • 依据语言亚语系(Sub-Family)为行列生成 seaborn.hls_palette 配色条;
  • 调用 seaborn.clustermap(..., row_cluster=False, col_cluster=False) 绘制(默认 50×20 的大画布),并在列树状图区域绘制亚语系图例。

Notebook 中调用该函数绘制相对 BLEU 变化矩阵:

g = create_plots.finetuning_block(bleu_rel, int_lps=plotting_groups['xen_int'],
                     task_lps=lps_xen, selected_lps=selected_lps, order=order,
                      props=prop_df, values="Relative BLEU Change", color="Blues")

其中 int_lps / task_lps 分别限定微调语言对与被影响语言对的范围,selected_lps 通过 get_tasks_from_properties('Sub-Family', [...]) 从 12 个亚语系(Baltic、Benue-Congo、Common Turkic、Germanic、Indo-Iranian、Khmer、Malayo-Polynesian、Romance、Semitic、Sinitic、Slavic、South Dravidian)中挑选语言对,order 提供了图上 200 余个语言对的固定排序。

三组核心分析及其结论

Notebook 的正文(即论文图表对应内容)围绕三条主线展开,可与上述数据文件一一对应。

1. 语言表示按语言相似性聚类

利用 model_scores.csv 中的逐层 SVCCA 得分,对全部 101 个语言对(X-En 与 En-X 两个方向)在每层做谱嵌入散点,并分别用语系/亚语系/文字着色。Notebook 明确指出:由于翻译方向本质不同,"All-to-English"与"English-to-Any"两个集合的表示空间行为不同、彼此分离得很清楚。在 X-En 方向的全语言图中,可以观察到左上角的斯拉夫语簇、左下角的日耳曼与罗曼语簇、右上角的印度-雅利安与达罗毗荼语簇等(虽有个别离群点)。"语言相似性"在此的定义为同属一个语系(如突厥语系)或语系内同一分支(如乌古斯突厥语支),并辅以文字(如西里尔、罗马、吉兹字母)讨论——Notebook 同时提醒,这些类别受到网络语料与政治文化等混淆因素影响,严格比较是困难的。

2. 表示重叠随层演化

利用 layerwise_boxplot,对每层所有语言对的 SVCCA 得分分布作图。关键观察(来自 Notebook 的 "Representational Similarity Evolves Across Layers" 一节):

  • 在 X-En 方向,随着编码器层数加深,源语言(X)之间的表示相似度上升,说明编码器在尝试学习所有源语言的公共表示——这与共享目标语言(En)的训练动机一致;但编码器顶层的表示远未完美对齐,说明不同语言只占据部分重叠的子空间。
  • 解码器越深,目标语言(En)的表示反而越分散(与源语言 X 信息逐渐汇入有关),这与"翻译腔(translation-ese)"研究——翻译文本能预测源语言——的结论吻合。
  • 在 En-X 方向,源语言(En)的表示随编码器加深而分散,表明英语句子的表示会依据目标语言条件分离。
  • 总体结论:seq2seq 中"编码器编码源、解码器解码目标"的边界是模糊的,源→目标的变化是渐进的。

3. 微调的表示鲁棒性

微调实验设置(Notebook 的 Finetuning 一节):在 12 个 X-En 语言对上分别对全训练完成的多语言模型微调 40k 步,这些语言对兼顾高/低资源,覆盖 6 个不同亚语系。分析分为两层:

  • 表示层面:用 finetuned_model_scores.csv(微调前后同一层激活的 SVCCA 得分)量化表示漂移;
  • 质量层面:用 finetuned_relative_bleu.csv(相对 BLEU 变化)衡量翻译质量退化。

Notebook 的 Observations 总结了四条经验性规律:

  1. SVCCA 变化与 BLEU 变化高度对应:翻译质量退化与微调期间表示变化幅度强相关。
  2. 高资源语言对任意语言微调都相当鲁棒:如中文、德语、俄语、意大利语,无论用哪个语言对微调,其表示变化都不大。
  3. 同语系微调对表示干扰较小:如用 tr-en/ky-en 微调时突厥语族表示漂移很小;es-en/ca-en 与罗曼语族、uk-en/sr-en/ru-en 与斯拉夫语族同理。
  4. 特例是 ny-en(尼扬贾语,Benue-Congo 亚语系):用它微调时,所有语言对几乎同等程度地退化,与语言相似性/资源量无关——该亚语系所有语言在语料中均为低资源。

由此推断:高资源语言可能负责划分表示空间;低资源语言则与语言相近的高资源语言紧密交织;与任何高资源语言都无关的低资源语言,其表示会分散到多个分区中。附注还指出嵌入层对任意语言微调都异常鲁棒(平均重叠 ρ > 0.98)。

Discussion:对实践者的启示

Notebook 结尾的 Discussion 将上述发现转化为可操作的实践建议,也是 README 指向论文价值主张的浓缩:

  • 迁移学习选址:语言表示按语言相似性聚类,意味着可以为某个低资源语言识别并利用其表示最近邻,以最大化适应(adaptation)性能。
  • 跨语言嵌入的局限:嵌入层的跨语言重叠程度低于最终编码器输出,提示"直接使用多语言 NMT 中学到的跨语言嵌入"可能并不高效。
  • 零样本 NMT 的对齐需求:编码器跨语言表示重叠并不完美,这解释了为何需要显式的语言对齐或一致性损失(consistency losses)来支撑零样本翻译。
  • 微调鲁棒性与零样本迁移:高资源与语言相近的语言对微调更鲁棒;对语言距离远的语言施加显式约束(如弹性权重巩固,elastic-weight consolidation),有望改善零样本迁移效果。

小结

investigating_m4/README.md 虽短,但配合 Investigating_M4.ipynb 与 create_plots.py 构成了一套完整可复现的"多语言 NMT 表示调查"实验:从 4 个 CSV 的字段语义(逐层跨语言 SVCCA、微调前后表示漂移、相对 BLEU 变化、语言属性档案),到谱嵌入/聚类热图/逐层箱线图三类可视化,再到"按语言相似性聚类 → 逐层演化 → 微调鲁棒性"三组结论,读者可以在 Colab 中按 README 指引逐步复现论文图表,并将这套方法迁移到自己的多语言或多任务模型诊断中。

登录后查看全文
google-research