Last Translation Benchmark数据字段完全解析:从source到verification_rules与linguistics标注

原创2026-10-15 18:16:351,913 阅读

Last Translation Benchmark数据字段完全解析:从source到verification_rules与linguistics标注

Last Translation Benchmark(LTBv1)是一个专为"难倒"主流机器翻译模型而设计的人工编写翻译基准数据集,包含 3456 条跨数十种语言对的极难翻译样例。本文带你完整解析 LTBv1 的每一个数据字段——从 source 输入文本、verification_rules 验证规则,到 linguistics 语言学难度标注,帮你看懂这份机器翻译评测数据集的底层结构。

LTBv1 是什么:一个让最强翻译模型"翻车"的数据集

传统的机器翻译评测基准往往有两个问题:要么太简单(几乎没有真实的错误),要么太造作(过度人工合成)。而人工评估又常常缺乏可复现性和客观性。

Last Translation Benchmark 正是为解决这些问题而生:

  • 🎯 3456 条极难翻译样例:由人类作者编写并经同行评审(peer-reviewed),覆盖文本、图片、音频、视频等多种模态
  • 🌍 语言对广泛:涵盖 en、zh、de、fr、es、ja、ru 等 60 余种语言
  • ⚖️ 手工验证规则:每条样例都配有 verification_rules,可以可靠、客观地评判任何未来模型的翻译结果
  • 🔄 活数据集:持续接受社区贡献,LTBv1 收录了 2026 年 9 月 1 日之前接受的贡献,后续版本将陆续发布

更完整的背景介绍见项目说明文档 README.md。

如何获取数据集文件

数据集本体是一个简单的 JSON 文件,可通过 clone 仓库获得(大文件通过 Git LFS 管理,实际体积约 89.8 MB):

git clone https://gitcode.com/hf_mirrors/zouhar/last-translation-benchmark

clone 完成后,数据文件位于 data/v1.json。在本地检出前,它只是一个 LFS 指针文件:

version https://git-lfs.github.com/spec/v1
oid sha256:99fa3d547530b64b45fa3181811fba11281a013c53b9959091f770a5f6594b9f
size 89844904

LTBv1 全字段速览表

每条样例(example)包含以下字段,先看全局,再逐个拆解:

字段 是否必填 含义
id 是 样例唯一编号
source 是 待翻译的输入文本
source_lang / target_lang 是 源语言/目标语言的人类可读名称(如 English、German)
source_lang_iso / target_lang_iso 可选 ISO639-3 语言代码(如 eng、deu),若存在则提供
source_instructions 可选 特殊翻译指令
source_media 可选 图片/音频/视频,以 base64 编码存放于字符串中
verification_rules 是 翻译必须满足的一条或多条验证规则
translations 是 人类与现有模型翻译的列表,附带是否通过验证的信息
linguistics 是 语言学标注,解释翻译难度来自哪里
attribution 可选 该样例所基于的来源资源链接
tags 是 样例所属的子集标签

核心字段逐个解析

source、source_lang 与 ISO 语言代码:翻译的起点

source 是待翻译的原文,source_lang / target_lang 给出语言的人类可读名称,方便人类阅读;source_lang_iso / target_lang_iso 则是对应的 ISO639-3 三字母代码(如 eng、deu),适合程序化处理。两者互为补充:可读性与可计算性兼顾。

source_instructions 与 source_media:可选的"额外难度"

  • source_instructions:当样例需要特殊翻译约定时填写(可选),例如术语限定、风格要求等
  • source_media:图片、音频、视频以 base64 字符串形式内嵌在数据中(可选),这也是 LTBv1 能覆盖多模态翻译评测的原因

verification_rules:客观评判翻译是否合格的规则

这是 LTBv1 最具特色的字段。它是一组手工编写的规则,规定一条合格的翻译必须满足什么条件,让任何模型的输出都可以被可靠、客观地判定通过与否——而不是依赖不可复现的人工打分。

规则通常是明确的判断性描述,例如:

Nurse must be translated to its male version (Krankenpfleger), not Krankenschwester. (nurse 必须翻译为男性形式 Krankenpfleger,而不是 Krankenschwester。)

translations:人类与模型翻译的对照实验田

translations 是一个列表,每条记录包含:

  • model:翻译来源,human 表示人类参考译文,其余为现有模型(如 Google Translate、Gemini 3.1 Pro、Gemma 4 等)
  • translation:具体的译文
  • verified:布尔数组,表示该译文是否通过了 verification_rules 中的每条规则

这个字段让你能直接看到"人类怎么翻、各模型翻成什么样、谁通过了验证",是研究模型失败案例的宝贵素材。

linguistics:难度原因的语言学标注

linguistics 字段用语言学分类标签解释这条样例为什么难翻。例如:

  • Target Gap: Morph to Words:源语言靠词形变化表达的信息,目标语言必须用独立单词补足
  • Morphological:涉及形态学的难点

这类标注让评测结果可归因:你不仅能知道"模型翻错了",还能知道"错在哪类语言现象上"。

attribution 与 tags:溯源与子集划分

  • attribution:记录样例基于哪个资源创建(可为 null),便于溯源
  • tags:标记样例所属子集。常用标签有:
    • LTBv1:全量数据集
    • LTBv1-text:仅纯文本样例
    • LTBv1-micro:微缩的纯文本子集,适合快速跑通流程

完整样例:一个经典的"nurse"陷阱

下面用 id: 337 这条真实样例串起所有字段(原文见 README.md):

{
  "id": 337,
  "source_text": "Our new nurse used to play in the men's professional football team.",
  "source_lang": "English",
  "target_lang": "German",
  "source_lang_iso": "eng",
  "target_lang_iso": "deu",
  "source_instructions": null,
  "source_media": null,
  "translations": [
    { "model": "human",            "translation": "Unser neuer Krankenpfleger hat früher in der Profifußballmannschaft der Männer gespielt.", "verified": [true]  },
    { "model": "Google Translate", "translation": "Unsere neue Krankenschwester spielte früher in der Profifußballmannschaft der Männer.", "verified": [false] },
    { "model": "Gemini 3.1 Pro",   "translation": "Unser neuer Krankenpfleger hat früher in der Profifußballmannschaft der Männer gespielt.", "verified": [true]  },
    { "model": "Gemma 4",          "translation": "Unsere neue Krankenschwester hat früher in der professionellen Männerfußballmannschaft gespielt.", "verified": [false] }
  ],
  "verification_rules": ["Nurse must be translated to its male version (Krankenpfleger), not Krankenschwester."],
  "linguistics": ["Target Gap: Morph to Words", "Morphological"],
  "attribution": null,
  "tags": ["LTBv1", "LTBv1-text"]
}

💡 这条样例的陷阱在于:足球是"男子"球队,说明护士是男性。英语中 nurse 不分性别,而德语必须区分 Krankenpfleger(男)与 Krankenschwester(女)。多数模型沿用了最常见的阴性形式,被 verification_rules 直接判负;而 linguistics 标注则精确指出了难度来源——形态词到独立词的转换缺口。

如何使用 LTBv1 做评测

一个典型的评测流程:

  1. 读取 data/v1.json,用 tags 筛选出需要的子集(如先跑 LTBv1-micro 验证流程)
  2. 将 source(连同可选的 source_instructions、source_media)送入你的翻译模型
  3. 依据 verification_rules 逐条判定输出是否合格,与 translations 中已有模型的 verified 结果横向对比
  4. 结合 linguistics 标签做错误归因分析,定位模型的能力短板

引用数据集

在论文或研究中使用时,请引用 README.md 中提供的 BibTeX(作者列表过长时可用 author={LTB} 代替):

@misc{zouhar2026translationbenchmark,
  title={Last Translation Benchmark},
  author={Vilém Zouhar and Niyati Bafna and Mukund Choudhary and others (LTB)},
  year={2026},
  eprint={2609.04173},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}

小结

Last Translation Benchmark 的字段设计环环相扣:source 系列字段定义翻译任务,verification_rules 保证评判客观可复现,translations 提供人类与模型的对照基准,linguistics 标注则把"翻错了"升级为"知道为什么错"。对于想深入机器翻译评测的新手,建议从 LTBv1-micro 子集入手,完整跑一遍"翻译 → 验证 → 归因"的流程,即可快速上手这份基准数据集。

登录后查看全文
last-translation-benchmark