Last Translation Benchmark数据字段完全解析:从source到verification_rules与linguistics标注
Last Translation Benchmark数据字段完全解析:从source到verification_rules与linguistics标注
Last Translation Benchmark(LTBv1)是一个专为"难倒"主流机器翻译模型而设计的人工编写翻译基准数据集,包含 3456 条跨数十种语言对的极难翻译样例。本文带你完整解析 LTBv1 的每一个数据字段——从 source 输入文本、verification_rules 验证规则,到 linguistics 语言学难度标注,帮你看懂这份机器翻译评测数据集的底层结构。
LTBv1 是什么:一个让最强翻译模型"翻车"的数据集
传统的机器翻译评测基准往往有两个问题:要么太简单(几乎没有真实的错误),要么太造作(过度人工合成)。而人工评估又常常缺乏可复现性和客观性。
Last Translation Benchmark 正是为解决这些问题而生:
- 🎯 3456 条极难翻译样例:由人类作者编写并经同行评审(peer-reviewed),覆盖文本、图片、音频、视频等多种模态
- 🌍 语言对广泛:涵盖
en、zh、de、fr、es、ja、ru等 60 余种语言 - ⚖️ 手工验证规则:每条样例都配有
verification_rules,可以可靠、客观地评判任何未来模型的翻译结果 - 🔄 活数据集:持续接受社区贡献,
LTBv1收录了 2026 年 9 月 1 日之前接受的贡献,后续版本将陆续发布
更完整的背景介绍见项目说明文档 README.md。
如何获取数据集文件
数据集本体是一个简单的 JSON 文件,可通过 clone 仓库获得(大文件通过 Git LFS 管理,实际体积约 89.8 MB):
git clone https://gitcode.com/hf_mirrors/zouhar/last-translation-benchmark
clone 完成后,数据文件位于 data/v1.json。在本地检出前,它只是一个 LFS 指针文件:
version https://git-lfs.github.com/spec/v1
oid sha256:99fa3d547530b64b45fa3181811fba11281a013c53b9959091f770a5f6594b9f
size 89844904
LTBv1 全字段速览表
每条样例(example)包含以下字段,先看全局,再逐个拆解:
| 字段 | 是否必填 | 含义 |
|---|---|---|
id |
是 | 样例唯一编号 |
source |
是 | 待翻译的输入文本 |
source_lang / target_lang |
是 | 源语言/目标语言的人类可读名称(如 English、German) |
source_lang_iso / target_lang_iso |
可选 | ISO639-3 语言代码(如 eng、deu),若存在则提供 |
source_instructions |
可选 | 特殊翻译指令 |
source_media |
可选 | 图片/音频/视频,以 base64 编码存放于字符串中 |
verification_rules |
是 | 翻译必须满足的一条或多条验证规则 |
translations |
是 | 人类与现有模型翻译的列表,附带是否通过验证的信息 |
linguistics |
是 | 语言学标注,解释翻译难度来自哪里 |
attribution |
可选 | 该样例所基于的来源资源链接 |
tags |
是 | 样例所属的子集标签 |
核心字段逐个解析
source、source_lang 与 ISO 语言代码:翻译的起点
source 是待翻译的原文,source_lang / target_lang 给出语言的人类可读名称,方便人类阅读;source_lang_iso / target_lang_iso 则是对应的 ISO639-3 三字母代码(如 eng、deu),适合程序化处理。两者互为补充:可读性与可计算性兼顾。
source_instructions 与 source_media:可选的"额外难度"
source_instructions:当样例需要特殊翻译约定时填写(可选),例如术语限定、风格要求等source_media:图片、音频、视频以 base64 字符串形式内嵌在数据中(可选),这也是 LTBv1 能覆盖多模态翻译评测的原因
verification_rules:客观评判翻译是否合格的规则
这是 LTBv1 最具特色的字段。它是一组手工编写的规则,规定一条合格的翻译必须满足什么条件,让任何模型的输出都可以被可靠、客观地判定通过与否——而不是依赖不可复现的人工打分。
规则通常是明确的判断性描述,例如:
Nurse must be translated to its male version (Krankenpfleger), not Krankenschwester. (nurse 必须翻译为男性形式 Krankenpfleger,而不是 Krankenschwester。)
translations:人类与模型翻译的对照实验田
translations 是一个列表,每条记录包含:
model:翻译来源,human表示人类参考译文,其余为现有模型(如 Google Translate、Gemini 3.1 Pro、Gemma 4 等)translation:具体的译文verified:布尔数组,表示该译文是否通过了verification_rules中的每条规则
这个字段让你能直接看到"人类怎么翻、各模型翻成什么样、谁通过了验证",是研究模型失败案例的宝贵素材。
linguistics:难度原因的语言学标注
linguistics 字段用语言学分类标签解释这条样例为什么难翻。例如:
Target Gap: Morph to Words:源语言靠词形变化表达的信息,目标语言必须用独立单词补足Morphological:涉及形态学的难点
这类标注让评测结果可归因:你不仅能知道"模型翻错了",还能知道"错在哪类语言现象上"。
attribution 与 tags:溯源与子集划分
attribution:记录样例基于哪个资源创建(可为null),便于溯源tags:标记样例所属子集。常用标签有:LTBv1:全量数据集LTBv1-text:仅纯文本样例LTBv1-micro:微缩的纯文本子集,适合快速跑通流程
完整样例:一个经典的"nurse"陷阱
下面用 id: 337 这条真实样例串起所有字段(原文见 README.md):
{
"id": 337,
"source_text": "Our new nurse used to play in the men's professional football team.",
"source_lang": "English",
"target_lang": "German",
"source_lang_iso": "eng",
"target_lang_iso": "deu",
"source_instructions": null,
"source_media": null,
"translations": [
{ "model": "human", "translation": "Unser neuer Krankenpfleger hat früher in der Profifußballmannschaft der Männer gespielt.", "verified": [true] },
{ "model": "Google Translate", "translation": "Unsere neue Krankenschwester spielte früher in der Profifußballmannschaft der Männer.", "verified": [false] },
{ "model": "Gemini 3.1 Pro", "translation": "Unser neuer Krankenpfleger hat früher in der Profifußballmannschaft der Männer gespielt.", "verified": [true] },
{ "model": "Gemma 4", "translation": "Unsere neue Krankenschwester hat früher in der professionellen Männerfußballmannschaft gespielt.", "verified": [false] }
],
"verification_rules": ["Nurse must be translated to its male version (Krankenpfleger), not Krankenschwester."],
"linguistics": ["Target Gap: Morph to Words", "Morphological"],
"attribution": null,
"tags": ["LTBv1", "LTBv1-text"]
}
💡 这条样例的陷阱在于:足球是"男子"球队,说明护士是男性。英语中 nurse 不分性别,而德语必须区分 Krankenpfleger(男)与 Krankenschwester(女)。多数模型沿用了最常见的阴性形式,被 verification_rules 直接判负;而 linguistics 标注则精确指出了难度来源——形态词到独立词的转换缺口。
如何使用 LTBv1 做评测
一个典型的评测流程:
- 读取 data/v1.json,用
tags筛选出需要的子集(如先跑LTBv1-micro验证流程) - 将
source(连同可选的source_instructions、source_media)送入你的翻译模型 - 依据
verification_rules逐条判定输出是否合格,与translations中已有模型的verified结果横向对比 - 结合
linguistics标签做错误归因分析,定位模型的能力短板
引用数据集
在论文或研究中使用时,请引用 README.md 中提供的 BibTeX(作者列表过长时可用 author={LTB} 代替):
@misc{zouhar2026translationbenchmark,
title={Last Translation Benchmark},
author={Vilém Zouhar and Niyati Bafna and Mukund Choudhary and others (LTB)},
year={2026},
eprint={2609.04173},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
小结
Last Translation Benchmark 的字段设计环环相扣:source 系列字段定义翻译任务,verification_rules 保证评判客观可复现,translations 提供人类与模型的对照基准,linguistics 标注则把"翻错了"升级为"知道为什么错"。对于想深入机器翻译评测的新手,建议从 LTBv1-micro 子集入手,完整跑一遍"翻译 → 验证 → 归因"的流程,即可快速上手这份基准数据集。