compare-mt 项目教程

1. 项目介绍

compare-mt 是一个用于对语言生成系统的输出进行全面分析的工具，支持多种语言生成任务，包括机器翻译、摘要生成、对话响应生成等。该工具可以帮助用户比较多个系统的输出，通过一系列分析来识别系统之间的显著差异，从而更容易地了解一个系统在哪些方面优于另一个系统。

2. 项目快速启动

安装

首先，确保你已经安装了所有依赖项：

pip install -r requirements.txt

然后，安装 compare-mt 包：

python setup.py install

基本使用

以下是一个基本的使用示例，比较两个系统的输出：

compare-mt --output_directory output/ example/ted.ref.eng example/ted.sys1.eng example/ted.sys2.eng

该命令将输出一些统计数据到命令行，并将格式化的 HTML 报告写入 output/ 目录。

3. 应用案例和最佳实践

应用案例

假设你有两个机器翻译系统，一个是基于短语的翻译系统（sys1），另一个是神经机器翻译系统（sys2）。你可以使用 compare-mt 来比较这两个系统的翻译质量。

compare-mt --output_directory output/ example/ted.ref.eng example/ted.sys1.eng example/ted.sys2.eng

最佳实践

1. 使用训练集频率分析：默认情况下，频率分析基于测试集，但使用训练集频率可以更好地展示模型对训练数据中未见过的词的鲁棒性。

   compare-mt example/ted.ref.eng example/ted.sys1.eng example/ted.sys2.eng --compare_word_accuracies bucket_type=freq freq_corpus_file=example/ted.train.eng
   

2. 进行显著性测试：通过 bootstrap 重采样进行统计显著性测试。

   compare-mt example/ted.ref.eng example/ted.sys1.eng example/ted.sys2.eng --compare_scores score_type=bleu bootstrap=1000 prob_thresh=0.05
   

4. 典型生态项目

compare-mt 可以与其他语言生成系统的评估工具结合使用，例如：

• COMET：一个用于评估机器翻译质量的指标。
• MT-ComparEval：一个用于可视化单个示例的工具，但不如 compare-mt 专注于聚合分析。

通过结合这些工具，可以更全面地评估和比较不同的语言生成系统。