EasyEdit项目知识编辑评估结果差异问题分析

背景概述

在大型语言模型知识编辑领域，EasyEdit项目提供了一个统一的框架来评估不同编辑方法的效果。近期有用户在使用该项目时发现，使用FT(Finetuning)方法在WikiRecent数据集上获得的评估结果与项目团队在调研论文中报告的结果存在显著差异。

问题现象

用户haoyuwangwhy在使用默认超参数配置运行FT方法时，发现评估结果中的rewrite_acc指标远高于论文报告值。具体表现为：

1. 使用benchmark_wiki_recent_recent_train.json训练后，FT_results.json中的post rewrite_acc平均值异常高
2. 直接测试benchmark_wiki_recent_recent_test.json时，获得rewrite_acc=1.0、locality=0.75、portability=0.51的结果
3. 使用ROME方法测试时也出现rewrite_acc=0.97的高值

原因分析

经过项目团队与用户的多次交流测试，最终确定造成评估结果差异的主要原因包括：

1. 代码版本差异：用户使用的代码版本与论文实验时的版本不同，评估逻辑可能存在变化
2. 优化目标设置：论文实验时使用的是"prompt_last"作为优化目标，而最新代码默认可能使用其他优化方式
3. 模型版本差异：用户测试使用的是llama-2-7b-hf基础模型，而论文实验使用的是llama-2-7b-chat对话模型
4. 评估数据集：部分实验混淆了训练集和测试集的使用

解决方案

项目团队确认了正确的评估方法：

1. 应直接使用测试集benchmark_wiki_recent_recent_test.json进行评估
2. 对于FT方法，需要设置"objective_optimization"参数为"prompt_last"以获得与论文一致的结果
3. 建议使用llama-2-7b-chat模型进行测试

技术建议

对于希望复现论文结果的用户，建议：

1. 更新至项目最新代码版本
2. 明确区分训练集和测试集的用途
3. 检查并正确设置所有相关超参数，特别是优化目标参数
4. 使用与论文一致的模型版本
5. 注意评估时间，正常情况每个样本评估约需20秒

总结

知识编辑评估结果的准确性依赖于多个因素的严格控制。EasyEdit项目团队通过这次问题排查，明确了影响评估结果的关键因素，为后续用户提供了更清晰的使用指南。这也反映出在大型语言模型研究领域，实验复现需要特别注意版本控制和参数设置的一致性。