EasyEdit项目在LLaMA-2-7B模型上的Portability指标修复与结果更新

近期在复现EasyEdit知识编辑框架的基准测试时，研究人员发现LLaMA-2-7B模型上的Portability指标存在异常偏高现象。本文详细分析该问题的技术背景、定位过程及解决方案。

问题现象

在标准测试环境下，使用FT（Fine-Tuning）方法对LLaMA-2-7B模型进行知识编辑时，Portability指标（衡量编辑知识迁移能力的关键指标）出现显著异常：

• 预期值：应低于5%（参考GPT-J基准）
• 实测值：达到54.05（使用zsre_mend_eval_portability_gpt4.json测试集前100项）

同类现象也出现在MEND等其他编辑方法中，表明该问题具有普遍性。

技术分析

经过深度排查，发现问题根源在于LLaMA tokenizer的特殊字符处理机制：

1. Tokenizer特性差异：

   • LLaMA系列模型采用特殊的BPE tokenizer
   • 原始代码未对tokenizer输出的特殊控制字符进行过滤
   • 导致portability评估时错误计入无效token

2. 指标计算机制：

   • Portability通过"one_hop"关系推理任务评估
   • 错误token处理会虚增正确答案匹配概率

3. 框架版本迭代：

   • EasyEdit早期版本主要适配GPT类模型
   • 对LLaMA架构的兼容性测试存在盲区

解决方案

开发团队实施了以下修复措施：

1. Tokenizer预处理层：

   • 增加特殊字符过滤模块
   • 标准化不同模型的token输出格式

2. 评估逻辑优化：

   • 重构portability计算流程
   • 增加token有效性验证环节

3. 测试基准更新：

   • 重新运行全套评估实验
   • 验证各指标间的平衡性

验证结果

修复后的测试数据显示：

• FT方法Portability回归正常范围（<5%）
• 其他指标（Reliability/Generalization/Locality）保持稳定
• 各编辑方法表现符合理论预期

经验总结

本次事件揭示了知识编辑框架开发中的关键要点：

1. 模型兼容性测试：

   • 需覆盖不同架构的tokenizer特性
   • 建议建立多模型测试矩阵

2. 指标鲁棒性设计：

   • 核心指标应包含异常值检测
   • 重要评估点需要交叉验证

3. 开源协作价值：

   • 社区反馈能有效发现边缘场景
   • 建立问题响应机制至关重要

该修复方案已随EasyEdit最新版本发布，相关论文数据也同步更新。本次事件为知识编辑系统的可靠性建设提供了重要参考案例。