EasyEdit项目中的WISE实验设置与结果分析

WISE实验中的T参数解析

在EasyEdit项目的WISE方法实验中，T参数是一个关键设置，它决定了模型参数回滚的频率和实验结果的计算方式。当T=1时，每次编辑后都会回滚模型参数，然后计算平均指标。这种设置确保了每次编辑都是在原始模型状态下独立进行的。

对于zsRE数据集（包含1037个数据点），不同的T值设置会影响实验流程：

• T=1：每次编辑后回滚参数，共进行1037次独立编辑
• T=10：每10次编辑后回滚参数，共进行104轮（1037/10≈104）
• T=100：完成所有样本的编辑

值得注意的是，所有方法在实验中使用的数据是完全一致的，不存在随机选择样本的情况。这种设计保证了不同编辑方法之间的可比性。

LLaMA-3-8B模型上的实验结果

在LLaMA-3-8B模型上使用WISE方法进行编辑实验时，我们观察到了以下结果：

• 重写准确率(rewrite_acc)：87.38%
• 改写准确率(rephrase_acc)：80.71%
• 局部性(locality)：100%

这些结果表明：

1. 模型能够较好地完成知识编辑任务，重写准确率达到较高水平
2. 改写准确率略低于重写准确率，说明模型对问题表述的变化仍有一定敏感性
3. 完美的局部性得分表明编辑过程没有影响模型在其他方面的表现

性能优化建议

针对实验结果，可以考虑以下优化方向：

1. 调整激活比例(act_ratio)：降低act_ratio值（如设为0.5）可能有助于提高编辑效果。这个参数控制着模型内部激活的修改程度，适当降低可以减少过度修改的风险。

2. 增加训练步数(num_steps)：更多的训练步数可以让编辑过程更加充分，可能提升编辑的准确性和稳定性。

3. 模型适配：由于原始论文使用的是LLaMA2基础模型，迁移到LLaMA-3-8B时可能需要针对模型架构差异进行特定调整。

实验设计的深层思考

WISE方法的实验设计体现了几个重要的机器学习实验原则：

1. 控制变量：确保不同方法使用相同数据，消除数据差异带来的影响
2. 参数回滚机制：通过定期回滚模型参数，保证每次/每组编辑的独立性
3. 多维度评估：不仅评估直接编辑效果(rewrite_acc)，还考察改写鲁棒性(rephrase_acc)和副作用(locality)

这种严谨的实验设计为知识编辑方法的研究提供了可靠的评估框架，也使得不同方法之间的比较更加科学和有意义。