EasyEdit项目中的知识编辑评估指标详解

EasyEdit作为一个知识编辑框架，其评估体系包含四个核心指标：编辑成功率(Edit Success)、可移植性(Portability)、局部性(Locality)和流畅性(Fluency)。这些指标共同构成了对知识编辑效果的多维度评估体系。

评估指标计算原理

1. 编辑成功率(Edit Success)

编辑成功率是最直接的评估指标，反映模型执行知识编辑操作的成功程度。计算方式为对"post rewrite_acc"数组取平均值。例如，当"rewrite_acc"为[0.4166666666666667]时，编辑成功率即为0.4167。

2. 局部性(Locality)

局部性指标评估编辑操作对模型其他知识的影响程度，确保编辑不会意外改变模型的其他知识。该指标由两个子指标组成：

• 关系特异性(Relation_Specificity_acc)
• 遗忘性(Forgetfulness_acc)

计算过程分为两步：

1. 首先计算每个子指标内部的平均值。例如，当Relation_Specificity_acc为[1.0,1.0,0.25,0.8,1.0,1.0]时，其平均值为(1+1+0.25+0.8+1+1)/6=0.8417
2. 然后对两个子指标的平均值再取平均：(0.8417 + 0.5)/2 = 0.6708

3. 可移植性(Portability)

可移植性指标评估编辑后的知识在不同场景下的泛化能力。该指标由三个子指标组成：

• 主体别名(Subject_Aliasing_acc)
• 推理能力(reasoning_acc)
• 逻辑泛化(Logical_Generalization_acc)

计算方式与局部性类似：

1. 计算每个子指标的平均值
2. 对三个子指标的平均值再取平均

4. 流畅性(Fluency)

流畅性指标评估编辑后模型生成文本的自然程度，直接采用ngram_entropy的值作为指标。例如，当ngram_entropy为6.2716时，流畅性得分即为6.2716。

实际应用中的注意事项

1. 数据集级别的指标计算需要在样本级别计算完成后，再对所有样本的指标值取平均。

2. 对于包含多个测试用例的子指标(如Relation_Specificity_acc)，需要先计算该子指标内部的平均值，再参与上层指标的计算。

3. 在实际应用中，可以根据具体需求调整各指标的权重，但EasyEdit默认采用等权重计算方式。

这套评估体系的设计充分考虑了知识编辑的多个维度，既关注编辑操作本身的成功率，也关注编辑对模型整体性能的影响，为研究人员提供了全面的评估视角。