如何读懂DADF评估报告:F-measure、S-measure、E-measure等5大指标完整参考手册

原创2026-11-02 20:40:521,362 阅读

如何读懂DADF评估报告:F-measure、S-measure、E-measure等5大指标完整参考手册

DADF(Detect Any Deepfakes)是一个基于 Segment Anything Model(SAM)的人脸伪造检测与定位开源项目,其评估报告会输出 F-measure、S-measure、E-measure 等 5 大指标。如果你刚运行完 test.py,看到满屏的 metric1: 0.8234 却不知道哪个高哪个低、代表什么含义,这份完整参考手册就是为你准备的。

DADF深度伪造检测定位模型架构示意图

上图是 DADF 的核心架构:输入人脸图像经 Image Encoder 提取特征,通过 Multiscale Adapter 注入低级伪造痕迹信息,再由 Mask Decoder 输出伪造区域定位图(同时支持 real/fake 分类)。评估指标正是用来量化这张"伪造定位图"画得有多准 🎯。

5大指标一览:30秒建立整体印象

DADF 使用的全部指标都实现在 sod_metric.py 中,共 5 个:

指标 类名 衡量什么 方向 典型关注点
F-measure Fmeasure 整体定位准确度(P/R 折中) 越高越好 beta 参数(默认 1.0)
S-measure Smeasure 结构相似度(对象+区域) 越高越好 结构层面的对齐
E-measure Emeasure 增强对齐度 越高越好 全局像素级一致性
Weighted F-measure WeightedFmeasure 像素依赖加权的 F 分数 越高越好 边缘容忍度(beta=0.3)
MAE MAE 平均绝对误差 越低越好 逐像素误差

💡 记住一个关键点:MAE 是唯一"越低越好"的指标,其余四个都是越高越好。这是新手读报告时最容易踩的坑。

逐个拆解:每个指标到底在算什么

1️⃣ F-measure:最经典的综合得分

F-measure 由精确率(Precision)和召回率(Recall)调和得到,公式为 (1+β)·P·R / (β·P + R):

  • Precision:模型标为"伪造"的像素里,真正是伪造的比例——衡量误报;
  • Recall:真实伪造区域被模型覆盖的比例——衡量漏报。

它有两种计算模式(见 sod_metric.py#L71-L86):

  • 自适应阈值(adaptive):阈值自动取预测图均值的 2 倍,无需手工调参,最常用的就是它;
  • 可变化阈值(changeable):阈值从 0 扫到 255,可得到完整的 P-R 曲线和 F-measure 曲线。

2️⃣ S-measure:结构感知的"结构分"

S-measure 由两部分加权组成(alpha=0.5):

  • 对象分(Object Score):预测强度在前景上是否足够"亮"、背景上是否足够"暗";
  • 区域分(Region Score):以真值区域质心为原点把图分成四块,分别计算 SSIM 相似度再加权平均。

也就是说,S-measure 同时关心"整体亮度分布对不对"和"局部结构像不像",实现见 sod_metric.py#L98-L145。

3️⃣ E-measure:增强对齐度量

E-measure 先对每个像素计算"对齐矩阵"(预测与真值的归一化一致性),再施加"增强"变换 (align+1)²/4,把接近一致的值进一步放大、不一致的进一步压低,最后对全图归一化求和。

直觉理解:它奖励"全局都对齐"的预测图,对零散误报比较敏感。实现位于 sod_metric.py#L187-L259。

4️⃣ Weighted F-measure:给边缘一点宽容

普通 F-measure 对边缘偏移非常苛刻——只要边缘差几个像素就会拉低分数。Weighted F-measure 做了两个关键改进(见 sod_metric.py#L272-L301):

  1. 像素依赖(Pixel Dependency):背景像素的误差用"距离最近前景像素的误差"替代,并经高斯滤波平滑,因此对边缘的小幅偏移更宽容;
  2. 像素重要性(Pixel Importance):离伪造区域越远的背景,误报惩罚越重。

默认 beta=0.3,即相对更看重精确率(少误报)。

5️⃣ MAE:最简单直观的误差值

MAE(Mean Absolute Error)就是预测图与真值图逐像素差的平均值。它不参与"越高越好"的排名,常作为辅助检查指标:MAE 高说明预测图的灰度响应整体偏了,这时其他指标通常也上不去。

读懂 test.py 的输出:metric1~4 对号入座

运行 test.py 后,终端会打印四行:

metric1: 0.8234
metric2: 0.8011
metric3: 0.7543
metric4: 0.0612

它们对应哪个指标,由配置文件里的 eval_type 决定。以 configs/demo.yaml 中的 eval_type: cod 为例,在 test.py#L70-L72 中映射关系为:

输出 指标 方向
metric1 S-measure (sm) 越高越好
metric2 E-measure (em) 越高越好
metric3 Weighted F-measure (wfm) 越高越好
metric4 MAE 越低越好

对应的指标计算入口是 utils.py 中的 calc_cod(utils.py#L122-L149),它一次性实例化了 5 个指标类并返回其中 4 个。

📌 项目也支持 f1、fmeasure、ber 等其他 eval_type(用于不同任务场景),但人脸伪造/定位与显著目标检测类任务默认关注上面的 cod 组合。

实战:3步对比两次实验结果

对比不同权重(如 vit_b / vit_l / vit_h,对应 configs/cod-sam-vit-b.yaml、configs/cod-sam-vit-l.yaml、configs/cod-sam-vit-h.yaml)的评估报告时,建议按以下顺序:

  1. 先比 F-measure / S-measure:这两项最能反映"定位得准不准"的整体水平;
  2. 再看 E-measure 和 Weighted F-measure:前者检验全局对齐,后者检验边缘贴合度;若 F-measure 高而 wfm 低,多半是边缘模糊;
  3. 最后看 MAE:确认灰度响应没有系统性偏移。若前四项好但 MAE 明显变差,可检查输出图的对比度/阈值是否正常。

常见疑问清单 ❓

  • 为什么 adaptive F-measure 只有一个数,changeable 却是一条曲线? adaptive 用固定规则取阈值,得到一个点;changeable 扫遍全部阈值,用于画 F-measure-Threshold 曲线,二者在 sod_metric.py#L124-L133 的 get_results 中一起返回。
  • beta 参数是什么? 控制 Precision 与 Recall 的权重。beta=1 表示两者同等重要;beta<1(如 wfm 的 0.3)表示更重视精确率,即宁漏勿误。
  • 真值 gt 是如何二值化的? 统一以 128 为阈值(gt > 128),预测图则缩放到 0~1 后参与计算,见 sod_metric.py#L12-L26 的 _prepare_data。

掌握以上 5 大指标的含义、方向和相互关系,你就能准确读懂 DADF 的每一份评估报告,快速判断模型在深度伪造检测与定位任务上的真实水平了 🚀。

登录后查看全文
DADF