如何复现Deepfake检测微调?Deepfake-Detection-Exp-02-22训练全流程与参数详解

原创2026-10-20 23:13:271,839 阅读

如何复现Deepfake检测微调?Deepfake-Detection-Exp-02-22训练全流程与参数详解

本文将带你复现 Deepfake 检测微调的完整训练流程:开源项目 Deepfake-Detection-Exp-02-22 基于 Google 的 ViT 基础模型(google/vit-base-patch32-224-in21k),在 Deepfake/Real 图像二分类任务上完成微调,最终测试集准确率达到 95.16%。下面详解每一步训练细节与关键参数,帮助新手理解 ViT 微调是如何落地的。

📦 一、项目概览:这是一个什么模型?

Deepfake-Detection-Exp-02-22 是一个极简高质量的 Deepfake 检测模型,使用 Vision Transformer(ViT)对图像进行分类,输出两个标签:

类别 ID 标签 含义
0 Deepfake 深度伪造(AI 生成/换脸)图像
1 Real 真实拍摄图像

标签映射定义在 README.md 中:{0: 'Deepfake', 1: 'Real'}。

核心模型结构来自 config.json,主要架构参数如下:

参数 值 说明
num_hidden_layers 12 Transformer 编码器层数
hidden_size 768 隐藏层维度
num_attention_heads 12 注意力头数
patch_size 32 图像切块大小(224÷32,共 49 个 patch)
image_size 224 输入图像分辨率 224×224
intermediate_size 3072 前馈网络中间维度
problem_type single_label_classification 单标签分类任务

💡 微调的本质:冻结或低学习率训练预训练 ViT 主干,替换/训练顶层分类头,让模型从"认识 ImageNet 物体"转变为"分辨真假人脸图像"。

🗂 二、仓库文件结构:训练产物都放在哪里?

复现前先看懂仓库里每个文件的角色,这正是 Hugging Face Trainer 保存训练产物的标准结构:

文件/目录 作用
config.json 模型结构配置(含 id2label 标签映射)
model.safetensors 最终训练完成的模型权重(float32,约 350 MB)
preprocessor_config.json 图像预处理器 ViTImageProcessor 配置
training_args.bin 序列化的完整训练超参数(TrainingArguments)
checkpoint-600/ 第 600 步(即训练终点)保存的检查点目录
checkpoint-600/trainer_state.json 训练日志与状态文件,本文参数详解的主要依据
checkpoint-600/optimizer.pt 优化器状态,用于断点续训
checkpoint-600/scheduler.pt 学习率调度器状态
checkpoint-600/rng_state.pth 随机数种子状态,保证可复现性

检查点文件名 checkpoint-600 中的 600 就是 max_steps(总训练步数),而 checkpoint-600/trainer_state.json 记录了每一步的验证指标,是分析训练过程的最佳窗口。

🛠 三、环境准备:复现微调前的最小依赖

复现该项目的微调,只需三个核心依赖:

  1. Python ≥ 3.9 与 PyTorch(建议带 CUDA 的 GPU 版本)
  2. transformers ≥ 4.47.1(config.json 中记录的版本即 4.47.1)
  3. datasets(加载训练数据)

如需下载本仓库的模型权重用于验证结果,可执行:

git clone https://gitcode.com/hf_mirrors/prithivMLmods/Deepfake-Detection-Exp-02-22

训练数据为 README.md 中声明的 prithivMLmods/Deepfake-vs-Real 数据集(Deepfake 与 Real 图像混合集)。

⚙️ 四、关键训练参数详解:从 trainer_state 反推全流程

以下参数均可在 checkpoint-600/trainer_state.json 中找到直接证据,等价于你复现训练时应填入 TrainingArguments 的值。

1. 训练规模:4 个 Epoch,共 600 步

参数 值 解读
num_train_epochs 4 完整过训练集 4 遍
max_steps 600 总步数上限,训练在 600 步时结束
train_batch_size 32 每步处理 32 张图

由此可推算数据集规模:每个 epoch 为 150 步(600÷4),150 步 × 32 张 ≈ 4800 张训练图像;验证集为 3200 张(每类各 1600 张,与 README.md 测试报告中的 support 数一致)。整个训练过程的总计算量为 total_flos ≈ 1.52 × 10¹⁸ 次浮点运算——单卡几小时即可完成,是典型的轻量级微调任务。

2. 验证与保存节奏

训练日志显示,每个 epoch 结束时触发一次验证,分别发生在第 150、300、450、600 步:

  • logging_steps = 500:约每 500 步打印一次训练损失
  • save_steps = 500:按步数触发检查点保存(最终检查点落在终点 600 步)
  • 选择"按 epoch 验证"是小数据集微调的稳妥做法——验证次数少而覆盖完整训练周期

3. 学习率调度:小学习率 + 衰减到 0

训练日志在第 500 步记录:

  • learning_rate = 1.82e-07(已衰减至接近 0)
  • loss = 0.5872
  • grad_norm = 2.0955

第 500 步时学习率已趋近于 0,说明使用了递减式学习率调度器(线性/cosine),初始学习率约为 1e-6 量级。📌 对预训练大模型做微调,"小学习率 + 平滑衰减"是最不容易破坏预训练知识的组合,这也是新手复现时最值得照抄的一点。

4. 图像预处理:224×224 标准化流程

preprocessor_config.json 定义了 ViTImageProcessor 的固定流程,复现时必须保持一致:

  1. 缩放:统一 resize 到 224×224(双线性插值)
  2. 重标定:像素值 ×0.00392,映射到 0~1
  3. 归一化:均值 0.5、标准差 0.5(即映射到 -1~1 区间)

🚀 五、训练实操:一条 Trainer 管线跑完微调

使用 transformers.Trainer 的标准复现流程(伪代码级说明,无需大段代码):

  1. 加载数据集 prithivMLmods/Deepfake-vs-Real,划分训练/验证集
  2. ViTForImageClassification.from_pretrained("google/vit-base-patch32-224-in21k", num_labels=2) 初始化模型,标签设为 Deepfake/Real
  3. ViTImageProcessor.from_pretrained(...) 加载预处理器
  4. 构造 TrainingArguments:num_train_epochs=4、max_steps=600、per_device_train_batch_size=32、按 epoch 验证、保存检查点
  5. trainer.train() 启动训练,结束后 trainer.save_model() 导出权重

训练完成后,Trainer 会像本仓库一样自动落盘 model.safetensors、training_args.bin、checkpoint-600/ 等文件——你得到的目录结构应与本仓库完全一致,这也是判断复现成功的直接依据。

📈 六、训练结果:四个 Epoch 的精度爬坡

从 checkpoint-600/trainer_state.json 的 log_history 提取的验证指标:

Epoch 验证步 验证准确率 验证损失
1 150 84.19% 0.6350
2 300 92.50% 0.5867
3 450 94.63% 0.5533
4 600 95.16% 0.5418
  • 精度在前 2 个 epoch 提升最快(+8.3 个百分点),之后进入缓慢收敛期,符合 ViT 微调的典型曲线
  • 最佳检查点(最低验证损失 0.5418)正是 checkpoint-600/,根目录的 model.safetensors 即从该检查点导出

最终在 3200 张测试图上的分类报告(见 README.md):

类别 Precision Recall F1
Deepfake 0.9833 0.9187 0.9499
Real 0.9238 0.9844 0.9531
整体准确率 — — 0.9516

⚠️ 注意 Deepfake 召回率(0.9187)低于真实图像召回率(0.9844):模型倾向于把拿不准的图判为 Real。安全敏感场景应结合人工复核使用。

✅ 七、复现成功验证:两行代码跑通推理

训练完成后,用与本项目相同的标签体系做一次推理即可验证(完整示例见 README.md):

from transformers import pipeline
pipe = pipeline('image-classification', model="本地模型路径", device=0)
print(pipe("path_to_image.jpg"))  # 输出应包含 Deepfake / Real 及置信度

若输出的 label 为 Deepfake 或 Real 且置信度分布合理,说明你的微调复现成功 🎉

⚠️ 八、常见问题与使用限制(新手必读)

  • 泛化有限:对训练中未见过的新型 Deepfake 技术(如新版本的扩散模型生成图),检测能力可能下降
  • 数据集偏差:训练集未覆盖所有真假图像变体,预测可能存在系统性偏差
  • 分辨率约束:模型基于 224×224 输入优化,高分辨率图像会被缩放,细节信息有损
  • 对抗脆弱性:ViT 类模型对针对性对抗扰动敏感,不能用于绝对安全判定
  • 误判存在:偶发"真图判假、假图判真",关键应用必须保留人工校验环节

这些限制同样记录在 README.md 的 Limitations 章节中。

📋 九、总结:一张表记住复现要点

环节 关键配置
基座模型 google/vit-base-patch32-224-in21k
任务 图像二分类(Deepfake / Real)
数据 prithivMLmods/Deepfake-vs-Real(约 4800 训练 + 3200 验证)
训练 4 epochs × 150 步 = 600 步,batch size 32
学习率 ~1e-6 起始,衰减至 0
结果 测试准确率 95.16%,F1 约 0.95

整个微调流程轻量、可复现、产物结构标准,非常适合作为新手学习 ViT 图像分类微调 的完整案例。动手试试吧!

登录后查看全文
Deepfake-Detection-Exp-02-22