如何复现Deepfake检测微调?Deepfake-Detection-Exp-02-22训练全流程与参数详解
如何复现Deepfake检测微调?Deepfake-Detection-Exp-02-22训练全流程与参数详解
本文将带你复现 Deepfake 检测微调的完整训练流程:开源项目 Deepfake-Detection-Exp-02-22 基于 Google 的 ViT 基础模型(google/vit-base-patch32-224-in21k),在 Deepfake/Real 图像二分类任务上完成微调,最终测试集准确率达到 95.16%。下面详解每一步训练细节与关键参数,帮助新手理解 ViT 微调是如何落地的。
📦 一、项目概览:这是一个什么模型?
Deepfake-Detection-Exp-02-22 是一个极简高质量的 Deepfake 检测模型,使用 Vision Transformer(ViT)对图像进行分类,输出两个标签:
| 类别 ID | 标签 | 含义 |
|---|---|---|
| 0 | Deepfake |
深度伪造(AI 生成/换脸)图像 |
| 1 | Real |
真实拍摄图像 |
标签映射定义在 README.md 中:{0: 'Deepfake', 1: 'Real'}。
核心模型结构来自 config.json,主要架构参数如下:
| 参数 | 值 | 说明 |
|---|---|---|
num_hidden_layers |
12 | Transformer 编码器层数 |
hidden_size |
768 | 隐藏层维度 |
num_attention_heads |
12 | 注意力头数 |
patch_size |
32 | 图像切块大小(224÷32,共 49 个 patch) |
image_size |
224 | 输入图像分辨率 224×224 |
intermediate_size |
3072 | 前馈网络中间维度 |
problem_type |
single_label_classification | 单标签分类任务 |
💡 微调的本质:冻结或低学习率训练预训练 ViT 主干,替换/训练顶层分类头,让模型从"认识 ImageNet 物体"转变为"分辨真假人脸图像"。
🗂 二、仓库文件结构:训练产物都放在哪里?
复现前先看懂仓库里每个文件的角色,这正是 Hugging Face Trainer 保存训练产物的标准结构:
| 文件/目录 | 作用 |
|---|---|
| config.json | 模型结构配置(含 id2label 标签映射) |
| model.safetensors | 最终训练完成的模型权重(float32,约 350 MB) |
| preprocessor_config.json | 图像预处理器 ViTImageProcessor 配置 |
| training_args.bin | 序列化的完整训练超参数(TrainingArguments) |
| checkpoint-600/ | 第 600 步(即训练终点)保存的检查点目录 |
| checkpoint-600/trainer_state.json | 训练日志与状态文件,本文参数详解的主要依据 |
| checkpoint-600/optimizer.pt | 优化器状态,用于断点续训 |
| checkpoint-600/scheduler.pt | 学习率调度器状态 |
| checkpoint-600/rng_state.pth | 随机数种子状态,保证可复现性 |
检查点文件名 checkpoint-600 中的 600 就是 max_steps(总训练步数),而 checkpoint-600/trainer_state.json 记录了每一步的验证指标,是分析训练过程的最佳窗口。
🛠 三、环境准备:复现微调前的最小依赖
复现该项目的微调,只需三个核心依赖:
- Python ≥ 3.9 与 PyTorch(建议带 CUDA 的 GPU 版本)
- transformers ≥ 4.47.1(config.json 中记录的版本即
4.47.1) - datasets(加载训练数据)
如需下载本仓库的模型权重用于验证结果,可执行:
git clone https://gitcode.com/hf_mirrors/prithivMLmods/Deepfake-Detection-Exp-02-22
训练数据为 README.md 中声明的 prithivMLmods/Deepfake-vs-Real 数据集(Deepfake 与 Real 图像混合集)。
⚙️ 四、关键训练参数详解:从 trainer_state 反推全流程
以下参数均可在 checkpoint-600/trainer_state.json 中找到直接证据,等价于你复现训练时应填入 TrainingArguments 的值。
1. 训练规模:4 个 Epoch,共 600 步
| 参数 | 值 | 解读 |
|---|---|---|
num_train_epochs |
4 | 完整过训练集 4 遍 |
max_steps |
600 | 总步数上限,训练在 600 步时结束 |
train_batch_size |
32 | 每步处理 32 张图 |
由此可推算数据集规模:每个 epoch 为 150 步(600÷4),150 步 × 32 张 ≈ 4800 张训练图像;验证集为 3200 张(每类各 1600 张,与 README.md 测试报告中的 support 数一致)。整个训练过程的总计算量为 total_flos ≈ 1.52 × 10¹⁸ 次浮点运算——单卡几小时即可完成,是典型的轻量级微调任务。
2. 验证与保存节奏
训练日志显示,每个 epoch 结束时触发一次验证,分别发生在第 150、300、450、600 步:
logging_steps = 500:约每 500 步打印一次训练损失save_steps = 500:按步数触发检查点保存(最终检查点落在终点 600 步)- 选择"按 epoch 验证"是小数据集微调的稳妥做法——验证次数少而覆盖完整训练周期
3. 学习率调度:小学习率 + 衰减到 0
训练日志在第 500 步记录:
learning_rate = 1.82e-07(已衰减至接近 0)loss = 0.5872grad_norm = 2.0955
第 500 步时学习率已趋近于 0,说明使用了递减式学习率调度器(线性/cosine),初始学习率约为 1e-6 量级。📌 对预训练大模型做微调,"小学习率 + 平滑衰减"是最不容易破坏预训练知识的组合,这也是新手复现时最值得照抄的一点。
4. 图像预处理:224×224 标准化流程
preprocessor_config.json 定义了 ViTImageProcessor 的固定流程,复现时必须保持一致:
- 缩放:统一 resize 到 224×224(双线性插值)
- 重标定:像素值 ×0.00392,映射到 0~1
- 归一化:均值 0.5、标准差 0.5(即映射到 -1~1 区间)
🚀 五、训练实操:一条 Trainer 管线跑完微调
使用 transformers.Trainer 的标准复现流程(伪代码级说明,无需大段代码):
- 加载数据集
prithivMLmods/Deepfake-vs-Real,划分训练/验证集 ViTForImageClassification.from_pretrained("google/vit-base-patch32-224-in21k", num_labels=2)初始化模型,标签设为 Deepfake/RealViTImageProcessor.from_pretrained(...)加载预处理器- 构造
TrainingArguments:num_train_epochs=4、max_steps=600、per_device_train_batch_size=32、按 epoch 验证、保存检查点 trainer.train()启动训练,结束后trainer.save_model()导出权重
训练完成后,Trainer 会像本仓库一样自动落盘 model.safetensors、training_args.bin、checkpoint-600/ 等文件——你得到的目录结构应与本仓库完全一致,这也是判断复现成功的直接依据。
📈 六、训练结果:四个 Epoch 的精度爬坡
从 checkpoint-600/trainer_state.json 的 log_history 提取的验证指标:
| Epoch | 验证步 | 验证准确率 | 验证损失 |
|---|---|---|---|
| 1 | 150 | 84.19% | 0.6350 |
| 2 | 300 | 92.50% | 0.5867 |
| 3 | 450 | 94.63% | 0.5533 |
| 4 | 600 | 95.16% | 0.5418 |
- 精度在前 2 个 epoch 提升最快(+8.3 个百分点),之后进入缓慢收敛期,符合 ViT 微调的典型曲线
- 最佳检查点(最低验证损失 0.5418)正是 checkpoint-600/,根目录的 model.safetensors 即从该检查点导出
最终在 3200 张测试图上的分类报告(见 README.md):
| 类别 | Precision | Recall | F1 |
|---|---|---|---|
| Deepfake | 0.9833 | 0.9187 | 0.9499 |
| Real | 0.9238 | 0.9844 | 0.9531 |
| 整体准确率 | — | — | 0.9516 |
⚠️ 注意 Deepfake 召回率(0.9187)低于真实图像召回率(0.9844):模型倾向于把拿不准的图判为 Real。安全敏感场景应结合人工复核使用。
✅ 七、复现成功验证:两行代码跑通推理
训练完成后,用与本项目相同的标签体系做一次推理即可验证(完整示例见 README.md):
from transformers import pipeline
pipe = pipeline('image-classification', model="本地模型路径", device=0)
print(pipe("path_to_image.jpg")) # 输出应包含 Deepfake / Real 及置信度
若输出的 label 为 Deepfake 或 Real 且置信度分布合理,说明你的微调复现成功 🎉
⚠️ 八、常见问题与使用限制(新手必读)
- 泛化有限:对训练中未见过的新型 Deepfake 技术(如新版本的扩散模型生成图),检测能力可能下降
- 数据集偏差:训练集未覆盖所有真假图像变体,预测可能存在系统性偏差
- 分辨率约束:模型基于 224×224 输入优化,高分辨率图像会被缩放,细节信息有损
- 对抗脆弱性:ViT 类模型对针对性对抗扰动敏感,不能用于绝对安全判定
- 误判存在:偶发"真图判假、假图判真",关键应用必须保留人工校验环节
这些限制同样记录在 README.md 的 Limitations 章节中。
📋 九、总结:一张表记住复现要点
| 环节 | 关键配置 |
|---|---|
| 基座模型 | google/vit-base-patch32-224-in21k |
| 任务 | 图像二分类(Deepfake / Real) |
| 数据 | prithivMLmods/Deepfake-vs-Real(约 4800 训练 + 3200 验证) |
| 训练 | 4 epochs × 150 步 = 600 步,batch size 32 |
| 学习率 | ~1e-6 起始,衰减至 0 |
| 结果 | 测试准确率 95.16%,F1 约 0.95 |
整个微调流程轻量、可复现、产物结构标准,非常适合作为新手学习 ViT 图像分类微调 的完整案例。动手试试吧!