基于facenet-pytorch的人脸检测与识别实战教程

项目概述

facenet-pytorch是一个基于PyTorch实现的人脸检测与识别工具库，它整合了MTCNN人脸检测算法和Inception Resnet V1人脸识别模型。本教程将详细介绍如何使用这个库构建完整的人脸识别流程，包括人脸检测、特征提取和相似度计算等关键步骤。

环境准备

首先需要导入必要的库：

from facenet_pytorch import MTCNN, InceptionResnetV1
import torch
from torch.utils.data import DataLoader
from torchvision import datasets
import numpy as np
import pandas as pd
import os

设置工作线程数，根据操作系统自动调整：

workers = 0 if os.name == 'nt' else 4

硬件配置检查

深度学习模型通常需要GPU加速，我们先检查是否有可用的CUDA设备：

device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
print('Running on device: {}'.format(device))

人脸检测模块(MTCNN)配置

MTCNN(Multi-task Cascaded Convolutional Networks)是一个多任务级联卷积神经网络，能够同时完成人脸检测和人脸关键点定位。

mtcnn = MTCNN(
    image_size=160,        # 输出人脸图像尺寸
    margin=0,             # 人脸区域扩展边距
    min_face_size=20,     # 最小检测人脸尺寸
    thresholds=[0.6, 0.7, 0.7],  # 三个阶段的人脸检测阈值
    factor=0.709,         # 图像金字塔缩放因子
    post_process=True,    # 是否进行后处理
    device=device         # 指定运行设备
)

人脸识别模块(Inception Resnet V1)配置

Inception Resnet V1是一个结合了Inception模块和残差连接的深度卷积网络，在VGGFace2数据集上预训练。

resnet = InceptionResnetV1(pretrained='vggface2').eval().to(device)

这里.eval()将模型设置为评估模式，这会关闭dropout和batch normalization的随机性。

数据准备与加载

我们使用PyTorch的ImageFolder来组织人脸图像数据，每个子目录代表一个不同的人：

def collate_fn(x):
    return x[0]

dataset = datasets.ImageFolder('../data/test_images')
dataset.idx_to_class = {i:c for c, i in dataset.class_to_idx.items()}
loader = DataLoader(dataset, collate_fn=collate_fn, num_workers=workers)

collate_fn函数用于自定义数据加载的批处理方式，这里我们只需要每批处理一个样本。

人脸检测流程

遍历数据加载器，对每张图像进行人脸检测：

aligned = []  # 存储对齐后的人脸图像
names = []    # 存储对应的人名标签

for x, y in loader:
    x_aligned, prob = mtcnn(x, return_prob=True)
    if x_aligned is not None:
        print('Face detected with probability: {:8f}'.format(prob))
        aligned.append(x_aligned)
        names.append(dataset.idx_to_class[y])

MTCNN会返回检测到的人脸图像(已对齐)和对应的检测置信度。如果一张图像中检测到多个人脸，可以通过设置keep_all=True来获取所有人脸。

人脸特征提取

将检测到的人脸图像堆叠成批次，送入识别网络提取特征：

aligned = torch.stack(aligned).to(device)
embeddings = resnet(aligned).detach().cpu()

这里detach().cpu()将计算结果从计算图中分离并转移到CPU内存，减少GPU内存占用。

人脸相似度分析

计算各个人脸特征之间的欧氏距离，构建距离矩阵：

dists = [[(e1 - e2).norm().item() for e2 in embeddings] for e1 in embeddings]
print(pd.DataFrame(dists, columns=names, index=names))

距离越小表示两个人脸越相似。这个距离矩阵可以用于人脸验证(1:1比对)或人脸识别(1:N搜索)等任务。

实际应用建议

1. 批量处理优化：对于大规模数据集，建议将人脸检测和特征提取分开进行，先批量检测并保存人脸图像，再批量提取特征。

2. 阈值设定：实际应用中需要根据具体场景设定相似度阈值，一般0.6-1.0之间效果较好。

3. 模型微调：如果识别效果不佳，可以考虑在自己的数据集上微调Inception Resnet V1模型。

4. 性能考量：MTCNN在CPU上可能较慢，生产环境建议使用GPU加速。

通过本教程，你应该已经掌握了使用facenet-pytorch进行人脸检测与识别的基本流程。这套方案可以广泛应用于门禁系统、考勤系统、相册分类等各种人脸识别场景。