ViTPose(MMPose)Webcam 人脸交换 Demo 实战:Face Swap 配置、热键与实现原理

原创2026-10-14 13:51:151,638 阅读
文章标签:人工智能计算机视觉深度学习机器学习

ViTPose(MMPose)Webcam 人脸交换 Demo 实战:Face Swap 配置、热键与实现原理

导读

本文聚焦 ViTPose(MMPose)Webcam API 中的「人脸交换(Face Swap)」互动演示,基于 tools/webcam/configs/face_swap/README.md 与配套配置、源码展开。读者将掌握:如何一行命令启动换脸 Demo、s/v/h/m/q 各热键的作用、face_swap.py 配置中从目标检测到姿态估计再到换脸绘制的完整节点流水线,以及 FaceSwapNode 底层通过关键点对齐 + 泊松无缝克隆实现「Shuffle / Clone」两种换脸模式的原理,并学会按需替换检测与姿态模型。

一、Demo 概览:人人都能拿到别人的脸

Face Swap Demo 是 MMPose Webcam API 提供的一个实时趣味应用:程序从摄像头读取画面,先检测出画面中的人物,再做人体(全身)关键点估计,最后按照用户选择的模式把人脸进行交换——可以是随机打乱所有人的脸(Shuffle),也可以选定一张脸克隆给所有人(Clone)。整个处理链路全部基于 Webcam API 的 Runner + Node 架构,以配置文件驱动,无需编写一行应用代码。

该 Demo 由三个文件组成,阅读时建议相互对照:

二、快速开始:启动换脸 Demo

2.1 前置条件

  • Python >= 3.7.0,已按项目要求安装 MMPose(>= 0.23.0)与 MMDetection(>= 2.21.0),并准备好摄像头(内置或 USB 均可);
  • 检测与姿态估计默认配置为 device='cpu',因此即使没有 GPU/CUDA 也能以 CPU 方式运行,只是帧率会受限。

2.2 启动命令

在仓库根目录下执行:

python tools/webcam/run_webcam.py --config tools/webcam/configs/face_swap/face_swap.py

启动脚本 tools/webcam/run_webcam.py 的逻辑非常简洁:用 mmcv.Config.fromfile 读取配置,通过 WebcamRunner(**cfg.runner) 构建 Runner,再调用 runner.run() 启动。程序启动后会自动下载配置中指定的检测模型与姿态模型权重(首次运行需要联网),随后弹出摄像头预览窗口。Demo 还会把处理后的视频自动保存为当前目录下的 faceswap_output.mp4。

2.3 热键一览

热键 功能
s 切换换脸模式,依次在三个模式间循环:
  • Shuffle(洗牌):随机打乱所有人的脸,互相交换;
  • Clone(克隆):随机挑选一个人的脸,克隆给画面中的所有人;
  • None(关闭):不做任何换脸操作,人人安全
v 开关姿态可视化(在画面上叠加显示关键点骨架)。
h 显示帮助信息(Notice Board 节点)。
m 显示诊断信息(各节点 FPS、时延、CPU/内存占用等)。
q 退出程序。

注:q、Q 以及 ESC(ASCII 27)在 Runner 层被保留为退出键,见 tools/webcam/webcam_apis/webcam_runner.py 中的 _on_keyboard_input 实现。

三、配置深度解析:一条完整的节点流水线

face_swap.py 的核心是一个 runner 字典,由「Runner 基本参数」和「节点列表 nodes」两部分构成。节点之间通过**缓冲区(Buffer)**的名字进行连接,形成一个有向无环的数据流图。下面逐节点解读这份配置。

3.1 Runner 基本参数

runner = dict(
    name='FaceSwap',
    camera_id=0,          # 使用 0 号摄像头
    camera_fps=20,        # 摄像头读取最大帧率
    synchronous=False,    # 异步模式:推理与显示解耦,保证显示流畅
    nodes=[...])

对应 tools/webcam/webcam_apis/webcam_runner.py 的构造参数。其中:

  • camera_id 也可以是视频文件路径或图片路径,Runner 会据此选用 ImageCapture 或 cv2.VideoCapture;
  • synchronous=False 时,模型推理节点(检测、姿态估计)与可视化节点异步运行,避免耗时推理拖慢画面显示;置为 True 时则逐帧严格同步。

3.2 DetectorNode:目标检测

dict(
    type='DetectorNode',
    name='Detector',
    model_config='demo/mmdetection_cfg/'
    'ssdlite_mobilenetv2_scratch_600e_coco.py',
    model_checkpoint='https://download.openmmlab.com'
    '/mmdetection/v2.0/ssd/'
    'ssdlite_mobilenetv2_scratch_600e_coco/ssdlite_mobilenetv2_'
    'scratch_600e_coco_20210629_110627-974d9307.pth',
    device='cpu',
    input_buffer='_input_',   # 读取 Runner 写入的推理用帧
    output_buffer='det_result')
  • model_config / model_checkpoint:指定 MMDetection 检测模型(本 Demo 用轻量级 SSD-Lite MobileNetV2,COCO 80 类),模型会自动下载加载;
  • device='cpu':无 GPU 时的 CPU 推理设置,可改为 cuda:0;
  • _input_ 是 Runner 保留缓冲区,存放用于模型推理的帧副本(与用于可视化的 _frame_ 区分,见 webcam_runner.py);
  • 实现见 tools/webcam/webcam_apis/nodes/mmdet_node.py:节点通过 init_detector 初始化模型,inference_detector 推理,并把「类别 + 边界框 + 分割掩膜」打包进 det_result 缓冲区。

3.3 TopDownPoseEstimatorNode:全身关键点估计

dict(
    type='TopDownPoseEstimatorNode',
    name='TopDown Pose Estimator',
    model_config='configs/wholebody/2d_kpt_sview_rgb_img/'
    'topdown_heatmap/coco-wholebody/'
    'vipnas_res50_coco_wholebody_256x192_dark.py',
    model_checkpoint='https://openmmlab-share.oss-cn-hangzhou'
    '.aliyuncs.com/mmpose/top_down/vipnas/'
    'vipnas_res50_wholebody_256x192_dark-67c0ce35_20211112.pth',
    device='cpu',
    cls_names=['person'],      # 只对“人”这一类做姿态估计
    input_buffer='det_result',
    output_buffer='pose_result')
  • 采用 MMPose 的 top-down 全身关键点模型(ViPNAS-Res50,输入 256×192,带 Dark 解码,输出 COCO-WholeBody 133 点,包含眼部、鼻、下巴轮廓、耳等面部关键点,这是后续换脸的关键数据来源);
  • cls_names=['person']:从检测结果中按类别名过滤出人体框;
  • 对应实现 tools/webcam/webcam_apis/nodes/mmpose_node.py 中,节点会调用 inference_top_down_pose_model 完成关键点推理,并通过 get_track_id 做跨帧目标追踪(use_oks=False、tracking_thr=0.3、use_one_euro=True),给每个人分配稳定 ID,保证换脸映射在帧间不跳动。

3.4 ModelResultBindingNode:推理结果与当前帧绑定

dict(
    type='ModelResultBindingNode',
    name='ResultBinder',
    frame_buffer='_frame_',       # 读取 Runner 保留的显示帧
    result_buffer='pose_result',
    output_buffer='frame')

由于检测与姿态估计耗时,推理结果往往落后于当前帧。该节点把「最新一帧推理结果」绑定到「当前正在显示的帧」上(见 tools/webcam/webcam_apis/nodes/helper_node.py):异步模式下以 frame 为 essential 输入,缓存最近一次 result;同步模式下则以 result 为 essential 输入,直接输出产生该结果的原始帧。

3.5 FaceSwapNode:换脸核心

dict(
    type='FaceSwapNode',
    name='FaceSwapper',
    mode_key='s',                 # 绑定热键 s 切换模式
    frame_buffer='frame',
    output_buffer='face_swap')

这是本 Demo 的灵魂节点,其实现与原理详见第四节。

3.6 PoseVisualizerNode:姿态可视化开关

dict(
    type='PoseVisualizerNode',
    name='Visualizer',
    enable_key='v',               # 按 v 开关骨架叠加
    frame_buffer='face_swap',
    output_buffer='vis_pose')

按 v 键可实时切换是否在画面上绘制关键点骨架(对应 README 热键表第二行)。

3.7 NoticeBoardNode:帮助信息面板

dict(
    type='NoticeBoardNode',
    name='Help Information',
    enable_key='h',
    content_lines=[
        'Swap your faces! ',
        'Hot-keys:',
        '"v": Toggle the pose visualization on/off.',
        '"s": Switch between modes: Shuffle, Clone and None',
        '"h": Show help information',
        '"m": Show diagnostic information',
        '"q": Exit',
    ],
    frame_buffer='vis_pose',
    output_buffer='vis_notice')

按 h 显示帮助面板,面板内容即本 Demo 的热键说明。

3.8 MonitorNode:诊断信息

dict(
    type='MonitorNode',
    name='Monitor',
    enable_key='m',
    enable=False,                 # 默认关闭,按 m 打开
    frame_buffer='vis_notice',
    output_buffer='display')

按 m 键以叠加面板的形式展示诊断信息:各节点的实时 FPS、时延(result_lag、frame_lag),以及通过 psutil 采集的 CPU/内存占用(见 helper_node.py),便于调试与性能观察。

3.9 RecorderNode:结果录像

dict(
    type='RecorderNode',
    name='Recorder',
    out_video_file='faceswap_output.mp4',
    frame_buffer='display',
    output_buffer='_display_')

把最终画面写入 faceswap_output.mp4(默认编码 mp4v、30 FPS,可用 out_video_fps、out_video_codec 调整,见 helper_node.py)。输出到 Runner 保留缓冲区 _display_,由 Runner 主线程读出并在窗口显示。

3.10 数据流小结

整条链路为:

摄像头 → _input_ → DetectorNode → det_result → TopDownPoseEstimatorNode → pose_result
                                                                               │
摄像头 → _frame_ → ModelResultBindingNode ←───────────────────────────────────┘
         → frame → FaceSwapNode → face_swap → PoseVisualizerNode → vis_pose
         → NoticeBoardNode → vis_notice → MonitorNode → display → RecorderNode → _display_ → 屏幕

其中 _input_(推理帧)、_frame_(显示帧)、_display_(最终显示帧)三个是 Runner 保留的专用缓冲区;其余缓冲区名(det_result、pose_result、frame、face_swap、vis_pose、vis_notice、display)均可自由命名。缓冲区本质是「满则挤掉最旧数据」的有限队列,实现见 tools/webcam/webcam_apis/utils/buffer.py 中的 Buffer.put_force。

四、FaceSwapNode 实现原理:Shuffle 与 Clone 是如何工作的

FaceSwapNode 继承自 FrameDrawingNode(见 tools/webcam/webcam_apis/nodes/frame_drawing_node.py),在 draw 回调中逐帧完成换脸。核心逻辑位于 tools/webcam/webcam_apis/nodes/faceswap_node.py。

4.1 三种模式的循环切换

源码中用 IntEnum 定义模式:

class Mode(IntEnum):
    NONE = 0
    SHUFFLE = 1
    CLONE = 2

节点初始化时通过 register_event(mode_key, is_keyboard=True, handler_func=self.switch_mode) 把热键 s 注册为键盘事件,事件监听线程会回调 switch_mode:

def switch_mode(self):
    self._mode = Mode((self._mode + 1) % len(Mode))

即每按一次 s,模式按 NONE → SHUFFLE → CLONE → NONE 循环切换。Mode.NONE 时 draw 直接返回原图,不做任何换脸。

4.2 换脸映射表:Shuffle 与 Clone

节点先通过 _merge_pose_results 把各姿态模型输出的所有人脸关键点合并成列表,得到目标人数 num_target。当人数 ≥ 2 时才执行换脸,并维护一张「目标 → 来源」映射表 target_map;目标人数变化时会重新生成映射:

  • Shuffle 模式:_get_swap_map(num_target) 用 np.random.choice(num_target, num_target, replace=False) 生成一个不打乱原顺序的随机排列 ids,再令 target_map = ids[(ids + 1) % num_target]——即每个人拿到「下一个人」的脸,构成一个完整闭环置换,画面中的人两两错位互换;
  • Clone 模式:np.repeat(np.random.choice(num_target), num_target) 随机选出一个来源索引,并复制 num_target 份——即所有人的脸都来自同一个人。

4.3 关键点提取:不同数据集的面部信息

换脸需要知道每张脸的位置与轮廓。_get_face_info 从姿态预测中按数据集类型提取「landmarks(对齐用关键点)」与「contour(掩膜用轮廓)」:

  • coco_wholebody(本 Demo 默认):取左眼、右眼、鼻、下巴做对齐关键点,用第 23~49 号关键点(含脸轮廓与耳朵)构造脸部轮廓;
  • coco:取双眼、鼻与颈(肩中心)构造对齐点,面部区域由算法根据眼距推算;
  • ap10k / animalpose(动物数据集):取左眼、右眼、鼻、颈/喉四个点,用于「人换动物脸」等跨类别交换;
  • wflw:使用 98 点人脸关键点的对应索引提取轮廓。

若某个数据集未提供轮廓,_get_face_info 会基于眼距 eye_dist 与双眼连线方向向量,自动推算一个包含额头与下颏的四边形人脸区域(源码中 w、h 的几何计算),保证任何支持的数据集都能获得可用的脸部区域。

4.4 人脸对齐与无缝融合

_swap_face 是单张脸交换的具体实现,分四步:

  1. 选取对齐点:当来源与目标属于同一数据集时用完整脸部轮廓对齐;否则(如人与动物互换)只用双方共有的「双眼 + 鼻」等公共点对齐,见源码中的数据集类型判断;
  2. 裁剪局部:_crop_face_by_contour 用 cv2.fillPoly 将轮廓填充为掩膜,cv2.dilate 膨胀(9×9 核)以包含更多皮肤区域,然后按 cv2.boundingRect 裁剪出源脸 patch 与掩膜、目标脸掩膜;
  3. 仿射对齐:cv2.estimateAffine2D 估计源关键点到目标关键点的仿射变换矩阵,再用 cv2.warpAffine 把源脸 patch 与掩膜变形到目标位置;
  4. 无缝融合:将目标掩膜与变形掩膜做 mask_tar & mask_warp 求交、高斯模糊得到软边缘,最后用 cv2.seamlessClone(patch_warp, img_tar, mask_tar_soft, center, cv2.NORMAL_CLONE) 以泊松无缝克隆方式把源脸粘贴到目标脸上,实现肤色、光照的自然过渡。

每次换脸还会在画面左上角用 cv2.putText 标注当前模式名(Shuffle / Clone),方便用户确认状态。

五、更换检测与姿态模型

README 明确说明模型配置可参考姿态估计 Demo 的说明:tools/webcam/configs/examples/README.md。要点如下:

  • 更换检测模型:把 DetectorNode 的 model_config 与 model_checkpoint 换成其他 MMDetection 模型(如 demo/mmdetection_cfg/ 下提供的 faster_rcnn_r50_fpn_coco.py、cascade_rcnn_x101_64x4d_fpn_coco.py 等)即可,权重会自动下载;
  • 更换姿态模型:把 TopDownPoseEstimatorNode 的 model_config 与 model_checkpoint 换成其他 MMPose top-down 模型。注意:换脸效果依赖面部关键点(双眼、鼻、轮廓),因此应优先选择 COCO-WholeBody(如 vipnas_res50_coco_wholebody_256x192_dark.py 同类)或带完整人脸关键点的数据集模型;若换成只含 17 个身体点的 COCO 模型,_get_face_info 仍可用双眼、鼻、颈回退构造人脸区域,但缺少精细轮廓,融合效果会下降;
  • 多类别混合:若想让不同类别实例使用不同姿态模型,可像 examples/pose_estimation.py 那样追加多个 TopDownPoseEstimatorNode,并分别设置 cls_names(如 ['cat', 'dog', ...]),FaceSwapNode 会通过 _merge_pose_results 自动合并所有节点的预测结果;
  • 无 GPU 运行:将每个模型节点的 device 设为 'cpu';
  • 调试摄像头:可先用 python tools/webcam/run_webcam.py --config tools/webcam/configs/examples/test_camera.py 验证摄像头与显示链路是否正常。

六、架构背景:Runner 与 Node 机制

要深入理解本 Demo,有必要了解其底层架构(详细中文教程见 tools/webcam/docs/get_started_cn.md):

  • Runner(webcam_runner.py):程序主体,负责视频读入(_read_camera)、键盘事件分发(_on_keyboard_input)、结果显示(_display)与 run() 入口。它内部维护一个 BufferManager(管理所有命名缓冲队列)和一个 EventManager(管理键盘/内部事件);
  • Node(tools/webcam/webcam_apis/nodes/node.py):每个 Node 是一个 Thread,通过 register_input_buffer / register_output_buffer 声明输入输出,通过 register_event 注册热键事件。run() 循环中检查 essential 输入是否就绪,就绪则调用 process(),并把输出写入注册的输出缓冲区;按下热键时,事件监听线程回调 handler_func;
  • 异步数据流:所有节点独立线程并发运行,_input_(推理帧)与 _frame_(显示帧)分离、ModelResultBindingNode 负责把「旧推理结果」绑定到「新帧」上,是保证画面流畅的关键设计。

正是这套「配置即应用」的机制,让换脸 Demo 只需修改 face_swap.py 一个文件即可复用到目标检测、姿态估计、特效绘制、录像输出等能力。

七、常见问题与调试建议

  • 模型下载失败/过慢:首次运行需联网下载检测与姿态权重,可预先手动下载到本地后修改 model_checkpoint 为本地路径;
  • 换脸区域错位:多半是姿态模型缺少完整面部关键点所致,建议换用 COCO-WholeBody 系列模型(见第五节);
  • 帧率过低:默认 CPU 推理。有 GPU 时把各模型节点 device 改为 cuda:0,或换更轻量的检测模型(如默认的 SSD-Lite MobileNetV2);
  • 画面与推理不同步:保持 synchronous=False 以异步模式运行,必要时用 m 键查看 result_lag / frame_lag 诊断数据定位瓶颈;
  • 摄像头打不开:先用 test_camera.py 配置验证,或检查 camera_id 是否正确。

结语

Face Swap Demo 是理解 MMPose Webcam API「配置驱动 + 节点流水线」思想的绝佳样例:一条 face_swap.py 配置串联起检测、姿态估计、结果绑定、换脸绘制、可视化、帮助、诊断、录像八个节点,而换脸背后的关键点提取、仿射对齐与泊松无缝克隆实现则完整沉淀在 faceswap_node.py 中。读者既可以开箱即用地体验换脸效果,也可以以此为模板,替换模型、增删节点,快速构建属于自己的摄像头互动应用。

登录后查看全文
ViTPose