PGTFormer核心组件二:Temporal-Coherent时序一致Transformer如何消除人脸闪烁

原创2026-11-02 16:30:551,613 阅读

PGTFormer核心组件二:Temporal-Coherent时序一致Transformer如何消除人脸闪烁

PGTFormer 是一个 IJCAI 2024 的开源视频人脸修复项目,核心思路是用一个时序一致(Temporal-Coherent)Transformer,让网络"同时看到"前后相邻帧,从而消除逐帧修复带来的人脸闪烁问题,并且不需要做人脸对齐预处理。本文带你拆解 archs/pgtformer_arch.py 中的关键设计,看看它是如何做到"修复清晰 + 帧间稳定"的。

一、先说问题:人脸视频修复为什么会闪烁?

传统方法(GFPGAN、CodeFormer 等图像修复模型)是把视频一帧一帧独立修复的。每帧输入略有差异(压缩噪声、姿态角度),输出细节就会随之漂移——放大到视频里,就是脸部纹理忽明忽暗的"闪烁感"。

时序一致 Transformer 要解决的就是这个问题:让当前帧的修复结果参考前后帧的信息,把细节"锁定"在时间维度上。

二、整体流程:3 帧"绑"在一起处理

PGTFormer视频人脸修复效果演示,时序一致Transformer消除闪烁

PGTFormer 的总开关是参数 tf = 3:每次前向传播处理 3 帧连续视频(见 archs/pgtformer_arch.py)。整体数据流如下:

  1. 人脸解析:BiSeNet 分割网络(conditionnet,输出 19 类语义区域)对 3 帧各解析出一张语义图,3 帧共 57 个通道,经 1×1 卷积压缩为 512 维的位置编码(convpos),供 Transformer 使用;
  2. 编码 + 量化:帧被编码器压成特征图,再由 RQVAE 量化成离散 token(code)候选;
  3. 时序 Transformer:9 层 TransformerSALayer(512 维嵌入、8 头注意力)在跨帧的 token 序列上做全局自注意力,预测每一帧的 token 索引(idx_pred_layer);
  4. 时序解码:TDCRQVAE3 解码器(archs/tdcrqvae3_arch.py)内部嵌有时序注意力块,把量化 token 还原成高质量人脸。

这套设计的精妙之处在于三个"协同":跨帧全局注意力 + 语义引导的位置编码 + 解码器时序注意力,下面逐个拆解。

三、跨帧全局自注意力:把 3 帧拉进同一条 token 序列

这是消除闪烁的第一招,也是最核心的一招。

在 forward 中,3 帧的编码特征被重排成一条长序列——空间位置(H×W)压平,帧维被拼进 token 方向:

也就是说,当前帧的每个空间 token 都能直接"看到"相邻帧对应区域、乃至全脸区域的 token。多头自注意力(MultiheadAttention,实现在 archs/codeformer_arch.py)会自动学习出"哪些帧间 token 应该互相参考",于是本帧不稳定的细节可以从前后帧"借"到一致的信息,闪烁自然被抑制。

四、解析引导位置编码:给注意力一把"语义标尺"

跨帧注意力还有一个隐患:视频里人脸会转头、平移,帧 1 的"左眼"在像素位置上可能对应帧 2 的"眼睛上方"。如果只靠像素位置对齐,注意力就会"找错对象"。

PGTFormer 的答案是 Parsing-Guided(解析引导):

  • BiSeNet 输出 19 类人脸语义分割图(眼睛、眉毛、嘴、皮肤……),与像素位置无关,只与语义有关;
  • 3 帧语义图拼接后压缩为 512 维向量,作为 query_pos 加到注意力的 Query/Key 上(archs/pgtformer_arch.py)。

效果相当于给每个 token 贴上一张"语义身份证":帧 1 的"左眉"和帧 2 的"左眉"虽然像素位置不同,但在语义空间里是同一个点。注意力就沿着这条语义标尺去对齐跨帧信息,这正是论文标题"Beyond Alignment(超越对齐)"的由来——无需预先做人脸对齐,语义一致性由解析图天然保证。

五、解码器里的第二道时序防线:WindowAttention3D

编码端的 Transformer 保证"token 预测"稳定,解码端还有一层保险。TDCRQVAE3 解码器在多个分辨率层级(32/64/128)插入了 WindowAttention3D 三维窗口注意力块(mid.attn_1 与 up.attn,配置见 options/release_train_stage_IIII_dont_need_align_version.yml):

这样一来,从 token 预测到像素重建的整条链路都贯穿了时序约束,细节在解码过程中不会再次"漂移"。

六、损失函数组合拳:从"惩罚"角度再压一遍闪烁

训练配置(options/release_train_stage_IIII_dont_need_align_version.yml)里,损失函数也围绕时序一致性精心设计:

损失 配置要点 作用
FocalLoss(token_opt) 权重 0.5 训练 token 索引预测准不准
GRADL1Loss(pixel_opt) tf: 3,多权重 [0.2, 0.05, 0.05] 像素级重建 + 帧间梯度约束
TemporalLPIPSLoss(perceptual_opt) temporal: 3,tgrad_weight: 0.8 感知层面的时序一致性,专门压制闪烁
TanmingGANLoss(gan_opt) hinge,权重 0.75 提升真实感

其中 TemporalLPIPSLoss 是点睛之笔:普通 LPIPS 只算单帧感知差,它则把 3 帧一起算,并对帧间时间梯度加权(0.8),相当于在训练时直接"惩罚"闪烁。

七、效果展示:稳定,但不糊

下面几组对比 GIF 来自 MoreVideoResults.md 对应的演示素材,可以看到修复后人眼、皮肤细节清晰,且帧间不再跳动:

PGTFormer时序一致人脸修复对比:修复前后脸部细节稳定不闪烁

PGTFormer视频人脸修复结果:解析引导Transformer保持跨帧一致性

PGTFormer低质量人脸视频修复效果:消除闪烁并提升清晰度

八、一句话总结

PGTFormer 的时序一致 Transformer 之所以能消除人脸闪烁,靠的是三管齐下:

  • 🔍 编码端:3 帧 token 拼进同一序列做全局自注意力,让帧间信息自由流动(archs/pgtformer_arch.py);
  • 🧭 语义引导:BiSeNet 解析图充当"语义标尺",跨帧注意力对齐的是语义而非像素,免去了传统对齐步骤;
  • 🛡️ 解码端 + 损失端:解码器的 WindowAttention3D 与时序 LPIPS 损失再各压一道,确保重建细节不漂移。

如果你想深入源码,重点阅读顺序建议为:archs/pgtformer_arch.py → archs/codeformer_arch.py(TransformerSALayer)→ archs/tdcrqvae3_arch.py(解码器时序注意力)→ options/release_train_stage_IIII_dont_need_align_version.yml(训练配置)。

登录后查看全文
PGTFormer