PyTorch Image Models 中 ViT 网络的特征提取功能增强

在计算机视觉领域，Vision Transformer (ViT) 模型因其出色的性能而广受欢迎。最近，PyTorch Image Models (timm) 库对其 ViT 网络实现进行了重要更新，增加了专门用于特征提取的功能，这为下游任务如目标检测和语义分割提供了更好的支持。

背景与需求

传统上，ViT 模型主要用于图像分类任务，其输出通常是整个图像的全局特征表示。然而，许多计算机视觉任务如目标检测和语义分割需要不同层次的空间特征图。这就提出了一个问题：如何从 ViT 模型中提取中间层特征用于这些任务？

在 timm 库的早期版本中，ViT 网络并未实现 features_only 方法，这限制了其在需要多层次特征的任务中的应用。开发者尝试将 ViT 作为 Mask2Former 等模型的骨干网络时遇到了障碍。

技术实现

timm 库的最新更新通过以下方式解决了这一问题：

1. 引入了 forward_intermediates() 方法，允许从 ViT 网络中提取中间层特征
2. 实现了 FeatureGetterNet 包装器，统一了不同架构的特征提取接口
3. 支持多种 ViT 变体，包括 BEiT、ViT、ViT-SAM、EVA、MViTv2、Twins 和 DeiT

新的实现保留了原始模型的功能，同时增加了提取中间特征的能力。测试表明，这些改进后的模型在目标检测任务上表现良好，首轮训练就能达到 0.152-0.2 mAP 的精度。

应用场景

这一改进使得 ViT 网络能够更好地应用于：

1. 目标检测系统
2. 语义分割任务
3. 实例分割模型
4. 其他需要多层次特征表示的计算机视觉应用

兼容性考虑

值得注意的是，这一改变可能会影响与某些框架（如 HuggingFace Transformers）的兼容性，因为这些框架可能假设所有骨干网络都使用特定的特征提取方式。开发者在使用时需要注意这一点，可能需要相应的适配代码。

未来方向

timm 库的维护者表示，未来计划将这一特性扩展到更多网络架构，如 CaiT、XCiT 和 VOLO 等，进一步丰富计算机视觉工具生态。

这一更新为计算机视觉研究者提供了更多可能性，使得基于 Transformer 的模型能够在更广泛的任务中发挥作用，同时也展示了开源社区持续改进和创新的力量。