PyTorch-Image-Models中使用Hugging Face模型的注意事项

在使用PyTorch-Image-Models（timm）库时，开发者可能会尝试加载Hugging Face模型中心（Hugging Face Hub）上的预训练模型。然而，这并不总是可行的，特别是当尝试加载原生Hugging Face模型时。

问题背景

最近有开发者报告，在尝试使用Hugging Face上的MobileNetV2原始版本（google/mobilenet_v2_1.0_224）时遇到了KeyError错误。这个错误发生在timm库尝试从Hugging Face加载模型配置时，提示缺少'architecture'键。

根本原因

这个问题的核心在于模型兼容性。Hugging Face模型中心实际上包含两种类型的模型：

1. 原生Hugging Face模型：这些是专门为Hugging Face生态系统设计的模型，通常用于NLP任务
2. timm兼容模型：这些是专门为timm库准备的计算机视觉模型

当开发者尝试加载原生Hugging Face模型（如MobileNetV2）时，timm库期望的配置文件结构与实际提供的结构不匹配，导致了KeyError。

解决方案

对于计算机视觉任务，特别是ImageNet分类，建议直接使用timm库提供的预训练模型。timm实际上提供了比Hugging Face更丰富、性能更好的MobileNet系列模型变体。

timm库支持的MobileNet相关模型包括多个版本和变体，例如：

• mobilenetv2_100.ra_in1k
• mobilenetv2_110d.ra_in1k
• mobilenetv3_large_100.ra_in1k
• mobilenetv4_conv_aa_large.e230_r384_in12k
• 以及其他多种变体和不同大小的模型

最佳实践

1. 在尝试使用Hugging Face模型前，先检查timm是否已经提供了相同或类似的模型
2. 使用timm.list_pretrained()函数搜索可用的预训练模型
3. 对于MobileNet系列，优先选择timm提供的版本，因为它们经过了优化并针对计算机视觉任务进行了专门调整

总结

虽然timm库支持从Hugging Face Hub加载模型，但这种兼容性仅限于专门为timm准备的模型。开发者应该了解这一限制，并在计算机视觉任务中优先考虑使用timm原生支持的模型，以获得最佳性能和兼容性。