IQA-PyTorch项目中CLIP-IQA+模型的训练与权重解析

CLIP-IQA+模型架构解析

CLIP-IQA+是基于CLIP模型改进的图像质量评估模型，其核心创新点在于引入了可学习的视觉提示(prompt)。该模型通过微调CLIP的视觉编码器部分，使其能够更好地适应图像质量评估任务。

在模型实现上，CLIP-IQA+采用了两种不同的提示学习策略：

1. 单提示策略：原始实现使用一个可学习的提示(shape为16×512)，该提示会与显式的正负文本结合使用。这种设计虽然简单，但在实际应用中表现良好。

2. 双提示策略：后续改进版本采用了两个独立可学习的提示(shape为2×16×512)，分别对应正负样本。这种设计保持了与原始CLIP-IQA模型的一致性，虽然性能相近，但在概念上更为清晰。

训练细节与注意事项

训练CLIP-IQA+模型时，有几个关键因素会显著影响模型性能：

1. 输入图像尺寸：在Koniq10k数据集上，使用1024×768的大尺寸图像能获得最佳性能。虽然小尺寸图像可用于快速测试，但会牺牲一定的评估精度。

2. 数据预处理：不同数据集(如SPAQ)的图像尺寸差异较大，需要特别注意预处理步骤的一致性。不恰当的预处理可能导致性能显著下降。

3. 提示长度：默认使用16个token的提示长度，这需要在训练配置中正确设置。

模型权重选择建议

项目提供了两种预训练权重：

1. clipiqa+：原始实现权重，使用单提示策略训练，在1024×768图像上训练。

2. clipiqa+_rn50_512：改进版本权重，使用双提示策略训练，图像尺寸为512。

选择权重时应考虑：

• 如果需要与原始论文结果对比，建议使用clipiqa+
• 如果追求架构一致性，建议使用clipiqa+_rn50_512
• 自行训练时，双提示策略更易于理解和扩展

实际应用经验

在实际应用中，我们发现：

• 在Koniq10k上训练的模型在SPAQ和LIVE-C数据集上表现出良好的零样本迁移能力(SRCC>0.8)
• 直接在SPAQ上训练时需要注意图像尺寸问题，否则可能导致性能下降
• 模型对训练数据的分布较为敏感，适当的数据增强有助于提升泛化能力

CLIP-IQA+虽然性能不及当前最先进的专用IQA模型，但其基于CLIP的架构使其具有优秀的可解释性和迁移能力，适合作为基础模型进行进一步研究和开发。