LLaMA-Factory 项目中关于 InternVL2.5-78B-MPO 模型支持的技术分析

在 LLaMA-Factory 项目中，用户提出了对 InternVL2.5-78B-MPO 模型支持的需求。这是一个值得深入探讨的技术话题，涉及到多模态大模型的应用和转换问题。

模型支持现状

目前 LLaMA-Factory 项目中已经注册了多个 InternVL 系列模型，包括 2B、8B 等较小规模的版本，以及 InternVL3 系列的 1B 到 78B 不同规模的模型。然而，InternVL2.5-78B-MPO 这一特定版本尚未被纳入支持范围。

模型转换方案

对于需要支持的新模型版本，技术专家提供了本地转换的解决方案。核心思路是利用 transformers 库中内置的转换脚本，将原始模型权重转换为 huggingface 格式。这一过程需要：

1. 定位 transformers 包的安装路径
2. 使用专门的转换脚本进行格式转换
3. 指定输入和输出目录

这种转换方法理论上适用于各种规模的 InternVL 模型，包括 78B 版本。

模型性能验证

在实际应用中，有用户报告了转换后模型性能下降的问题。具体表现为：

• 原始 InternVL2.5-8B-MPO 在 MMBench_DEV_EN 测试集上得分约 80 分
• 转换后的 hf 格式模型得分降至 30-40 分

这种性能差异可能源于多个因素：

1. 评测流程中的 prompt 实现差异
2. 图像预处理步骤（如 crop_to_patches）的不一致性
3. 模型权重转换过程中的潜在问题

技术建议

对于遇到类似问题的开发者，建议采取以下调试步骤：

1. 仔细对比转换前后模型的 prompt 模板
2. 检查图像预处理流程是否一致
3. 参考 transformers 的测试用例验证基础功能
4. 在评测过程中打印中间结果进行比对

对于追求最佳性能的用户，可以考虑使用官方推荐的 InternVL3-78B-hf 模型作为替代方案，尽管在某些特定数据集上可能表现略有差异。

总结

LLaMA-Factory 作为一个强大的大模型微调框架，对多模态模型的支持仍在不断完善中。开发者在使用过程中遇到特定模型支持问题时，可以通过本地转换、性能验证和调试等方法找到解决方案。同时，保持与社区的技术交流，分享使用经验，将有助于推动项目对更多模型的支持和完善。