CogVLM模型权重转换：从SAT格式到HuggingFace格式的技术指南

概述

本文将详细介绍如何将CogVLM模型的权重从SAT格式转换为HuggingFace格式。CogVLM是由THUDM团队开发的多模态大语言模型，支持视觉和语言联合理解。在实际应用中，开发者可能需要将模型权重转换为HuggingFace格式以便于使用Transformers库进行推理和部署。

转换前的准备工作

在进行权重转换前，需要确保已完成以下步骤：

1. 模型合并：如果使用了模型并行训练，需要先运行merge_model.py脚本将分片模型合并为完整模型
2. LoRA权重合并：如果使用了LoRA微调，需要先将LoRA权重合并到基础模型中

转换脚本解析

以下是完整的SAT到HuggingFace格式转换脚本的核心逻辑：

def vlm(hf_dir: str, sat_dir: str = '~/.sat_models/cogvlm-chat'):
    import os
    import json
    import torch
    from pathlib import Path
    
    # 创建输出目录
    Path(hf_dir).mkdir(exist_ok=True)
    
    # 加载SAT格式模型权重
    state_dict = torch.load(os.path.expanduser(os.path.join(sat_dir, '1', 'mp_rank_00_model_states.pt')), map_location='cpu')
    state_dict = state_dict['module']
    
    # 权重映射转换
    new_state_dict = {}
    for k, v in state_dict.items():
        # 处理视觉部分权重
        if k.startswith('mixins.eva.vit_model.mixins.patch_embedding'):
            new_state_dict[k.replace('mixins.eva.vit_model.mixins.', '', 1)] = v
        elif k.startswith('mixins.eva.vit_model.transformer.position_embeddings'):
            new_state_dict[k.replace('mixins.eva.vit_model.transformer.position_embeddings', 'patch_embedding.position_embedding', 1)] = v
        # 处理MLP层权重
        elif k.startswith('mixins.mlp.vision_dense_h_to_4h_list.'):
            idx = str(k).replace('mixins.mlp.vision_dense_h_to_4h_list.', '').replace('.weight', '')
            new_state_dict[f"model.layers.{idx}.mlp.vision_mlp.up_proj.weight"] = v
        # 处理注意力层权重
        elif k.startswith('transformer.layers.') and str(k).endswith('.attention.query_key_value.weight'):
            idx = str(k).replace('transformer.layers.', '').replace('.attention.query_key_value.weight', '')
            new_state_dict[f"model.layers.{idx}.self_attn.language_expert_query_key_value.weight"] = v
        # 其他权重处理...
    
    # 保存转换后的权重
    torch.save(new_state_dict, os.path.join(hf_dir, 'pytorch_model.bin'))
    
    # 生成配置文件
    config = json.load(open(os.path.expanduser(os.path.join(sat_dir, 'model_config.json'))))
    vision_config = {
        'dropout_prob': 0.0,
        'hidden_act': 'gelu',
        'in_channels': config['eva_args']['in_channels'],
        'num_hidden_layers': config['eva_args']['num_layers'],
        # 其他配置参数...
    }
    
    final_config = {
        'vision_config': vision_config,
        'hidden_size': config['hidden_size'],
        'intermediate_size': config['inner_hidden_size'],
        # 其他模型配置...
    }
    
    with open(os.path.join(hf_dir, 'config.json'), 'w') as f:
        json.dump(final_config, f, indent=2)

关键转换逻辑

1. 视觉模型权重转换：

   • 处理patch embedding层权重
   • 转换位置编码权重
   • 映射视觉Transformer层权重

2. 语言模型权重转换：

   • 处理MLP层权重映射
   • 转换注意力层权重
   • 处理LayerNorm层权重

3. 特殊标记处理：

   • 转换BOI(图像开始)和EOI(图像结束)标记
   • 处理CLS标记嵌入

配置文件生成

转换脚本会自动从原始SAT配置生成HuggingFace格式的配置文件，包括：

• 视觉模型配置：包含图像尺寸、patch大小、层数等参数
• 语言模型配置：包含隐藏层大小、注意力头数、词汇表大小等
• 联合模型配置：整合视觉和语言模型的配置参数

常见问题解决

1. 权重转换失败：

   • 确保已完成模型合并和LoRA权重合并
   • 检查输入模型路径是否正确
   • 验证模型版本是否匹配

2. 配置参数不匹配：

   • 检查原始模型配置中的关键参数
   • 确保转换后的配置与模型结构一致

3. 性能差异：

   • 转换后应进行推理测试验证结果一致性
   • 检查是否有权重映射错误

总结

通过本文介绍的转换方法，开发者可以方便地将CogVLM模型从SAT格式转换为HuggingFace格式，便于后续的推理部署和应用开发。转换过程主要涉及权重名称映射和配置文件生成两个关键步骤，需要特别注意模型合并和LoRA权重合并等预处理工作。