InternLM-XComposer2模型架构中的特殊令牌与设计选择解析

特殊令牌映射机制

在InternLM-XComposer2-4KHD-7B模型的实现中，存在一个值得注意的设计细节：代码中实际使用的是[UNUSED_TOKEN_146]和[UNUSED_TOKEN_145]这两个占位符令牌，而技术文档中描述的却是<|im_start|>和<|im_end|>。这种设计属于典型的"令牌重映射"技术方案，其核心目的是复用预训练模型中已有的词汇表资源。通过将新功能令牌映射到原有词汇表中未被使用的令牌位置，既保持了模型结构的稳定性，又实现了对话标记功能。实验证明，两种标记形式在实际应用中具有等效的功能表现。

图像二维结构标记的实现

模型论文中提到的"图像二维结构换行指示符"（\n）和分隔符（separate）在代码实现层面采用了不同的命名方式：

1. 换行符实际对应代码中的plora_sub_GN令牌
2. 分隔符实现为plora_glb_GN令牌

这种命名差异反映了工程实现与理论设计之间的常见对应关系。其中"plora"前缀可能暗示了这些令牌与特定模块（如图像LoRA适配器）的关联性，而"GN"后缀可能表示这些标记在视觉-语言对齐中的全局/局部作用。

基座模型选择策略

该视觉-语言大模型选择InternLM2-7B-Chat-SFT作为语言基座，这一决策包含以下技术考量：

1. 时间因素：在模型开发周期内，PPO优化版的InternLM2-Chat-7B尚未完成，为保证项目进度选择已稳定的SFT版本
2. 微调一致性：保持与前期XComposer2版本的基础架构统一，有利于技术方案的延续性验证
3. 工程实践：SFT版本在指令跟随和对话任务上已有充分验证，为多模态扩展提供了可靠基础

这种选择体现了工业级AI开发中"稳定优先"的原则，即在技术创新与工程可行性之间寻求平衡。值得注意的是，基座模型的选择往往需要综合考虑模型能力、训练成本和部署效率等多重因素。